LLM 实用 insights 分享

分享这个五月刚出不久的video：https://www.youtube.com/watch?v=NHMJ9mqKeMQ
个人觉得非常实用. 比如：

• Fine-tuning 也可以用来将知识融入模型权重，但这可能导致过拟合和幻觉增加。并且一旦知识固化在权重中，更新会变得困难。相比之下，上下文记忆更容易更新。通常，RAG 比持续 Fine-tuning 成本更低。（个人觉得Fine-tuning 比RAG inference 时会快一些, 但RAG更实用，更容易Adapt）
• 对于处理数十亿 token 的大规模知识库（如企业知识库），RAG 仍然是必需的。长上下文并不会取代 RAG，而是会协同工作。长上下文允许模型容纳 RAG 检索到的更多相关信息，这有助于提高有用信息的召回率。
• 生成思维轨迹（generate a thinking trace）之所以有效，是因为它允许模型超越其网络深度在一单次处理中的限制，通过利用自身生成的输出来构建理解，并执行更复杂的逻辑步骤，从而能够解决单靠模型内部处理难以解决的任务
• 如果模型需要依赖上下文记忆而非权重记忆（例如更新过时信息），应通过 Prompt 明确指示，如使用“基于以上信息”之类的短语，以解决潜在的冲突或歧义
  

分享给大家。希望有用。希望加些大米。感谢各位老板！

有人说rag converge 很慢，不如mcp, 当然 tool 要写的够好，且llm 能支持 tool calling.