SAG / ARCHITECTURE NOTE

Self-RAG:让模型判断何时需要检索

本文依据研究与官方文档,介绍 Self-RAG 的定义、必要性、工作原理,以及在 SAG 架构中的应用标准和实践检查清单。

下载Markdown

一句话定义

Self-RAG 是一种经过训练、能够在生成过程中自行评估是否需要检索、依据是否相关以及依据是否支持答案的方法。

核心回答:对所有问题都进行检索会增加成本和噪声,不检索则可能产生时效性和依据方面的问题。因此,需要动态判断是否检索以及检索结果的质量。

为什么需要这项技术?

对所有问题都进行检索会增加成本和噪声,不检索则可能产生时效性和依据方面的问题。因此,需要动态判断是否检索以及检索结果的质量。

工作原理

模型会生成表示检索触发、相关性、支持度和实用性的 reflection token,并对答案和依据进行批评。在实际运行中,还需要评估模型的这些判断本身。

设计时不能只关注准确率。还应同时明确延迟、成本、数据边界、更新周期以及失败时的行为,才能在实际运行中获得可复现的结果。对于自动化流程无法确定的值,不要将其改成 0 或标记为成功;将其保留为未测量或需要审核的状态更安全。

与 SAG 技术的关联

如果在 SAG 中使用这项技术,更安全的做法是将自动判断用于提示依据缺失和确定专家审核优先级,而不是将其作为最终审批。

实践检查清单

  • 分别衡量遗漏检索的错误和不必要的检索
  • 比较模型自我评估与外部评估
  • 明确最终审批责任
  • 将失败、结果为空和权限错误等状态与成功区分开来
  • 在相同条件下重新验证变更前后的效果

研究与官方文档

参考文档为原理和建议提供依据。它们不保证搜索曝光、AI 提及、排名或销售额;实际应用效果必须通过服务数据以及在相同条件下的观测来验证。

选择标准与具体应用示例

Self-RAG 并不等同于在通用模型的提示词中要求它“再想一想”。论文的核心是训练模型使用 reflection token 来评估检索需求以及依据和答案。即使模型的自我批评结果通过,也不能省略对将要提供给客户的事实进行外部验证。

SAG 中的应用范围

本文讨论搜索 AI 的研究原理和扩展设计。阅读时可以将其与 SAG 的页面采集、依据记录和报告验证结构联系起来,但不要因此认为论文中的搜索算法都已集成到生产流水线中。是否应用,应通过搜索模块、评估数据和执行记录来确认。

如何继续了解这项技术

比较 RAG、GraphRAG 和 Self-RAG 的论文及其应用条件。

文章列表