为什么对各引擎的比率取平均可能会出错?
计算综合指标时,应保留比率的分子和分母。若对回答数量不同的引擎的比率简单取平均,就会让小样本和大样本拥有相同权重,从而可能无法准确描述实际回答群体。
MAKE YOUR SERVICE THE ANSWER.咨询您的服务 
SAG TECHNOLOGY FRONTIER
我们设计搜索、回答与生成式AI理解品牌的方式,并用清晰的技术语言介绍SAG的真实架构与运营原则。
SAG / ARCHITECTURE NOTES
从发现、证据与数据边界,到可靠执行和内容交付,逐一说明我们的工程选择。
80 articles · 3 / 8
计算综合指标时,应保留比率的分子和分母。若对回答数量不同的引擎的比率简单取平均,就会让小样本和大样本拥有相同权重,从而可能无法准确描述实际回答群体。
这是一种按采集时间保存同一地址内容记录的数据模型。地址未变,但规格或政策发生变化时,旧报告的依据可能与当前页面不同。只保存最新正文,会使过去的判断难以复现。
这是一套固定经过审核的问题、依据和预期判定结果的评测资料,用于比较分析变更的影响。更换模型或提取器后,如果只检查答案是否漂亮,过去的错误可能会再次出现。应分别衡量检索、生成和指标方面的错误。
将网页资料视为分析输入,并与任务指令和工具权限分离。竞争页面和上传内容中可能包含试图改变模型行为的文字。随着检索到的依据越来越丰富,外部文本的权限边界也愈发重要。
介绍如何协同设计租户边界、服务器端权限和 RLS,确保多个组织共用一项服务时,数据和权限不会混杂。
这是一种利用内容摘要哈希和结构比较来区分相同资料与已变更资料的模式。页面采集越频繁,单纯的采集次数就越多。若每次都将实际上没有变化的输入发送给昂贵的模型,成本会增加,结果的一致性也可能减弱。
固定首次登记的竞争对手数据,追踪其与自家月度数据之间差异的比较方式。如果每月更换比较对象和问题,就很难区分变化来自自家改进还是基准变更。稳定的基准有助于保持工作方向。
从不同 HTML 中提取标题、正文、链接和元数据等信号,并整理为统一结构的过程。菜单和页脚较长的网站,提取到的重复句子可能比产品说明更多。如果不区分结构,句子数量可能被误读为产品证据已经充分。
这是一种将月度指标与年度趋势及单月依据联系起来的表达结构。即使长期趋势看起来不错,如果不知道某个月进行了哪些改进、有哪些观测,也很难确定应采取什么行动。需要将整体趋势与详细记录联系起来。
将按回答统计的整体比例与按 URL 统计的引用占比分开管理。如果一个回答引用了多个官方页面,URL 比例之和就会高于回答比例。若将两者相加作为整体表现,数值就会被夸大。