SAG / ARCHITECTURE NOTE
嵌入与 HNSW:向量搜索索引的核心原理
依据研究与官方文档,介绍 HNSW 的定义、必要性和工作原理,以及在 SAG 架构中的应用标准与实务检查清单。
一句话定义
HNSW 是一种近似最近邻搜索算法,它将向量连接成多层近邻图,以便快速搜索相近候选项。
核心答案:如果将问题与所有文档向量逐一比较,数据量越大,延迟就越高。HNSW 以牺牲部分准确度为代价缩短搜索时间。
为什么需要这项技术?
如果将问题与所有文档向量逐一比较,数据量越大,延迟就越高。HNSW 以牺牲部分准确度为代价缩短搜索时间。
工作原理
在上层进行宽范围移动,在下层细致搜索近邻。M、efConstruction 和 efSearch 会影响内存、构建时间和召回率。
设计时不能只关注准确度。还需要一并定义延迟、成本、数据边界、更新周期以及失败时的行为,这样才能在实际运行中获得可复现的结果。对于自动化无法确定的值,安全的做法是将其保留为“未测量”或“需要审核”,而不是改成 0 或成功。
与 SAG 技术的联系
如果在 SAG 中引入向量索引,应将租户边界、删除生效、按模型版本重新索引以及召回率验证纳入运行契约。
实务检查清单
- 与精确搜索相比,测量召回率
- 确保租户过滤和删除不会遗漏
- 更改嵌入向量时提升索引版本
- 将失败、空结果和权限错误的状态与成功区分开
- 在相同条件下重新验证变更前后的结果
研究与官方文档
参考文档为原理和建议提供依据。它们不保证搜索曝光、AI 提及、排名或营收;实际应用效果必须通过服务数据及相同条件下的观测来确认。
选择标准与具体应用示例
HNSW 是一种沿着多层近邻图搜索候选项的近似最近邻搜索方法。扩大搜索范围通常会同时增加召回率和计算成本。相似度并不等于事实性评分;嵌入模型发生变化时,应先确认现有索引的兼容性。
在 SAG 中的适用范围
本文介绍搜索 AI 的研究原理与扩展设计。请结合 SAG 的页面采集、依据记录和报告验证结构阅读,但不要据此认为论文中的搜索算法都已部署在运行流水线中。是否应用,应通过搜索模块、评估数据和执行记录确认。
如何继续阅读这项技术
比较 RAG、GraphRAG 和 Self-RAG 论文及其应用条件。
SAG / KNOWLEDGE LINKS
