SAG / ARCHITECTURE NOTE

嵌入与 HNSW:向量搜索索引的核心原理

依据研究与官方文档,介绍 HNSW 的定义、必要性和工作原理,以及在 SAG 架构中的应用标准与实务检查清单。

下载Markdown

一句话定义

HNSW 是一种近似最近邻搜索算法,它将向量连接成多层近邻图,以便快速搜索相近候选项。

核心答案:如果将问题与所有文档向量逐一比较,数据量越大,延迟就越高。HNSW 以牺牲部分准确度为代价缩短搜索时间。

为什么需要这项技术?

如果将问题与所有文档向量逐一比较,数据量越大,延迟就越高。HNSW 以牺牲部分准确度为代价缩短搜索时间。

工作原理

在上层进行宽范围移动,在下层细致搜索近邻。M、efConstruction 和 efSearch 会影响内存、构建时间和召回率。

设计时不能只关注准确度。还需要一并定义延迟、成本、数据边界、更新周期以及失败时的行为,这样才能在实际运行中获得可复现的结果。对于自动化无法确定的值,安全的做法是将其保留为“未测量”或“需要审核”,而不是改成 0 或成功。

与 SAG 技术的联系

如果在 SAG 中引入向量索引,应将租户边界、删除生效、按模型版本重新索引以及召回率验证纳入运行契约。

实务检查清单

  • 与精确搜索相比,测量召回率
  • 确保租户过滤和删除不会遗漏
  • 更改嵌入向量时提升索引版本
  • 将失败、空结果和权限错误的状态与成功区分开
  • 在相同条件下重新验证变更前后的结果

研究与官方文档

参考文档为原理和建议提供依据。它们不保证搜索曝光、AI 提及、排名或营收;实际应用效果必须通过服务数据及相同条件下的观测来确认。

选择标准与具体应用示例

HNSW 是一种沿着多层近邻图搜索候选项的近似最近邻搜索方法。扩大搜索范围通常会同时增加召回率和计算成本。相似度并不等于事实性评分;嵌入模型发生变化时,应先确认现有索引的兼容性。

在 SAG 中的适用范围

本文介绍搜索 AI 的研究原理与扩展设计。请结合 SAG 的页面采集、依据记录和报告验证结构阅读,但不要据此认为论文中的搜索算法都已部署在运行流水线中。是否应用,应通过搜索模块、评估数据和执行记录确认。

如何继续阅读这项技术

比较 RAG、GraphRAG 和 Self-RAG 论文及其应用条件。

文章列表