站点地图发现与采集范围：URL 列表如何转化为分析计划？
将站点地图中的地址列表转化为已获准域名的采集候选项。URL 列表本身并不是分析结果。如果不整理按语言重复的页面、排除页面和其他主机，工作量会增加，但可用于比较的依据仍然不足。
SAG TECHNOLOGY FRONTIER
我们不只追随技术趋势。
SAG定义下一项标准。
我们设计搜索、回答与生成式AI理解品牌的方式，并用清晰的技术语言介绍SAG的真实架构与运营原则。
SAG / ARCHITECTURE NOTES
构成当前SAG的五项技术原则
从发现、证据与数据边界，到可靠执行和内容交付，逐一说明我们的工程选择。
14 articles · 1 / 2
URL 身份与去重：删除哈希后还是同一页面吗？
通过区分原始链接与用于比较的地址来管理文档的同一性。如果每次都把片段不同的引用计为新来源，证据页面数量就会膨胀。反之，删除重要查询参数，则会把不同产品合并在一起。
采集器 SSRF 防护：为什么不能直接请求客户注册的 URL？
这是一项防护措施，旨在防止用户提供的地址将请求引向内部服务或不允许访问的网络。看似正常的地址也可能在重定向或名称解析后指向内部地址。为了分析便利而开放网络边界，会动摇整个租户的信任基础。
ZIP 炸弹与路径穿越：数据采集器的信任边界在哪里？
通过限制压缩输入的允许大小、条目和路径，让处理资源保持可预测。即使上传内容很小，解压后也可能需要大量内存。如果直接将文件名用作路径，还可能触及分析系统之外的文件。
截图、OCR 与 DOM 的边界：通过屏幕最多能诊断什么？
将图像与文本、DOM 作为不同类型的证据进行管理。屏幕上可以显示产品说明，却看不到 meta 标签或 canonical。若把截图当作与 HTML 诊断相同的依据，就会对未经核实的技术项目下结论。
页面版本保存：为什么再次读取同一 URL 会形成新记录？
这是一种按采集时间保存同一地址内容记录的数据模型。地址未变，但规格或政策发生变化时，旧报告的依据可能与当前页面不同。只保存最新正文，会使过去的判断难以复现。
内容哈希与变更检测：先区分哪些内容发生了变化
这是一种利用内容摘要哈希和结构比较来区分相同资料与已变更资料的模式。页面采集越频繁，单纯的采集次数就越多。若每次都将实际上没有变化的输入发送给昂贵的模型，成本会增加，结果的一致性也可能减弱。
HTML 规范化：如何在评分之前让页面成为可比较的资料
从不同 HTML 中提取标题、正文、链接和元数据等信号，并整理为统一结构的过程。菜单和页脚较长的网站，提取到的重复句子可能比产品说明更多。如果不区分结构，句子数量可能被误读为产品证据已经充分。
HTML ZIP 分析：为什么有源文件时应先检查，而不是先爬取？
这是一种通过受限输入路径读取网页 HTML 集合，并将其转换为诊断所需文档的采集方式。当公开网站发生变化或外部访问受限时，仅凭当前页面很难验证之前的源文件。经批准的源文件集合是界定分析内容的起点。
增量采集与重新分析：每次都必须读取整个网站吗？
围绕已更改的页面和受影响的问题缩小重新分析范围。全量重新采集虽然简单，但即使是微小修改，也会再次产生全部成本。相反，如果变更判断范围过窄，就可能漏掉相关 FAQ 和对比表中的不一致。