SAG / ARCHITECTURE NOTE
robots.txt 与访问权限：技术上能抓取的内容，是否就允许抓取？
这是一套同时落实自动访问指令与所有者许可范围的运营规则。即使技术上能够打开页面，也不能断定抓取权限与使用范围相符。若将限制转化为失败分数，分析也会失真。
什么是抓取政策？
这是一套同时落实自动访问指令与所有者许可范围的运营规则。 本说明将抓取政策视为输入、转换和输出各环节的责任，而非某个功能名称。要信任分析结果，就必须能够追溯哪些资料被纳入、核查了什么，以及结论能够延伸到什么范围。
为什么需要这项技术？
即使技术上能够打开页面，也不能断定抓取权限与使用范围相符。若将限制转化为失败分数，分析也会失真。
设计原则与数据流
区分自动抓取指令、使用范围和访问失败。如果存在限制，则确认能否使用获准的 HTML 或截图资料作为替代，以及替代范围。
确认抓取政策 → 确定许可范围 → 获取资料并记录限制
每个阶段都不应把前一阶段的成功称作后一阶段的成果。持续记录资料的标识符、时间段和验证状态，有助于定位遗漏和错误发生的位置，并确定需要重新核查的范围。
与 SAG 架构的关联
SAG 会将抓取失败和限制记录为单独的状态。即使考虑基于浏览器的抓取，也不代表因此获得绕过访问限制的权限。
SAG 的运营价值在于将这种关系与页面、问题、比较结果和改进工作关联起来。客户不必只看数字，还可以一并审查需要补充的对象和判断依据。需要额外应用的模式，应根据相应段落的范围来解读。
说明性示例与判断标准
举例来说，如果因 robots 指令而无法自动抓取，这并不能作为将技术准备度评为 0 分的依据。应记录未抓取状态，并提供提交获准资料的途径。
以上示例用于说明结构和计算方式，并非特定客户的实际测量成果。实际报告应关联所选的时间段、对象、观测条件和原始记录，以便日后重新核查相同判断。
实务验证清单
| 流程阶段 | 核查项目 |
|---|---|
| 确认抓取政策 | 区分抓取指令与账户权限 |
| 确定许可范围 | 保留限制原因 |
| 获取资料并记录限制 | 确认替代资料的许可范围 |
请确认在资料为空、存在重复资料或条件不同的情况下，系统仍能保持相同含义，而不仅是在输入正常时如此。将验证项目纳入工作完成标准，有助于缩小功能说明与实际运营之间的差距。
局限与应用注意事项
RFC 9309 中的 robots 指令本身并不提供访问认证。网站权限、安全措施和合同范围都需要另行确认。
研究与官方文档
- IETF RFC 9309 — 定义了关于自动抓取的 robots 指令，并将其与认证区分开来。
外部资料为上述设计主题提供背景，并不认证 SAG 的所有实现或客户成果。本说明中的应用解读和说明性示例依据 SAG 的运营架构整理。资料核查日期：2026-10-06。
延伸阅读与功能确认
如何继续了解这项技术
沿着 HTML ZIP·站点地图 → 规范化 → 页面版本 → 依据记录的流程阅读。
SAG / KNOWLEDGE LINKS