抓取、索引与 canonical：曝光前需要检查的技术 SEO

一句话定义

技术 SEO是控制搜索机器人能否访问、如何选择规范 URL，以及页面能否被索引的基础工作。

核心答案：即使正文内容优质，如果机器人无法访问，或页面设置了 noindex，也可能无法向搜索提供足够的信息。必须区分 robots.txt 对抓取的限制和 noindex 对索引的限制。重复 URL 过多，也会分散指向规范页面的信号。

为什么需要这项技术？

即使正文内容优质，如果机器人无法访问，或页面设置了 noindex，也无法成为搜索候选页面。重复 URL 过多，也会分散指向规范页面的信号。

工作原理

需要综合检查 HTTP 状态、robots 指令、canonical、内部链接和站点地图。canonical 是一种提示，并且应与实际内容、重定向和站点地图信号保持一致。

设计时不能只关注准确性。还应一并定义延迟、成本、数据边界、更新周期以及失败时的行为，这样才能在实际运营中获得可复现的结果。对于自动化无法确定的值，安全的做法是将其保留为“未测量”或“需要审核”，而不是将其改成 0 或成功。

与 SAG 技术的关联

SAG 会逐页检查公开页面的渲染结果和元数据指令，并在报告中保留依据，区分建议与实际观测结果。

实务检查清单

• 确认响应为 200，且允许索引
• 检查 canonical 是否指向实际的规范 URL
• 统一站点地图和内部链接中的 URL
• 将失败、空结果和权限错误的状态与成功区分开
• 在相同条件下重新验证变更前后的结果

研究与官方文档

• Google canonical 指南
• Google AI 搜索功能官方指南

参考文档为原理和建议提供依据，但不保证搜索曝光、AI 提及、排名或营收。实际应用效果应通过服务数据以及在相同条件下进行的观测来确认。

如何继续了解这项技术

了解 SEO、AEO、GEO、实体和 JSON-LD 分别解决什么问题。

• 从术语开始了解
• 功能指南 FAQ