机器人访问

AI 机器人抓取不到的页面，AI 回答就无法引用。AI 爬虫 → 机器人访问 持续测试 AI 机器人是否真的能访问你的关键页面，将你的 robots.txt 策略 与实时响应对比，并在某个机器人失去访问时开启一个事件。

这与一次性审计不同：防火墙规则、CDN 机器人防护和 robots.txt 文件都会 变化，上个月还能通过的页面，今天可能已被悄悄阻止。

受监控页面

你的首页和被引用最多的页面会自动添加；使用添加页面可以在套餐限额 内监控更多页面（Starter 5 个，Growth 25 个，Pro 及以上 100 个）。每个 页面行可展开为按机器人的详情：HTTP 结果、robots.txt 对该机器人的规定， 以及本次检查的结论。

检查从 Citlyze 服务器发起，模拟每个机器人的 User-Agent。因此，对已验证 机器人 IP 段设置白名单的网站，在这里可能显示为被阻止，即使真实机器人 可以通过；请将本页与 AI 爬虫分析 配合使用，确认实际来访的是谁。

事件与原因

当一个原本能访问某页面的机器人不再能访问时，会开启一个事件并附上原因：

• robots.txt 阻止：你的 robots.txt 禁止了该机器人。如果这是有意为 之，无需任何操作；有意的策略会被尊重，仅用于训练的机器人不会触发 提醒。
• 防火墙/CDN 阻止：请求在你的网站响应之前就被拒绝。能识别时会指明 厂商（例如 Cloudflare），让你知道该打开哪个控制台。
• 超时或错误：页面没有给出可用的响应。

访问恢复后，事件会自动解决。修改 robots.txt 或防火墙规则后，使用 立即重新检查，不必等待下一次定时检查。

提醒

机器人访问事件提醒规则会在事件开启时通知你，每个事件一次。参见 提醒。

导出

检查结果和事件可通过 API 获取： bot-access-results 和 bot-access-incidents。