使用 Citlyze
机器人访问
持续检查 AI 机器人能否访问你的页面,并在访问受阻时提醒你和说明原因。
AI 机器人抓取不到的页面,AI 回答就无法引用。诊断 → AI 爬虫活动 → 机器人访问会持续测试 AI 机器人能否真正访问你的关键页面,将你的 robots.txt 策略与实际响应对比,并在某个机器人无法访问时创建一个事件。
这与一次性审计不同:防火墙规则、CDN 机器人防护和 robots.txt 文件都会变化,上个月还能通过的页面,今天可能已经在不知不觉中被拦截。
受监控页面
你的首页和被引用最多的页面会自动加入监控;点击添加页面可以在套餐限额内监控更多页面(Starter 5 个,Growth 25 个,Pro 及以上 100 个)。每个页面所在行都可以展开,查看各个机器人的详情:HTTP 结果、robots.txt 对该机器人的规定,以及本次检查的结论。
检查从 Citlyze 服务器发起,并使用各个机器人的 User-Agent。因此,如果网站只对已验证机器人的 IP 段放行,即使真实机器人可以访问,这里也可能显示为被拦截;请结合 AI 爬虫分析确认实际来访的是谁。
事件与原因
当某个原本能访问页面的机器人无法再访问时,系统会创建一个事件并附上原因:
- robots.txt 阻止:你的 robots.txt 禁止了该机器人。如果这是有意为之,无需任何操作;有意设置的策略会得到尊重,仅用于训练的机器人不会触发提醒。
- 防火墙/CDN 阻止:请求在你的网站响应之前就被拒绝了。如果能识别厂商(例如 Cloudflare),会注明厂商名称,让你知道该打开哪个控制台。
- 超时或错误:页面没有返回可用的响应。
访问恢复后,事件会自动解决。修改 robots.txt 或防火墙规则后,可以点击立即重新检查,不必等待下一次定时检查。
提醒
机器人访问事件提醒规则会在事件创建时通知你,每个事件只通知一次。详见提醒。
导出
检查结果和事件可通过 API 获取:bot-access-results 和 bot-access-incidents。