第一时间发现 AI 爬虫无法访问你的网站
机器人访问监控会持续检查 AI 爬虫能否访问你的关键页面。上个月的 robots.txt 检查说明不了今天的情况,所以 Citlyze 会针对你的页面反复测试每个爬虫,一旦有爬虫被拦截就立刻告诉你,以及是哪一层拦截了它。
14 天免费试用 · 无需信用卡
Bot access
Robots policy vs live responses · checked continuously
市场、SEO 与代理机构团队的信赖之选。
- ChatGPT
- Gemini
- Perplexity
- DeepSeek
- Grok
- Google AI Overview & AI Mode
- Bing Copilot
Bot access
Robots policy vs live responses · checked continuously
每个受监控页面,逐机器人检查
你的首页和被引用最多的页面会自动纳入监控。再把那些你绝不能让 AI 看不见的页面加进来。
- 将 robots.txt 策略与实时响应进行对比
- 重点 AI 爬虫逐个显示状态
- 受监控页面自动取自被引用最多的 URL
Open incident
PerplexityBot · /pricing
Firewall/CDN block · cloudflare
The request was rejected before your app answered. Check your bot rules and allow this crawler.
Aug 15
first seen
2h ago
last check
Email + Slack
alerted
Resolves automatically when access recovers.
Auto-resolve提醒会指出原因
当某个机器人失去访问权限时,事件会指明是哪一层拦截了它,你就知道该打开哪个控制台。
- 区分 robots.txt 拦截与防火墙、CDN 拦截
- 可识别时会指出执行拦截的服务商
- 访问恢复后事件自动解除
AI crawler traffic
Signed server-side requests · last 30 days
2,442
crawler hits
86
URLs requested
GPTBot
top crawler
Daily hits
+22%Bot breakdown
遵循你规则的监控
你刻意拦截的机器人不会触发提醒。只有意外出现的访问倒退才会产生事件。
- 刻意设置的 robots.txt 规则不会被标记为事件
- 根据套餐可监控 5 到 100 个页面
- 与 AI 爬虫追踪配合,确认机器人重新到访
robots.txt 只是策略层。防火墙和 CDN 的机器人防护在你的网站响应之前就会生效,它们的默认规则常常会误伤 AI 爬虫。这类拦截从 robots.txt 里根本看不出来;只有像机器人那样请求页面时才会显现。
会,而且这是最常见的无声故障。一条为对付抓取程序而收紧的机器人管理规则,可能连带挡住 AI 爬虫,而你的网站看起来一切如常。持续检查能在问题出现时立刻发现,而不是几个月之后。
robots.txt 拦截是你公开发布的策略:修复方法是编辑 Disallow 规则。防火墙或 CDN 拦截发生在页面响应之前的基础设施层:修复要到服务商的机器人设置里进行。Citlyze 的事件会指明发生的是哪一种,并在可识别时给出服务商名称。
系统会针对该机器人和页面创建一个附带原因的事件,机器人访问事件提醒规则可以通过邮件、Slack 或 Teams 通知你。访问恢复后,事件会自动解除。修改 robots.txt 或防火墙规则后,点击立即重新检查即可马上确认修复效果。
机器人访问监控在 Starter 套餐覆盖 5 个页面,Growth 覆盖 25 个,Pro 及以上覆盖 100 个。你的首页和被引用最多的页面会自动纳入,你还可以在套餐上限内添加更多。
机器人访问监控通过主动检查回答“机器人能访问我的页面吗”。AI 爬虫追踪通过记录真实的爬虫访问回答“它们真的来了吗”。两者配合使用时,访问一旦出问题,两边都会有体现:事件告诉你原因,访问数据确认机器人何时恢复访问。
免费检查工具只读取一次页面的 robots.txt,也会明确告诉你:单次读取 robots 看不到 CDN 或防火墙拦截。监控则定期以每个机器人的方式请求你的页面,因此也能看到基础设施层,并在情况变化时提醒你。
能。检查从外部请求你的页面,与真实机器人的方式完全一致,所以 Cloudflare 及类似层也在测试范围内。有一点需要注意:检查是从 Citlyze 服务器带上各机器人的 user agent 发出的,因此对已验证机器人 IP 段设置白名单的网站,这里可能显示为被拦截,而真实机器人其实能通过。
不会。刻意设置的 robots.txt 规则会被视为策略而非问题;仅用于训练的机器人也不会触发事件提醒,因为拦截它们通常是有意为之。提醒只针对访问倒退的情况:原本能访问页面的机器人突然访问不了。
