第一时间发现 AI 爬虫无法访问你的网站
上个月的 robots.txt 检查说明不了今天的情况。Citlyze 持续测试 AI 机器人能否真正到达你的关键页面，并在有机器人被拦截的那一刻通知你。
14 天免费试用 · 无需信用卡
Bot access
Robots policy vs live responses · checked continuously
主流 AI 回答引擎，一个评分
- ChatGPT
- Gemini
- Perplexity
- DeepSeek
- ByteDance
- Grok
- Google AI Overview & AI Mode
- Bing Copilot
Bot access
Robots policy vs live responses · checked continuously
每个受监控页面，逐机器人检查
你的首页和被引用最多的页面会自动纳入监控。再把那些你绝不能让 AI 看不见的页面加进来。
- 将 robots.txt 策略与实时响应进行对比
- 重点 AI 爬虫的逐机器人状态
- 受监控页面自动取自被引用最多的 URL
Open incident
PerplexityBot · /pricing
Firewall/CDN block · cloudflare
The request was rejected before your app answered. Check your bot rules and allow this crawler.
Aug 15
first seen
2h ago
last check
Email + Slack
alerted
Resolves automatically when access recovers.
Auto-resolve警报会指出原因，而不只是亮红灯
当某个机器人失去访问权限时，事件会指明是哪一层拦截了它，你就知道该打开哪个控制台。
- 区分 robots.txt 拦截与防火墙、CDN 拦截
- 可识别时会指出执行拦截的服务商
- 访问恢复后事件自动解除
AI crawler traffic
Signed server-side requests · last 30 days
2,442
crawler hits
86
URLs requested
GPTBot
top crawler
Daily hits
+22%Bot breakdown
遵循你规则的监控
拦截某些机器人是一种选择，不是错误。刻意设定的策略保持安静；意外的回退才会发出警报。
- 刻意设置的 robots.txt 规则不会被标记为事件
- 根据套餐可监控 5 到 100 个页面
- 与 AI 爬虫追踪配合，确认机器人重新到访
机器人访问监控
想看看 Citlyze 的演示？ 预约演示
robots.txt 只是策略层。防火墙和 CDN 的机器人防护在你的网站响应之前就会生效，它们的默认规则常常会误伤 AI 爬虫。这类拦截从 robots.txt 里根本看不出来；只有像机器人那样实际请求页面时才会显现。