當 AI 爬蟲無法存取你的網站時，立即知道
Bot Access Monitoring 持續檢查 AI 爬蟲能否存取你的關鍵頁面。上個月的 robots.txt 檢查說明不了今天的情況，所以 Citlyze 會針對你的頁面重新測試每個爬蟲，並在某個爬蟲被攔截時立刻告知你，以及是哪一層攔截了它。
14 天免費試用 · 無需信用卡
Bot access
Robots policy vs live responses · checked continuously
行銷、SEO 與代理商團隊的信賴之選。
- ChatGPT
- Gemini
- Perplexity
- DeepSeek
- ByteDance
- Grok
- Google AI Overview & AI Mode
- Bing Copilot
Bot access
Robots policy vs live responses · checked continuously
每個受監控頁面，逐一檢查各機器人
你的首頁與被引用最多的頁面會自動納入監控。再加入其他你不能讓 AI 看不見的頁面。
- 將 robots.txt 政策與即時回應互相比對
- 重要 AI 爬蟲的逐機器人狀態
- 受監控頁面自動以你被引用最多的 URL 建立
Open incident
PerplexityBot · /pricing
Firewall/CDN block · cloudflare
The request was rejected before your app answered. Check your bot rules and allow this crawler.
Aug 15
first seen
2h ago
last check
Email + Slack
alerted
Resolves automatically when access recovers.
Auto-resolve警示會指出原因
當機器人失去存取權限時，事件會指出是哪一層造成封鎖，讓你知道該打開哪個後台。
- 區分 robots.txt 封鎖與防火牆、CDN 封鎖
- 可辨識時會指出造成封鎖的供應商
- 存取恢復後事件自動解除
AI crawler traffic
Signed server-side requests · last 30 days
2,442
crawler hits
86
URLs requested
GPTBot
top crawler
Daily hits
+22%Bot breakdown
尊重你規則的監控
你刻意封鎖的機器人不會打擾你。只有意外的退化才會產生事件。
- 刻意設定的 robots.txt 規則不會被標記為事件
- 依方案可監控 5 到 100 個頁面
- 搭配 AI 爬蟲追蹤，確認機器人回訪
robots.txt 只是政策層。防火牆與 CDN 的機器人防護會在你的網站回應之前先行攔截，而它們的預設規則常常把 AI 爬蟲一併擋下。這種封鎖從讀取 robots.txt 是看不出來的；只有以機器人的方式請求頁面時才會顯現。
