當 AI 爬蟲無法存取你的網站時，立即知道
上個月檢查過的 robots.txt 說明不了今天的狀況。Citlyze 持續測試 AI 機器人是否真的能到達你的關鍵頁面，並在有機器人被封鎖的當下通知你。
14 天免費試用 · 無需信用卡
Bot access
Robots policy vs live responses · checked continuously
主流 AI 回答引擎，一個評分
- ChatGPT
- Gemini
- Perplexity
- DeepSeek
- ByteDance
- Grok
- Google AI Overview & AI Mode
- Bing Copilot
Bot access
Robots policy vs live responses · checked continuously
每個受監控頁面，逐一檢查各機器人
你的首頁與被引用最多的頁面會自動納入監控。再加入其他你不能讓 AI 看不見的頁面。
- 將 robots.txt 政策與即時回應互相比對
- 重要 AI 爬蟲的逐機器人狀態
- 受監控頁面自動以你被引用最多的 URL 建立
Open incident
PerplexityBot · /pricing
Firewall/CDN block · cloudflare
The request was rejected before your app answered. Check your bot rules and allow this crawler.
Aug 15
first seen
2h ago
last check
Email + Slack
alerted
Resolves automatically when access recovers.
Auto-resolve警示會指出原因，而不只是亮紅燈
當機器人失去存取權限時，事件會指出是哪一層造成封鎖，讓你知道該打開哪個後台。
- 區分 robots.txt 封鎖與防火牆、CDN 封鎖
- 可辨識時會指出造成封鎖的供應商
- 存取恢復後事件自動解除
AI crawler traffic
Signed server-side requests · last 30 days
2,442
crawler hits
86
URLs requested
GPTBot
top crawler
Daily hits
+22%Bot breakdown
尊重你規則的監控
封鎖某些機器人是一種選擇，不是錯誤。刻意設定的政策不會打擾你；意外的退化才會大聲提醒。
- 刻意設定的 robots.txt 規則不會被標記為事件
- 依方案可監控 5 到 100 個頁面
- 搭配 AI 爬蟲追蹤，確認機器人回訪
機器人存取監控
想看看 Citlyze 的示範嗎？ 預約示範
robots.txt 只是政策層。防火牆與 CDN 的機器人防護會在你的網站回應之前先行攔截，而它們的預設規則常常把 AI 爬蟲一併擋下。這種封鎖從讀取 robots.txt 是看不出來的；只有以機器人的方式實際請求頁面時才會顯現。