當 AI 爬蟲無法存取你的網站時,立即知道
機器人存取監控會持續檢查 AI 爬蟲能否到達你的關鍵頁面。上個月的 robots.txt 檢查說明不了今天的情況,所以 Citlyze 會針對你的頁面重新測試每個爬蟲,一旦有爬蟲被擋就立刻通知你,並告訴你是哪一層擋下的。
14 天免費試用 · 無需信用卡
Bot access
Robots policy vs live responses · checked continuously
行銷、SEO 與代理商團隊的信賴之選。
- ChatGPT
- Gemini
- Perplexity
- DeepSeek
- Grok
- Google AI Overview & AI Mode
- Bing Copilot
Bot access
Robots policy vs live responses · checked continuously
每個受監控頁面,逐一檢查各機器人
你的首頁與被引用最多的頁面會自動納入監控。再加入其他你不能讓 AI 看不見的頁面。
- 將 robots.txt 政策與即時回應互相比對
- 重要 AI 爬蟲的個別狀態
- 受監控頁面自動以你被引用最多的 URL 建立
Open incident
PerplexityBot · /pricing
Firewall/CDN block · cloudflare
The request was rejected before your app answered. Check your bot rules and allow this crawler.
Aug 15
first seen
2h ago
last check
Email + Slack
alerted
Resolves automatically when access recovers.
Auto-resolve警示會指出原因
當機器人失去存取權限時,事件會指出是哪一層造成封鎖,讓你知道該打開哪個後台。
- 區分 robots.txt 封鎖與防火牆、CDN 封鎖
- 可辨識時,會指出造成封鎖的服務商
- 存取恢復後事件自動解除
AI crawler traffic
Signed server-side requests · last 30 days
2,442
crawler hits
86
URLs requested
GPTBot
top crawler
Daily hits
+22%Bot breakdown
尊重你規則的監控
你刻意封鎖的機器人不會觸發提醒。只有原本可以存取、後來卻被擋住的情況,才會開啟事件。
- 刻意設定的 robots.txt 規則不會被標記為事件
- 依方案可監控 5 到 100 個頁面
- 搭配 AI 爬蟲追蹤,確認機器人回訪
robots.txt 只是政策層。防火牆與 CDN 的機器人防護會在你的網站回應之前先行攔截,而它們的預設規則常常把 AI 爬蟲一併擋下。這種封鎖從讀取 robots.txt 是看不出來的;只有以機器人的方式請求頁面時才會顯現。
會,而且這是最常見、也最不容易察覺的問題。為了對付爬取程式而收緊的機器人管理規則,可能連 AI 爬蟲一起擋掉,而你的網站看起來毫無異狀。持續檢查能在問題發生的當下就抓到,而不是幾個月後才發現。
robots.txt 封鎖是你公開發布的政策:修正方式是編輯 Disallow 規則。防火牆或 CDN 封鎖則發生在頁面回應之前的基礎設施層:要到服務商的機器人設定裡處理。Citlyze 的事件會指出是哪一種,能辨識時還會標出服務商名稱。
系統會針對該機器人與頁面開啟一筆附帶原因的事件,機器人存取事件警示規則可以透過電子郵件、Slack 或 Teams 通知你。存取恢復後,事件會自動解除。修改 robots.txt 或防火牆規則後,可用立即重新檢查馬上確認修復結果。
機器人存取監控在 Starter 涵蓋 5 個頁面,Growth 25 個,Pro 及以上 100 個。你的首頁與被引用最多的頁面會自動納入,也可以在方案上限內加入更多。
機器人存取監控用主動檢查回答「機器人能不能到達我的頁面」。AI 爬蟲追蹤則記錄真實的爬蟲造訪,回答「它們有沒有來」。兩者搭配使用時,存取一出問題,兩邊都看得到:事件告訴你原因,造訪資料則確認機器人何時回來。
免費檢查工具只讀取一次頁面的 robots.txt,並說明這一點:單次讀取 robots.txt 看不到 CDN 或防火牆封鎖。監控則按排程、以每個機器人的方式請求你的頁面,因此連基礎設施層也在檢測範圍內,一有變化就會警示你。
可以。檢查會像真正的機器人一樣從外部請求你的頁面,因此 Cloudflare 之類的防護層也在測試範圍內。一點提醒:檢查是從 Citlyze 伺服器帶著各機器人的 user agent 發出的,所以將已驗證機器人 IP 範圍列入允許清單的網站,即使真正的機器人能通過,這裡也可能顯示為被封鎖。
不會。刻意設定的 robots.txt 規則會被視為政策,而不是問題;僅用於訓練的機器人也不會納入事件警示,因為封鎖它們通常是有意為之。警示只針對異常狀況:原本能到達頁面的機器人,突然到不了了。
