機器人存取

AI 機器人抓取不到的頁面，就是 AI 回答無法引用的頁面。 AI 爬蟲 → 機器人存取持續測試 AI 機器人是否真的能到達你的關鍵 頁面，把你的 robots.txt 政策與即時回應比較，並在機器人失去存取權時 開立事件。

這與一次性稽核不同：防火牆規則、CDN 機器人防護與 robots.txt 檔案都 會變動，上個月通過的頁面今天可能已被悄悄封鎖。

受監控頁面

你的首頁與被引用最多的頁面會自動加入；使用新增頁面在方案限額內 監控更多頁面（Starter 5 頁，Growth 25 頁，Pro 及以上 100 頁）。每個 頁面列可展開為按機器人的細節：HTTP 結果、robots.txt 對該機器人的規 定，以及該次檢查的結果。

檢查從 Citlyze 伺服器發出，模擬每個機器人的 user-agent。因此對已驗證 機器人 IP 範圍設定允許清單的網站，即使真實機器人能通過，在這裡也可能 顯示為被封鎖；請搭配 AI 爬蟲分析確認實際到訪的是什麼。

事件與原因

當原本能到達頁面的機器人不再能到達時，會開立一個事件並附上原因：

• robots.txt 阻擋：你的 robots.txt 禁止了該機器人。如果這是有意 的，就不需要任何動作；刻意的政策會被尊重，僅用於訓練的機器人不會 觸發警示。
• 防火牆/CDN 阻擋：請求在你的網站回應之前就被拒絕。可辨識時會標 明供應商（例如 Cloudflare），讓你知道該打開哪個控制台。
• 逾時或錯誤：頁面沒有給出可用的回應。

存取恢復後事件會自動解決。修改 robots.txt 或防火牆規則後，使用 立即重新檢查，不必等下一次排程檢查。

警示

機器人存取事件警示規則會在事件開立時通知你，每個事件一次。見 警示。

匯出

檢查結果與事件可透過 API 取得： bot-access-results 與 bot-access-incidents。