使用 Citlyze
機器人存取
持續檢查 AI 機器人能否存取你的頁面,並在發生事件時發出警示、說明原因。
AI 機器人擷取不到的頁面,AI 回答就無法引用。 診斷 → AI 爬蟲活動 → 機器人存取會持續測試 AI 機器人是否真的能存取你的關鍵 頁面,比對你的 robots.txt 政策與實際回應,並在機器人失去存取權時建立事件。
這與一次性稽核不同:防火牆規則、CDN 的機器人防護與 robots.txt 檔案都可能變動, 上個月還能通過的頁面,今天可能已在不知不覺中遭到封鎖。
受監控的頁面
你的首頁與最常被引用的頁面會自動加入;在方案上限內,可以使用新增頁面監控 更多頁面(Starter 5 頁、Growth 25 頁、Pro 以上 100 頁)。展開每一列頁面,即可 查看各機器人的詳細資料:HTTP 結果、robots.txt 對該機器人的規定,以及這次檢查的 結果。
檢查會從 Citlyze 伺服器發出,並使用各機器人的 User-Agent。因此,如果網站以允許 清單放行已驗證機器人的 IP 範圍,即使真正的機器人能夠存取,這裡也可能顯示為遭到 封鎖;請搭配 AI 爬蟲分析確認實際造訪的情況。
事件與原因
原本能存取頁面的機器人無法再存取時,系統會建立事件並註明原因:
- robots.txt 阻擋:你的 robots.txt 禁止該機器人存取。如果這是刻意的設定, 就不需要處理;系統會尊重你刻意設定的政策,僅用於訓練的機器人也不會觸發警示。
- 防火牆/CDN 阻擋:請求在你的網站回應之前就被拒絕。如果能辨識供應商(例如 Cloudflare),系統會註明名稱,讓你知道該開啟哪個控制台。
- 逾時或錯誤:頁面沒有回傳可用的回應。
存取恢復後,事件會自動解除。修改 robots.txt 或防火牆規則後,可以使用 立即重新檢查,不必等待下一次排程檢查。
警示
機器人存取事件警示規則會在事件建立時通知你,每起事件只通知一次。請參閱 警示。
匯出
檢查結果與事件可透過 API 取得: bot-access-results 與 bot-access-incidents。