哪些 AI 爬蟲能讀取你的網站?
輸入一個網址,我們會像爬蟲一樣讀取你的 robots.txt,然後給出 44 個有據可查的 AI 爬蟲的判定結果:允許還是封鎖、起決定作用的具體規則,以及封鎖每個類別會讓你付出什麼代價。無需帳號,不會保存任何內容。
輸入一個網址,輸出每個爬蟲的判定
輸入任一頁面網址
我們會先解析重新導向,讓檢查針對提供你網站服務的來源站台執行,然後只抓取一次它的 robots.txt。
我們會評估每個有據可查的 AI 爬蟲
每個爬蟲的 robots 識別字串都會依 RFC 9309 語義與你的規則比對:最長比對獲勝,萬用字元也計入。每條判定旁都會顯示勝出的規則。
依類別解讀結果
搜尋索引類與助理抓取類爬蟲,決定 AI 回答能不能看到並引用你;訓練類爬蟲只影響未來的模型訓練。工具會把這兩種決定分開呈現。
robots.txt 封鎖能做什麼,不能做什麼
robots.txt 是你的網站與守規矩的爬蟲之間的公開約定。封鎖檢索類爬蟲,會把你的頁面從該引擎產生的回答中移除;封鎖訓練類爬蟲,只是讓你的內容退出未來的模型訓練。這個檔案擋不住惡意行為者,但也不需要:對 AI 能見度真正重要的爬蟲,都會公布自己的識別字串並遵守規則。
為什麼我們不用機器人使用者代理探測你的網站
發送偽裝成 GPTBot 的請求,測的其實是你的網站如何對待假的 GPTBot,這是完全不同的事:CDN 是靠公布的 IP 範圍驗證真實爬蟲,而不是使用者代理字串。偽造的探測會給出篤定卻錯誤的答案。讀取 robots.txt 呈現的才是你發布的契約。
沒人記得寫下的那條封鎖規則
AI 能見度為零最常見的原因,並不是內容品質,而是多年前在 CDN 或 robots.txt 中加入的一條全面封鎖機器人規則,往往是當初擔心內容被爬取時寫下的,如今仍把每個新的 AI 爬蟲擋在門外。如果這個工具顯示檢索類爬蟲被封鎖,而你不記得做過這個決定,那你就找到了效益最大的修正。
CDN 與防火牆層的封鎖不會顯示在這裡
這個工具讀取的是 robots.txt,也就是你公開發布的那一層。有些網站還會在 CDN 或防火牆層攔截機器人,這從 robots.txt 的讀取完全看不到,並且可能與寬鬆的政策相互矛盾。Citlyze 的機器人存取監控會持續以各個機器人的方式請求你的頁面,因此也看得到那一層,並在有爬蟲被封鎖時警示你。
GPTBot 為模型訓練蒐集內容;OAI-SearchBot 為 ChatGPT 的搜尋回答建立索引,另外還有一個獨立的使用者代理,會在使用者即時詢問某個頁面時抓取它。封鎖訓練機器人不會影響你的搜尋能見度;封鎖搜尋與抓取代理,則會把你從 ChatGPT 的回答中移除。其他業者也有同樣的區分,這正是本工具依類別分組判定的原因。
CDN 或防火牆層的機器人防護可以不管 robots.txt 寫什麼直接攔截爬蟲。一次性的 robots.txt 讀取看不到那一層;持續以各個機器人的方式請求頁面的檢查則看得到。這正是機器人存取監控在做的事:存取中斷時提供警示並指出原因。
這是一種取捨。封鎖訓練機器人可以讓你的內容不進入未來的模型訓練,而從訓練資料認識你品牌的模型,也會在完全不做即時檢索的回答裡提到它。請依業務需求決定,並把這個決定和檢索存取分開考量,因為 AI 搜尋能見度靠的是後者。
不會。兩次抓取完成後,判定在記憶體中計算,結果直接回傳你的瀏覽器。回應結束後不保留請求的任何內容。
