選擇哪些 AI 爬蟲可以讀取你的 WordPress 網站
AI Crawler Control by Citlyze 是一款免費的 WordPress 外掛。它讀取你的網站實際提供的 robots.txt,顯示 40 多個 AI 爬蟲中哪些可以存取,並指出每條阻擋規則背後的外掛、佈景主題或設定。之後,你可以把 AI 訓練爬蟲擋在門外,同時讓 ChatGPT 搜尋、Perplexity 和其他 AI 回答仍能讀取並引用你的內容。
在 WordPress.org 免費下載。不需帳號。支援 WordPress 6.4 及以上版本。

查看哪些 AI 爬蟲可以進入
讀取你的網站實際提供的 robots.txt,將 40 多個 AI 爬蟲標示為允許或阻擋,並依 AI 搜尋、AI 助理和 AI 訓練分組。
找出阻擋它們的原因
指出每條阻擋規則背後的外掛、佈景主題或設定,並提示覆蓋 WordPress 的 robots.txt 檔案、Cloudflare 代管的 robots.txt,以及在讀取 robots.txt 之前就拒絕爬蟲的主機。
封鎖 AI 訓練,保留 AI 搜尋
擋住 GPTBot、ClaudeBot 等訓練爬蟲,同時讓 OAI-SearchBot 和 PerplexityBot 繼續引用你。儲存前可預覽具體規則;搜尋引擎永遠不會被封鎖。
為網站的部分內容設規則
把 AI 訓練爬蟲或所有 AI 爬蟲擋在 /members/ 等區塊之外,網站其他部分照常開放。搜尋引擎永遠不會被納入。
編輯器中的 AI 就緒度
在你撰寫時為每篇文章的 AI 回答表現評分,檢查項目與 Citlyze Chrome 擴充功能和 AEO 評分工具相同。
AI 建議,只在你需要時出現
在 WordPress 7.0 或更新版本中設定了 AI 服務商後,編輯器可以為小標題建議一個問題,或在下方草擬一段簡短回答。在你插入之前,什麼都不會改變。
爬蟲被封鎖時提醒你
每天檢查你的 robots.txt,一旦有東西開始封鎖 AI 搜尋或搜尋引擎,就會在 WordPress 後台與網站健康狀態中提醒你。也可以選擇接收電子郵件提醒。
如實看待 llms.txt
檢查你的網站提供的 llms.txt,或在沒有其他來源時提供一個簡單的版本,並明確說明目前沒有主流 AI 引擎公開表示會讀取它。
免費,不向 Citlyze 傳送任何內容
無需帳號。檢查在你的 WordPress 後台執行,只讀取你自己的網站。AI 建議只在你點擊時傳送給你自己的 AI 服務商。

封鎖 GPTBot 和 AI 訓練爬蟲,保留 AI 搜尋
OpenAI、Anthropic 和 Perplexity 各自用不同的爬蟲做不同的事。GPTBot 收集訓練資料,OAI-SearchBot 建立 ChatGPT 搜尋所引用的索引,ChatGPT-User 則在有人詢問某個頁面時擷取它。封鎖 GPTBot 可以讓你的內容不進入未來的模型;封鎖 OAI-SearchBot 則會讓你從 ChatGPT 搜尋的回答中消失,這通常並非本意。如果你決定封鎖訓練,外掛為此提供的選項不會影響 AI 搜尋。


找出阻擋 AI 爬蟲的外掛或設定
WordPress 的 robots.txt 是動態組成的:WordPress 先寫入幾行,接著 SEO 外掛、安全性外掛和佈景主題再加入各自的規則。外掛會逐一單獨執行每一部分,因此當某個爬蟲被阻擋時,它能告訴你是哪個外掛、佈景主題或設定寫下了這條規則。它也會提示 WordPress 無法看到的情況:伺服器上的 robots.txt 檔案、Cloudflare 代管的 robots.txt,以及在網路邊緣阻擋 AI 爬蟲的主機。
安裝、檢查、選擇
從 WordPress.org 安裝
在「外掛 > 安裝外掛」中搜尋 AI Crawler Control,或使用上方按鈕。無需帳號,無需設定。
開啟 Citlyze 選單
檢查會立即開始,針對訪客實際收到的 robots.txt,包括快取或 CDN 在途中所做的任何修改。
選擇你的 AI 爬蟲規則
選擇一個預設或逐一選擇爬蟲,查看預覽後儲存。復原可恢復你之前的選擇。
搜尋引擎永遠不會被封鎖
Googlebot、Bingbot、Applebot 等搜尋引擎爬蟲會列出,但無法在外掛中封鎖,因為封鎖它們會讓網站從一般搜尋結果中消失,而不僅僅是從 AI 回答中消失。如果其他外掛封鎖了其中之一,檢查會優先提示。Google-Extended 也會被準確處理:它控制 Gemini 的訓練以及 Gemini 應用程式和 Vertex AI 中的回答依據,而不影響 Google 搜尋或 AI Overviews。
robots.txt 無法告訴你的事
robots.txt 說明的是爬蟲可以讀取什麼,而不是它們實際讀取了什麼,防火牆或 CDN 的機器人防護仍可能拒絕它們。將外掛連接到 Citlyze,即可查看哪些 AI 爬蟲真正來訪(依每個請求的來源進行確認),以及哪些 AI 回答為你帶來了訪客。
了解 AI 爬蟲追蹤做同樣事情的免費網頁工具
檢查你的 robots.txt 允許或封鎖了哪些 AI 爬蟲,以及每次封鎖的代價。
選擇要允許或封鎖哪些 AI 爬蟲,並下載一份現成的 robots.txt。
依格式規範逐行檢查 llms.txt,可用網址或直接貼上。
是的。AI 爬蟲檢查和 AI 爬蟲規則都是免費的,無需帳號,沒有使用上限。只有在需要追蹤 AI 爬蟲造訪和來自 AI 回答的造訪時,才需要 Citlyze 帳號。
只有在你選擇規則並儲存時才會。它會在 WordPress 提供的 robots.txt 末尾、其他外掛寫入的內容之後加入一個帶標記的區塊,復原可恢復你之前的選擇。如果你的伺服器上有 robots.txt 檔案,WordPress 無法修改它,外掛會顯示需要複製進去的規則。
可以。它們的 robots.txt 規則保持不變,外掛自己的規則排在其後;當它們阻擋某個爬蟲時,檢查會指出來。
不會。免費工具不會向 Citlyze 或任何其他方傳送請求,只讀取你自己的網站。只有當你連接 Citlyze 帳號進行追蹤時,才會傳送資料。
安裝外掛,開啟 Citlyze > AI crawler access,選擇「Block AI training, stay in AI search」,查看預覽後儲存。它會在你的 robots.txt 中為 GPTBot 和其他訓練爬蟲加入 Disallow 規則,不會影響 OAI-SearchBot 和 ChatGPT-User,因此 ChatGPT 搜尋仍能讀取你的頁面。
不會。外掛從不封鎖 Googlebot、Bingbot 或其他搜尋引擎爬蟲。封鎖 Google-Extended 只影響 Gemini 的訓練和 grounding,不影響 Google 搜尋、AI Overviews 或 AI Mode。
它會檢查 40 多個已知爬蟲。你可以封鎖其中任何一個 AI 爬蟲,包括 GPTBot、ClaudeBot、CCBot、Bytespider、Google-Extended、Applebot-Extended、Meta-ExternalAgent、PerplexityBot 和 OAI-SearchBot,可以用預設,也可以逐一選擇。robots.txt 只是一種請求:守規矩的爬蟲會遵守,無視它的爬蟲需要在防火牆或 CDN 上阻擋。
