選擇哪些 AI 爬蟲 可以讀取你的 WordPress 網站
AI Crawler Control by Citlyze 是一款免費的 WordPress 外掛。它讀取你的網站實際提供的 robots.txt，顯示 40 多個 AI 爬蟲中哪些可以存取，並指出每條阻擋規則背後的外掛、佈景主題或設定。之後，你可以把 AI 訓練爬蟲擋在門外，同時讓 ChatGPT 搜尋、Perplexity 和其他 AI 回答仍能讀取並引用你的內容。
在 WordPress.org 免費下載。不需帳號。支援 WordPress 6.4 及以上版本。
查看哪些 AI 爬蟲可以進入
讀取你的網站實際提供的 robots.txt，將 40 多個 AI 爬蟲標示為允許或阻擋，並依 AI 搜尋、AI 助理和 AI 訓練分組。
找出阻擋它們的原因
指出每條阻擋規則背後的外掛、佈景主題或設定，並提示覆蓋 WordPress 的 robots.txt 檔案、Cloudflare 代管的 robots.txt，以及在讀取 robots.txt 之前就拒絕爬蟲的主機。
封鎖 AI 訓練，保留 AI 搜尋
擋住 GPTBot、ClaudeBot 等訓練爬蟲，同時讓 OAI-SearchBot 和 PerplexityBot 繼續引用你。儲存前可預覽具體規則；搜尋引擎永遠不會被封鎖。
為網站的部分內容設規則
把 AI 訓練爬蟲或所有 AI 爬蟲擋在 /members/ 等欄目之外，網站其他部分照常開放。搜尋引擎永遠不在其中。
編輯器中的 AI 就緒度
在你撰寫時為每篇文章的 AI 回答表現評分，檢查項目與 Citlyze Chrome 擴充功能和 AEO 評分工具相同。
AI 建議，只在你需要時出現
在 WordPress 7.0 或更新版本中設定了 AI 服務商後，編輯器可以為小標題建議一個問題，或在下方草擬一段簡短回答。在你插入之前，什麼都不會改變。
免費，不向 Citlyze 傳送任何內容
無需帳號。檢查在你的 WordPress 後台執行，只讀取你自己的網站。AI 建議只在你點擊時傳送給你自己的 AI 服務商。
封鎖 GPTBot 和 AI 訓練爬蟲，保留 AI 搜尋
OpenAI、Anthropic 和 Perplexity 各自用不同的爬蟲做不同的事。GPTBot 收集訓練資料，OAI-SearchBot 建立 ChatGPT 搜尋所引用的索引，ChatGPT-User 則在有人詢問某個頁面時擷取它。封鎖 GPTBot 可以讓你的內容不進入未來的模型；封鎖 OAI-SearchBot 則會讓你從 ChatGPT 搜尋的回答中消失，這通常並非本意。如果你決定封鎖訓練，外掛為此提供的選項不會影響 AI 搜尋。
找出阻擋 AI 爬蟲的外掛或設定
WordPress 的 robots.txt 是動態組成的：WordPress 先寫入幾行，接著 SEO 外掛、安全性外掛和佈景主題再加入各自的規則。外掛會逐一單獨執行每一部分，因此當某個爬蟲被阻擋時，它能告訴你是哪個外掛、佈景主題或設定寫下了這條規則。它也會提示 WordPress 無法看到的情況：伺服器上的 robots.txt 檔案、Cloudflare 代管的 robots.txt，以及在網路邊緣阻擋 AI 爬蟲的主機。
安裝、檢查、選擇
從 WordPress.org 安裝
在「外掛 > 安裝外掛」中搜尋 AI Crawler Control，或使用上方按鈕。無需帳號，無需設定。
開啟 Citlyze 選單
檢查會立即開始，針對訪客實際收到的 robots.txt，包括快取或 CDN 在途中所做的任何修改。
選擇你的 AI 爬蟲規則
選擇一個預設或逐一選擇爬蟲，查看預覽後儲存。復原可恢復你之前的選擇。
搜尋引擎永遠不會被封鎖
Googlebot、Bingbot、Applebot 等搜尋引擎爬蟲會列出，但無法在外掛中封鎖，因為封鎖它們會讓網站從一般搜尋結果中消失，而不僅僅是從 AI 回答中消失。如果其他外掛封鎖了其中之一，檢查會優先提示。Google-Extended 也會被準確處理：它控制 Gemini 的訓練以及 Gemini 應用程式和 Vertex AI 中的回答依據，而不影響 Google 搜尋或 AI 摘要。
robots.txt 無法告訴你的事
robots.txt 說明的是爬蟲可以讀取什麼，而不是它們實際讀取了什麼，防火牆或 CDN 的機器人防護仍可能拒絕它們。將外掛連接到 Citlyze，即可查看哪些 AI 爬蟲真正來訪（依每個請求的來源進行確認），以及哪些 AI 回答為你帶來了訪客。
了解 AI 爬蟲追蹤做同樣事情的免費網頁工具
檢查你的 robots.txt 允許或封鎖了哪些 AI 爬蟲，以及每次封鎖的代價。
選擇要允許或封鎖哪些 AI 爬蟲，並下載一份現成的 robots.txt。
依格式規範逐行檢查 llms.txt，可用網址或直接貼上。
是的。AI 爬蟲檢查和 AI 爬蟲規則都是免費的，無需帳號，沒有使用上限。只有在需要追蹤 AI 爬蟲造訪和來自 AI 回答的造訪時，才需要 Citlyze 帳號。
