WordPress 外掛

AI Crawler Control by Citlyze 是一款免費的 WordPress 外掛，分為兩部分。免費工具無需帳號即可使用：它們顯示你的 robots.txt 允許哪些 AI 爬蟲存取，指出是什麼阻擋了其餘爬蟲，並讓你在封鎖 AI 訓練的同時保留在 AI 搜尋中。將外掛連接到 Citlyze 後，還可以追蹤 AI 爬蟲造訪和來自 AI 回答的造訪，詳見安裝 AI 爬蟲追蹤。

安裝

1. 在 WordPress 後台前往 外掛 → 安裝外掛，搜尋 AI Crawler Control by Citlyze，點擊立即安裝，再點擊啟用。
2. 在管理選單中開啟 Citlyze → AI crawler access。檢查會立即開始。

免費工具無需帳號、金鑰或任何設定。

檢查哪些 AI 爬蟲可以讀取你的網站

Citlyze → AI crawler access 會讀取訪客實際收到的 robots.txt（包括快取或 CDN 所做的任何修改），並針對每個已知 AI 爬蟲進行評估。爬蟲依封鎖後的影響分組：

• AI 搜尋爬蟲建立 ChatGPT 搜尋、Perplexity、Claude 等 AI 回答所引用的索引。封鎖它們會讓你從這些回答中消失。
• AI 助理會在有人向助理詢問某個頁面時擷取該頁面。
• AI 訓練爬蟲收集內容用於訓練模型。封鎖它們可以讓你的內容不進入未來的訓練，但不會讓你從 AI 回答中消失。
• 搜尋引擎（如 Googlebot 和 Bingbot）會列出以便你查看，但外掛永遠不會封鎖它們。

對於每個被阻擋的爬蟲，表格會註明規則的來源：WordPress、某個具體的外掛或佈景主題、伺服器上的 robots.txt 檔案、Cloudflare 代管的 robots.txt，或你的伺服器或 CDN。

在表格上方，檢查會列出所有障礙：

• 在 設定 → 閱讀 中關閉了對搜尋引擎的可見度。
• 伺服器上存在 robots.txt 檔案，它會取代 WordPress 產生的版本。
• robots.txt 載入緩慢或無法載入。
• 其他外掛阻擋了搜尋引擎或 AI 搜尋爬蟲。
• 可能在讀取 robots.txt 之前就拒絕爬蟲的主機和安全性外掛，例如 Cloudflare、WP Engine 或 Wordfence。

選擇 AI 爬蟲規則

在 Your AI crawler rules 下選擇：

• Don't add rules（預設）：robots.txt 保持不變。
• Block AI training, stay in AI search：封鎖 GPTBot、ClaudeBot、Google-Extended 和 CCBot 等訓練爬蟲，放行 OAI-SearchBot、PerplexityBot 和各類助理。
• Block all AI crawlers：同時會讓你從 AI 回答中消失。
• Custom：逐一選擇爬蟲。

儲存前，預覽會顯示具體的規則行，以及每組中仍被允許的爬蟲數量。規則位於 robots.txt 末尾的一個帶標記的區塊中，排在其他外掛寫入的內容之後；被允許的爬蟲仍遵循你現有的規則。Undo last change 可恢復你之前的選擇。

Google-Extended 控制 Gemini 是否使用你的內容進行訓練，以及是否在 Gemini 應用程式和 Vertex AI 中以它作為回答依據。它不影響 Google 搜尋、AI 摘要或 AI Mode。

開啟 Also declare my choice with a Content-Signal line，可以加入一行 Content-Signal，向讀取它的爬蟲聲明你的偏好。它只是表明偏好，並不強制執行。

如果你的伺服器上有 robots.txt 檔案，或 WordPress 安裝在子目錄中，WordPress 就無法提供這些規則。頁面會顯示這些規則並提供 Copy rules 按鈕，方便你貼到檔案中。

為網站的部分內容設規則

在 Parts of your site 中（位於整站設定的下方），新增一個路徑，例如 /members/ 或 /downloads/，然後選擇要擋住誰：

• AI training crawlers：GPTBot、ClaudeBot、Google-Extended、CCBot 以及其他訓練爬蟲。
• All AI crawlers：同時包括 AI 搜尋爬蟲和助理，因此該欄目中的頁面會從 AI 回答中消失。

搜尋引擎永遠不在其中。路徑的寫法與 robots.txt 相同：以斜線開頭，* 符合任意字元，結尾的 $ 表示網址結束，因此 /*.pdf$ 涵蓋所有 PDF。最多可以新增 20 個欄目。

在 robots.txt 中擁有自己群組的爬蟲，不再遵循為所有爬蟲撰寫的規則（User-agent: *），所以外掛會在它的群組中重複這些規則。在你設定的欄目之外，這個爬蟲的存取不會有任何變化。在 Crawler by crawler 中，被擋在某個欄目之外的爬蟲會顯示為 Limited，並列出它無法讀取的欄目。

編輯器中的 AI 就緒度

每篇文章和每個頁面都會在區塊編輯器側邊欄中獲得一個 AI readiness 面板，在傳統編輯器中則是一個 AI readiness 方塊。它用與 Citlyze Chrome 擴充功能和免費 AEO 評分工具相同的檢查項目，為頁面在 AI 回答中的表現打出 0 到 100 分，因此已發布的頁面在三者中得分相同。

• 撰寫時，面板會檢查你的內容：問句式標題、每個標題下的簡短回答，以及表格和清單。
• 儲存後，它會依爬蟲實際收到的樣子為整個頁面評分：該 URL 的 AI 爬蟲存取、頁面能否被索引、一個清楚的 H1、schema 標記，以及標題和中繼描述。草稿依其預覽評分，並忽略 WordPress 為預覽加入的 noindex。

每項未通過的檢查都會說明該如何修改。發布前，預先發布面板會列出仍未通過的內容檢查。

AI 建議

在 WordPress 7.0 及更新版本中，如果在 WordPress 裡設定了 AI 服務商，面板可以協助兩項檢查。在 Question-shaped headings 下，Suggest a question 會把小標題改寫成讀者會提出的問題。在 Short answers under headings 下，Draft a short answer 會根據小標題下方的文字寫出一段 40 到 60 詞的回答。你會先看到每則建議：Insert 會把它以純文字加入文章，編輯器的復原可以把它移除。

只有在你點擊時，小標題和它下方最多約 4,000 個字元的文字才會傳送給 WordPress 中設定的 AI 服務商。不會向 Citlyze 傳送任何內容。沒有服務商時，面板不顯示建議。

免費工具會傳送什麼

不向 Citlyze 傳送任何內容。檢查在你的 WordPress 後台和瀏覽器中執行，只讀取你自己的網站。編輯器中的 AI 建議只在你點擊時，把小標題和它下方的文字傳送給 WordPress 中設定的 AI 服務商。只有當你連接 Citlyze 進行追蹤時，資料才會傳送給 Citlyze。

連接 Citlyze

robots.txt 說明的是爬蟲可以讀取什麼，而不是它們實際讀取了什麼。要查看經過驗證的 AI 爬蟲造訪，以及為你帶來訪客的 AI 回答，請在 Citlyze 中建立網站金鑰，並在 Citlyze → Connect Citlyze 中填寫。步驟見安裝 AI 爬蟲追蹤。如需每天檢查 AI 爬蟲能否真正擷取你的頁面，請參閱機器人存取。