WordPress 外掛
免費的 WordPress AI 爬蟲管理工具,並可選擇在 Citlyze 中追蹤。
AI Crawler Control by Citlyze 是一款免費的 WordPress 外掛,分為兩部分。免費工具不需要帳戶就能使用:它們會顯示你的 robots.txt 允許哪些 AI 爬蟲進入、指出是什麼擋住了其他爬蟲,並讓你在阻擋 AI 訓練的同時,繼續出現在 AI 搜尋中。將外掛連接到 Citlyze 後,還能追蹤 AI 爬蟲造訪與來自 AI 回答的造訪,詳見安裝 AI 爬蟲追蹤。
安裝
- 在 WordPress 後台前往外掛 → 安裝外掛,搜尋 AI Crawler Control by Citlyze,點選立即安裝,再點選啟用。
- 在管理選單中開啟 Citlyze → AI crawler access。檢查會立即執行。
免費工具不需要帳戶、金鑰或任何設定。
檢查哪些 AI 爬蟲可以讀取你的網站
Citlyze → AI crawler access 會讀取訪客實際收到的 robots.txt(包括快取或 CDN 所做的任何變更),並針對每個已知的 AI 爬蟲進行評估。爬蟲會依封鎖後的影響分組:
- AI 搜尋爬蟲負責建立 ChatGPT 搜尋、Perplexity、Claude 等 AI 回答所引用的索引。封鎖它們,你就會從這些回答中消失。
- AI 助理會在有人向助理詢問某個頁面時擷取該頁面。
- AI 訓練爬蟲會收集內容來訓練模型。封鎖它們能讓你的內容不被用於未來的訓練,但不會讓你從 AI 回答中消失。
- 搜尋引擎(例如 Googlebot 與 Bingbot)會列出來供你查看,但外掛絕不會封鎖它們。
表格會註明每個被封鎖爬蟲的規則來源:WordPress、具名的外掛或佈景主題、伺服器上的 robots.txt 檔案、Cloudflare 代管的 robots.txt,或你的伺服器或 CDN。
表格上方會列出所有阻礙:
- 在設定 → 閱讀中關閉了搜尋引擎可見度。
- 伺服器上有 robots.txt 檔案,它會取代 WordPress 產生的版本。
- robots.txt 載入緩慢或完全無法載入。
- 其他外掛封鎖了搜尋引擎或 AI 搜尋爬蟲。
- 可能在讀取 robots.txt 之前就把爬蟲擋在門外的主機與安全性外掛,例如 Cloudflare、WP Engine 或 Wordfence。
選擇 AI 爬蟲規則
在 Your AI crawler rules 下選擇其中一項:
- Don't add rules(預設):robots.txt 維持原樣。
- Block AI training, stay in AI search:封鎖 GPTBot、ClaudeBot 與 CCBot 等訓練爬蟲,但不影響 OAI-SearchBot、PerplexityBot 與各種助理擷取程式。Google-Extended 預設放行,勾選 Also block Google-Extended 後才會封鎖。
- Block all AI crawlers:同時也會讓你從 AI 回答中消失。
- Custom:逐一選擇爬蟲。
儲存之前,預覽會顯示確切的規則內容,以及每個群組中仍被允許的爬蟲數量。規則會放在 robots.txt 結尾一個有標記的區塊中,位於其他外掛寫入的內容之後;你允許的爬蟲則會繼續遵循你現有的規則。Undo last change 可以恢復你先前的選擇。
Google-Extended 控制 Gemini 是否會使用你的內容進行訓練,以及在 Gemini 應用程式和 Vertex AI 中作為回答的依據。因此 Block AI training, stay in AI search 會放行它:封鎖它也會讓你的網頁從 Gemini 應用程式的回答中消失。它不影響 Google 搜尋、AI Overviews 或 AI Mode。
開啟 Also declare my choice with a Content-Signal line,即可加入一行 Content-Signal,向會讀取這行的爬蟲表明你的偏好。這只是表明偏好,並不具強制力。
如果你的伺服器上有 robots.txt 檔案,或 WordPress 安裝在子目錄中,WordPress 就無法提供這些規則。畫面會顯示這些規則並提供 Copy rules 按鈕,方便你貼到檔案中。
為網站的特定區段設定規則
在整站設定下方的 Parts of your site 中,新增路徑(例如 /members/ 或 /downloads/),然後選擇要阻擋哪些爬蟲:
- AI training crawlers:GPTBot、ClaudeBot、Google-Extended、CCBot 以及其他訓練爬蟲。
- All AI crawlers:也包括 AI 搜尋爬蟲與助理,因此該區段中的頁面會從 AI 回答中消失。
搜尋引擎永遠不會包含在內。路徑的寫法與 robots.txt 相同:以斜線開頭,* 代表任意字元,結尾的 $ 表示網址結束,因此 /*.pdf$ 涵蓋所有 PDF。最多可以新增 20 個區段。
在 robots.txt 中擁有專屬群組的爬蟲,不會再遵循寫給所有爬蟲的規則(User-agent: *),所以外掛會在它的群組中重複這些規則。在你設定的區段以外,該爬蟲的存取不會有任何改變。在 Crawler by crawler 中,被擋在某個區段之外的爬蟲會顯示為 Limited,並列出它無法讀取的區段。
編輯器中的 AI 就緒度
每篇文章和每個頁面都會在區塊編輯器的側邊欄中顯示 AI readiness 面板,傳統編輯器中則是 AI readiness 方塊。它使用與 Citlyze Chrome 擴充功能及免費 AEO 評分工具相同的檢查項目,為頁面在 AI 回答中的表現打 0 到 100 分,因此已發布的頁面在三者中的分數都相同。
- 撰寫時,面板會檢查你的內容:問句式標題、每個標題下方的簡短回答,以及表格與清單。
- 儲存後,它會依爬蟲實際收到的樣子為整個頁面評分:該 URL 的 AI 爬蟲存取、頁面能否被索引、一個清楚的 H1、schema 標記,以及標題與 meta 描述。草稿會依預覽評分,並忽略 WordPress 為預覽加上的 noindex。
每項未通過的檢查都會說明該修改什麼。發布之前,發布前檢查面板會列出仍未通過的內容檢查。
AI 建議
在 WordPress 7.0 以上版本中,如果你已在 WordPress 設定 AI 服務供應商,面板可以協助處理兩項檢查。在 Question-shaped headings 下,Suggest a question 會把小標題改寫成讀者可能會問的問題。在 Short answers under headings 下,Draft a short answer 會根據小標題下方的文字,寫出一段 40 到 60 詞的回答。每則建議都會先讓你過目:Insert 會將它以純文字插入文章,編輯器的「復原」可以再把它移除。
只有在你點選時,小標題與其下方最多約 4,000 個字元的文字,才會傳送給你在 WordPress 中設定的 AI 服務供應商。不會傳送任何內容給 Citlyze。沒有設定服務供應商時,面板不會顯示建議。
持續監看
外掛每天會從你的伺服器檢查一次爬蟲收到的 robots.txt。如果有非你設定的因素開始封鎖 AI 搜尋爬蟲、AI 助理或搜尋引擎、robots.txt 無法載入,或 WordPress 開始要求搜尋引擎不要索引網站,管理員就會在控制台、外掛頁面與 Citlyze 頁面上看到通知,工具 → 網站健康狀態也會回報。你在 Your AI crawler rules 中選擇的規則絕不會觸發提醒,變更復原後通知也會消失。
若也想收到電子郵件,請在 Keep watching 卡片中開啟 Also email me when that happens。郵件會寄到網站管理員的電子郵件地址,每次變更只寄一封。網站健康狀態 → 資訊中有 AI Crawler Control 區段,顯示最新的檢查結果,向支援團隊求助時很有幫助。
llms.txt
Citlyze → llms.txt 會找出你的網站提供的 llms.txt(無論由什麼產生),並依照 llmstxt.org 的格式進行檢查:標題、摘要、章節、連結格式與檔案大小。
如果你的網站沒有 llms.txt,可以開啟 Serve an llms.txt from this site。外掛會提供一個簡短的檔案,列出你的頁面與最新文章,並在你發布內容時更新;SEO 外掛標記為 noindex 的文章,以及受密碼保護的文章,則不會列入。如果伺服器上的檔案或其他外掛(例如 Yoast SEO 或 Rank Math)已經提供 llms.txt,外掛就不會再提供第二份。
目前沒有主要的 AI 引擎公開說明會讀取 llms.txt,因此請將它視為選用項目。robots.txt 更重要,因為它決定 AI 爬蟲到底能不能讀取你的網站。
AI 代理程式
在 WordPress 6.9 以上版本中,外掛會註冊唯讀能力,供透過 WordPress Abilities API 與 MCP 轉接器連接的 AI 代理程式使用:列出外掛已知的 AI 爬蟲、讀取你的 AI 爬蟲存取狀態及其影響因素,以及讀取 llms.txt 狀態。只有管理員的代理程式才能使用這些能力,而且它們都不會變更你網站上的任何內容。
免費工具會傳送哪些資料
不會傳送任何資料給 Citlyze。檢查會在你的 WordPress 後台與瀏覽器中執行,只讀取你自己的網站。編輯器中的 AI 建議只會在你點選時,將小標題及其下方的文字傳送給你在 WordPress 中設定的 AI 服務供應商。只有在你連接 Citlyze 進行追蹤時,資料才會傳送到 Citlyze。
連接 Citlyze
robots.txt 規定的是爬蟲可以讀取什麼,而不是它們實際讀取了什麼。若要查看經過驗證的 AI 爬蟲造訪,以及為你帶來訪客的 AI 回答,請在 Citlyze 中建立網站金鑰,並在 Citlyze → Connect Citlyze 中輸入。步驟請參閱安裝 AI 爬蟲追蹤。如需每天檢查 AI 爬蟲是否真的能擷取你的頁面,請參閱機器人存取。
來自 Citlyze 的草稿
網站連接後,內容草稿可以從 Citlyze 直接進入 WordPress,不必複製貼上。在 Citlyze 中開啟草稿,選擇匯出 → 傳送到 WordPress,再選擇網站。草稿會以 WordPress 草稿的形式出現在文章中,並帶有標題、內文、摘要和建議的代稱。你的網站每小時檢查一次是否有新草稿;在 Citlyze → Connect Citlyze 中點選 Check for drafts now 可立即取得。
不會發布任何內容:由你在 WordPress 中審閱並發布。再次傳送同一份草稿時,只要該 WordPress 草稿尚未發布,就會更新它,WordPress 會將先前的文字保留為修訂版本。已發布的文章永遠不會被變更。Citlyze 不持有你網站的任何密碼。如果不想再接收草稿,請在同一頁面取消勾選 Receive drafts from Citlyze。