Citlyze 新功能:Brand FactCheck、Ask Citlyze、AI 購物與 AI 中的廣告
ai-readable

看清每個 AI 爬蟲從你的頁面取得什麼,並持續保持

ai-readable 是一個開源的命令列工具和 GitHub Action。一道命令即可顯示每個有文件記錄的 AI 爬蟲的 robots.txt 判定、頁面在 JavaScript 執行前存在多少內容,以及九項可讀性檢查的百分制評分。在 CI 中,它會將每個 pull request 與基準比較,並在頁面退化時失敗。

開源
npx ai-readable example.com/pricing --render
  • 依爬蟲給出的 robots.txt 判定

    十九個有文件記錄的 AI 爬蟲,依封鎖它們的代價分組,並附上決定每個判定的確切 robots.txt 行。

  • 初始 HTML 對比渲染後頁面

    像瀏覽器一樣轉譯頁面,逐一列出每個標題下有多少內容只在 JavaScript 執行後才存在。

  • 是關卡,不是一次性稽核

    為關鍵頁面提交一份基準。每個 pull request 都會與之比較,出現退化時失敗,並在留言中提供證據。

  • 無需 API 金鑰,不外送任何資料

    對伺服器實際回傳的 HTML 和 robots.txt 進行確定性檢查。唯一的請求只有頁面本身、robots.txt 和 llms.txt。

ai-readable 的終端機輸出:一個用戶端渲染的定價頁得分 40/100,初始 HTML 中只有一個字,以及依爬蟲列出的 robots.txt 表格
運作方式

檢查一次,然後為每次部署把關

01

在一個頁面上執行

命令會取得頁面、robots.txt 和 llms.txt,為九項檢查評分,並列出每個 AI 爬蟲在該路徑上是允許還是被封鎖。加上渲染選項即可看到 JavaScript 造成的落差。

02

交給你的 AI 代理修正

這個儲存庫同時也是一個 Agent Skill。Claude Code、Codex 和 Cursor 會執行檢查,為你的框架選擇修復方案,套用最小改動,並重複執行直到全部通過。

03

加入 Action

一道初始化命令就會寫好設定和工作流程。從此之後,只要有搜尋爬蟲被新封鎖、測試環境的 noindex 被帶上正式環境,或內容被移到 JavaScript 之後,pull request 就會亮紅燈。

為什麼初始 HTML 才是關鍵

大多數 AI 檢索爬蟲不執行 JavaScript。完全在用戶端渲染的定價頁,在它們眼裡只是一個標題和一個空容器,無論在瀏覽器裡看起來多好,都無法被引用。ai-readable 將爬蟲下載到的 HTML 與 JavaScript 執行後的頁面進行比較並呈現差異,包括只在渲染後才出現的標題。

封鎖訓練爬蟲不等於封鎖搜尋

從「封鎖所有 AI」片段複製來的 robots.txt 規則,常常在封鎖 GPTBot 的同時也禁止了 OAI-SearchBot 和 ChatGPT-User。前兩者為即時回答和連結讀取提供內容,第三個只用於模型訓練。依爬蟲列出的表格區分這三組並引用規則,讓你可以拒絕訓練而不從回答中消失。

真正的問題是退化

一次性稽核只能發現一次問題。用 AI 程式碼代理建構和重構的網站,每週都會重新引入同樣的問題:一次版面調整把 H1 移進了用戶端元件,一個預覽設定把 noindex 送上了正式環境。這道關卡會在部署前就於 pull request 上攔下這些問題,並附上修正每一項的方案連結。

它刻意不做的事

它絕不使用爬蟲的 user-agent 發送請求,因為 CDN 透過 IP 位址驗證真實爬蟲,偽造的請求描述的是 CDN 而不是爬蟲。它也絕不詢問 AI 引擎對你品牌的看法。檢查通過代表引擎可以讀取頁面。它們是否提及並引用你,則由 Citlyze 長期衡量。

更難的問題

可讀只是第一步,被推薦才是目標。

ai-readable 告訴你 AI 引擎能否讀取頁面。Citlyze 告訴你,針對買家提出的問題,它們是否提及並引用你,涵蓋 ChatGPT、Gemini、Perplexity 和 Google 的 AI 介面,每個比率背後都有執行次數支撐。

常見問題

關於 ai-readable 的常見問題

想看看 Citlyze 的示範嗎? 預約示範

一樣,使用同一份清單:九項檢查和相同的權重。兩者都最多讀取每個頁面 2 MB 的 HTML,所以大頁面的分數也一致。

當買家提問時,AI 會推薦你嗎?

追蹤 ChatGPT、Gemini、Perplexity、DeepSeek、Grok、Google AI Overview & AI Mode和Bing Copilot 如何提及、引用並排名你的品牌。檢視已追蹤的回答,以及需要補上的缺口。

無需信用卡

一位行銷負責人在窗邊辦公桌前用筆記型電腦閱讀 AI 回答