新功能:搜尋需求、Claude 追蹤、WordPress 草稿、所有工作區

哪些 AI 爬蟲在讀取你的網站?

貼上伺服器或 CDN 存取日誌中的幾行,或上傳整個檔案,即可查看哪些 AI 爬蟲請求了哪些頁面、請求頻率如何,以及收到了什麼狀態碼。日誌不會離開你的瀏覽器。

純文字或 .gz,combined 日誌格式,或包含 user agent、路徑和狀態欄位的 JSON 行。最多 100 MB 日誌文字。分析在你的瀏覽器中進行,日誌不會傳送到任何地方。

以下是根據範例日誌得出的結果。在上方貼上你自己的日誌即可查看你的結果。

176 個請求中,有 74 個來自 7 個 AI 爬蟲。 搜尋引擎爬蟲另外發出了 28 個。

你的網站以 401、403 或 429 拒絕了 3 個 AI 爬蟲請求。請檢查你的防火牆、CDN 機器人規則和速率限制。

日誌時間範圍:2026年11月16日 凌晨12:00 至 2026年11月18日 晚上11:53(UTC)。

數字依據每個請求自帶的 user agent,而任何人都可以偽造。重要流量請用各營運方公布的 IP 範圍核對。

搜尋索引

20 個請求

建立 AI 搜尋回答所依據的索引。

  • OAI-SearchBot OpenAI

    14

    • /5
    • /pricing4
    • /blog/choosing-a-crm3

    2 個對 /old-features 的請求回傳了 404。

    以及另外 1 個路徑
    • /old-features2
  • PerplexityBot Perplexity

    6

    • /blog/choosing-a-crm4
    • /compare/acme-vs-globex2
助理抓取

24 個請求

因為有人向助理問到某個頁面而讀取它。

  • ChatGPT-User OpenAI

    18

    • /pricing9
    • /blog/choosing-a-crm6
    • /integrations/slack3
  • Perplexity-User Perplexity

    6

    • /pricing4
    • /docs/getting-started2
訓練

30 個請求

收集可能用於訓練未來模型的頁面。

  • GPTBot OpenAI

    19

    • /blog/choosing-a-crm7
    • /docs/getting-started5
    • /docs/api4

    3 個對 /blog/archive 的請求回傳了 503。

    以及另外 1 個路徑
    • /blog/archive3
  • ClaudeBot Anthropic

    9

    • /docs/api4
    • /pricing3
    • /blog/choosing-a-crm2

    3 個對 /pricing 的請求回傳了 403。

  • CCBot Common Crawl

    2

    • /2
搜尋引擎

28 個請求

傳統搜尋爬蟲。Google 和 Bing 的 AI 回答仰賴同一個索引。

  • Googlebot Google

    21

    • /8
    • /pricing6
    • /blog/choosing-a-crm5
    以及另外 1 個路徑
    • /docs/getting-started2
  • Bingbot Microsoft

    7

    • /4
    • /pricing3

日誌分析工具如何運作?

  1. 匯出一段日誌

    從你的伺服器、主機商或 CDN 下載存取日誌。一天或一週的日誌就夠了。支援純文字和 .gz,格式可以是 combined 日誌格式或 JSON 行。

  2. 將每個請求對應到爬蟲

    工具在你的瀏覽器中逐行讀取,並將每行的 user agent 與我們其他工具共用的已記錄 AI 爬蟲清單比對,從 GPTBot 到 PerplexityBot。

  3. 依用途查看結果

    機器人依用途分組:為搜尋建立索引、替使用者擷取頁面,或用於訓練。搜尋引擎爬蟲獨立成組,每個機器人的錯誤和被拒請求都會標示出來。

  • 日誌看得到而 robots.txt 看不到的事

    robots.txt 說明你允許什麼。存取日誌則顯示實際發生了什麼:哪些機器人來過、請求了哪些頁面、你的伺服器回應了什麼。即使是你允許的爬蟲,也可能被防火牆規則回傳 403,而只有日誌看得到這一點。

  • 為什麼助理擷取最重要

    來自 ChatGPT-User 或 Perplexity-User 的請求,代表有人向助理提了一個問題,助理開啟你的頁面來回答。這類請求最接近一次來自 AI 搜尋的造訪,它們請求的路徑能顯示 AI 回答引用了你的哪些頁面。

  • user agent 可以偽造

    分析結果依據每個請求自帶的 user agent,而任何人都可以冒用 GPTBot 的 user agent。根據某個數字採取行動之前,請用各營運方公布的 IP 範圍核對請求的 IP。大多數大型營運方都會公布自己的 IP 範圍,包括 OpenAI 和 Google。

  • 從一次性匯出到每日檢視

    一次日誌匯出只涵蓋你匯出的那一天或那一週。Citlyze 的 AI 爬蟲追蹤透過 Cloudflare、Vercel、WordPress 或 Node 伺服器的伺服器端整合,記錄已辨識 AI 爬蟲的造訪並保留歷史,讓你看到某個機器人何時不再來訪。

哪些 AI 回答引用了這些頁面?

日誌顯示哪些機器人在讀取你的網站。Citlyze 顯示 AI 引擎接著如何談論你的品牌:提及、被引用的頁面,以及你相對競爭對手的聲量占比,並依排程持續追蹤。

關於日誌分析

不會。工具在你的瀏覽器中讀取和分析檔案,絕不會把日誌傳送給 Citlyze 或其他任何人。它也會在顯示路徑之前移除查詢字串,因為其中可能含有權杖或個人資料。

想長期追蹤這些嗎?

無需信用卡