哪些 AI 爬蟲在讀取你的網站?
貼上伺服器或 CDN 存取日誌中的幾行,或上傳整個檔案,即可查看哪些 AI 爬蟲請求了哪些頁面、請求頻率如何,以及收到了什麼狀態碼。日誌不會離開你的瀏覽器。
以下是根據範例日誌得出的結果。在上方貼上你自己的日誌即可查看你的結果。
176 個請求中,有 74 個來自 7 個 AI 爬蟲。 搜尋引擎爬蟲另外發出了 28 個。
你的網站以 401、403 或 429 拒絕了 3 個 AI 爬蟲請求。請檢查你的防火牆、CDN 機器人規則和速率限制。
日誌時間範圍:2026年11月16日 凌晨12:00 至 2026年11月18日 晚上11:53(UTC)。
數字依據每個請求自帶的 user agent,而任何人都可以偽造。重要流量請用各營運方公布的 IP 範圍核對。
20 個請求
建立 AI 搜尋回答所依據的索引。
OAI-SearchBot OpenAI
14
- /5
- /pricing4
- /blog/choosing-a-crm3
2 個對 /old-features 的請求回傳了 404。
以及另外 1 個路徑
- /old-features2
PerplexityBot Perplexity
6
- /blog/choosing-a-crm4
- /compare/acme-vs-globex2
24 個請求
因為有人向助理問到某個頁面而讀取它。
ChatGPT-User OpenAI
18
- /pricing9
- /blog/choosing-a-crm6
- /integrations/slack3
Perplexity-User Perplexity
6
- /pricing4
- /docs/getting-started2
30 個請求
收集可能用於訓練未來模型的頁面。
GPTBot OpenAI
19
- /blog/choosing-a-crm7
- /docs/getting-started5
- /docs/api4
3 個對 /blog/archive 的請求回傳了 503。
以及另外 1 個路徑
- /blog/archive3
ClaudeBot Anthropic
9
- /docs/api4
- /pricing3
- /blog/choosing-a-crm2
3 個對 /pricing 的請求回傳了 403。
CCBot Common Crawl
2
- /2
28 個請求
傳統搜尋爬蟲。Google 和 Bing 的 AI 回答仰賴同一個索引。
Googlebot Google
21
- /8
- /pricing6
- /blog/choosing-a-crm5
以及另外 1 個路徑
- /docs/getting-started2
Bingbot Microsoft
7
- /4
- /pricing3
日誌分析工具如何運作?
匯出一段日誌
從你的伺服器、主機商或 CDN 下載存取日誌。一天或一週的日誌就夠了。支援純文字和 .gz,格式可以是 combined 日誌格式或 JSON 行。
將每個請求對應到爬蟲
工具在你的瀏覽器中逐行讀取,並將每行的 user agent 與我們其他工具共用的已記錄 AI 爬蟲清單比對,從 GPTBot 到 PerplexityBot。
依用途查看結果
機器人依用途分組:為搜尋建立索引、替使用者擷取頁面,或用於訓練。搜尋引擎爬蟲獨立成組,每個機器人的錯誤和被拒請求都會標示出來。
日誌看得到而 robots.txt 看不到的事
robots.txt 說明你允許什麼。存取日誌則顯示實際發生了什麼:哪些機器人來過、請求了哪些頁面、你的伺服器回應了什麼。即使是你允許的爬蟲,也可能被防火牆規則回傳 403,而只有日誌看得到這一點。
為什麼助理擷取最重要
來自 ChatGPT-User 或 Perplexity-User 的請求,代表有人向助理提了一個問題,助理開啟你的頁面來回答。這類請求最接近一次來自 AI 搜尋的造訪,它們請求的路徑能顯示 AI 回答引用了你的哪些頁面。
user agent 可以偽造
分析結果依據每個請求自帶的 user agent,而任何人都可以冒用 GPTBot 的 user agent。根據某個數字採取行動之前,請用各營運方公布的 IP 範圍核對請求的 IP。大多數大型營運方都會公布自己的 IP 範圍,包括 OpenAI 和 Google。
從一次性匯出到每日檢視
一次日誌匯出只涵蓋你匯出的那一天或那一週。Citlyze 的 AI 爬蟲追蹤透過 Cloudflare、Vercel、WordPress 或 Node 伺服器的伺服器端整合,記錄已辨識 AI 爬蟲的造訪並保留歷史,讓你看到某個機器人何時不再來訪。
哪些 AI 回答引用了這些頁面?
日誌顯示哪些機器人在讀取你的網站。Citlyze 顯示 AI 引擎接著如何談論你的品牌:提及、被引用的頁面,以及你相對競爭對手的聲量占比,並依排程持續追蹤。
關於日誌分析
不會。工具在你的瀏覽器中讀取和分析檔案,絕不會把日誌傳送給 Citlyze 或其他任何人。它也會在顯示路徑之前移除查詢字串,因為其中可能含有權杖或個人資料。
支援 combined 格式的 Apache 和 nginx 存取日誌(大多數伺服器和主機商預設使用這種格式),以及包含 user agent、路徑和狀態欄位的 JSON 行,例如 Cloudflare Logpush 匯出的檔案。gzip 壓縮檔也可以。其他格式的行會計為已略過。
它們是傳統的搜尋引擎爬蟲,把它們算成 AI 爬蟲會誇大數字。但它們對 AI 搜尋依然重要:Google 的 AI Overviews 和 AI Mode,以及 Bing 的 Copilot,都仰賴這些爬蟲建立的索引。
最多 100 MB 的日誌文字,大約 50 萬個請求。檔案更大時,工具會讀到這個上限為止,並告訴你停在哪裡。流量大的網站,建議一次匯出一天。