AI 爬蟲

AI 爬蟲追蹤顯示哪些 AI 引擎真正在造訪你的網站 — GPTBot、ClaudeBot、PerplexityBot、Bingbot 等。它與 GEO 稽核互補：稽核告訴你機器人能否到達頁面；爬蟲追蹤告訴你它們是否真的來了。

為什麼用伺服器端擷取

AI 訓練爬蟲不執行 JavaScript，Google Tag Manager 或 JavaScript 像素永遠 看不到 GPTBot 或 ClaudeBot。Citlyze 在伺服器端擷取爬蟲造訪，那裡能看到 真實的請求 User-Agent，因此不執行 JavaScript 的爬蟲也會被統計。

安裝追蹤

前往 AI 爬蟲 → 安裝追蹤並產生網站金鑰。金鑰有兩部分 — 金鑰 ID 與簽章 密鑰 — 只顯示一次；兩者都要複製。然後為你的平台加入對應程式碼片段：

• Cloudflare（建議）— 把 Worker 片段放在網站前面。
• Vercel / 反向代理 — 加入中介軟體片段。
• WordPress — 下載外掛，在 wp-admin → 外掛中上傳，然後在其設定裡貼上 金鑰 ID 與簽章密鑰。

每個事件都用你的密鑰簽章，追蹤器可以拒絕偽造的信標。Shopify 與 Webflow （標準方案）無法執行伺服器端擷取；請在這些網站前架設 Cloudflare 並使用 Cloudflare 片段。

解讀分析

AI 爬蟲 → 分析頁面針對所選時間範圍顯示：

• 頂部指標卡：爬蟲總造訪、不同爬蟲數、最活躍爬蟲與趨勢
• 爬蟲造訪隨時間變化（每日總量）
• 各爬蟲趨勢（每個爬蟲一條線）
• 按爬蟲細分，含組織、用途、造訪量與趨勢
• 被爬取最多的頁面

使用時間範圍（7/30/90 天）與爬蟲篩選器聚焦檢視。

透過 API 與 MCP 取得資料

安裝追蹤後，爬蟲造訪即可程式化取得：

• REST：GET /api/v1/crawler-events — 見 AI Crawler Events 資源。
• MCP：list_crawler_events 工具 — 見 MCP 工具參考。

兩者均為唯讀、限定在你的工作區內，並支援按 crawler_id 與被追蹤網站篩選。