連接記錄檔來源
將伺服器與 CDN 記錄檔匯入 AI 爬蟲追蹤。
追蹤程式碼片段會回報在瀏覽器或你的伺服器上執行的內容,但許多 AI 機器人擷取頁面 時根本不會執行 JavaScript。記錄檔來源可以補足這個缺口:連接你的 CDN 或伺服器 記錄檔後,每個與 AI 相關的請求都會被計入,並標上各自的來源標籤,讓你區分來自 記錄檔與來自程式碼片段的造訪。
只有與 AI 相關的請求會被儲存。系統會保留已知的 AI 爬蟲、類似機器人的 User-Agent,以及由 AI 助理引薦的造訪;其他所有流量在送達時就會捨棄,絕不會寫入 任何地方。記錄檔來源的造訪同樣適用驗證等級,規則與程式碼片段的造訪完全相同。
所有記錄檔來源都使用記錄檔匯入金鑰進行驗證。這把金鑰與追蹤程式碼片段的金鑰分開, 只能用來提交記錄檔。以下所有設定都在設定 → 連線 → 網站追蹤的伺服器記錄 分頁中。
Cloudflare(一鍵設定)
這是透過 Cloudflare 代理的網站最快的設定方式。建立一個 API 權杖,並只授予以下 三項權限:Workers Scripts Edit、Zone Read 與 Workers Routes Edit。貼上權杖與你的 網域後,Citlyze 就會在你的區域(zone)部署一個小型 Worker,並將它掛到你網域的 路由上。
這個 Worker 只負責轉送:它絕不會讀取或修改請求與回應的內容,任何內部錯誤都會直接 放行,因此絕不會影響你的網站。它會在回應送出之後,回報請求的中繼資料(路徑、 狀態、User-Agent、IP、來源網址、國家)。權杖只在設定時使用一次,絕不會儲存。
兩點注意事項:
- 路由只會在已啟用代理(橘色雲)的 DNS 記錄上生效。
- 在 Workers 免費方案中,請求共用每日配額。預先篩選選項會讓 Worker 只回報 AI 的 User-Agent,可以節省配額,但在你重新部署 Worker 之前,新登錄的爬蟲都不會被 擷取。
不想貼上權杖嗎?選擇手動選項,Citlyze 會產生相同的 Worker 程式碼,讓你自行貼到 Cloudflare 控制台。
流量非常大的區域,比較適合使用 Cloudflare Logpush:建立一個指向你匯入 URL 的
HTTP 目的地,並以 key= URL 參數帶入金鑰,Citlyze 會用相同方式篩選推送過來的
批次。
Vercel(log drain)
貼上 Vercel 權杖後,Citlyze 會建立 log drain,自動串流傳送請求記錄。你可以將範圍 限定在單一專案,或將專案留空以涵蓋整個團隊。權杖會加密保存,而且只有一個用途: 在你中斷連接時移除該 drain。資料匯入本身則以內嵌在 drain URL 中的記錄檔匯入金鑰 進行驗證。
通用 Webhook
任何能以 POST 傳送 JSON 的系統都能匯入記錄。請將每批最多 500 筆的記錄送到匯入
端點,並在 X-API-Key 標頭中附上你的記錄檔匯入金鑰。每筆記錄包含時間戳記、
方法、URL、狀態與 User-Agent,也可以附上用戶端 IP、來源網址與國家。完整規格請
參閱記錄檔匯入 API 參考。
上傳檔案
若要一次性補齊過去的資料,可以將一段存取記錄直接貼到上傳分頁。支援兩種格式: 含標題列的 CSV(常見的 CDN 匯出欄位名稱會自動辨識),以及 Apache/Nginx combined 記錄格式。超過 30 天的記錄會略過,摘要會告訴你有幾行已解析、已儲存與已捨棄。
同一個檔案上傳兩次會被拒絕,因此補齊的資料絕不會重複計算。
其他 CDN
CloudFront 與 Akamai 使用者現在就能透過通用 Webhook 規格使用同一個端點:將 Lambda@Edge 函式、DataStream HTTPS 目的地,或任何記錄轉送工具指向匯入 URL,並 附上你的金鑰即可。這些服務的原生一鍵設定,會視需求陸續推出。
解讀結果
來自記錄檔的造訪,會與程式碼片段的造訪一起顯示在相同的 AI 爬蟲與 AI 流量畫面中。 公開 API 會在每一列標示來源,因此匯出資料時,可以區分程式碼片段看到的內容與記錄檔 看到的內容。
來自記錄檔的造訪帶有真實的 HTTP 狀態碼,因此也能提供已爬取頁面中的錯誤與重新 導向洞察。每個網站只使用一種來源:如果追蹤程式碼片段與記錄檔來源同時回報同一個 網域,每次造訪都會被計算兩次;發生這種情況時,安裝頁面會提醒你。