citlyze docs
使用 Citlyze

連接記錄檔來源

將伺服器與 CDN 記錄檔匯入 AI 爬蟲追蹤。

追蹤程式碼片段回報的是在瀏覽器或你的伺服器上執行的內容,但許多 AI 機器人抓取頁面時從不執行 JavaScript。記錄檔來源正好補上這個缺口:連接 你的 CDN 或伺服器記錄檔後,每一個與 AI 相關的請求都會被統計,並帶有 自己的來源標籤,讓你能區分來自記錄檔的造訪與來自程式碼片段的造訪。

只有與 AI 相關的請求會被儲存。已知的 AI 爬蟲、類機器人代理程式,以及 由 AI 助理引薦的造訪會被保留;其他所有流量在抵達時即被捨棄,絕不寫入 任何地方。驗證層級對記錄檔來源的造訪同樣適用,規則與程式碼片段造訪 完全一致。

所有記錄檔來源都以記錄檔擷取金鑰進行驗證。它與你的追蹤程式碼片段金鑰 彼此獨立,只能用於提交記錄檔。以下所有功能都位於 AI 爬蟲之下的安裝 頁面,在「記錄檔來源」面板中。

Cloudflare(一鍵部署)

這是使用 Cloudflare 代理的網站最快的路徑。建立一個 API 權杖,權限需 正好為以下三項:Workers Scripts Edit、Zone Read、Workers Routes Edit。貼上權杖與你的網域,Citlyze 就會在你的區域部署一個小型 Worker,並把它掛到你網域的路由上。

這個 Worker 是純透傳的:它從不讀取或修改請求與回應的內容,任何內部 錯誤都會直接放行,因此你的網站絕不受影響。它會在回應送出之後回報請求 中繼資料(路徑、狀態、User-Agent、IP、引薦來源、國家)。權杖僅在設定 時使用一次,絕不儲存。

兩點說明:

  • 路由只會在已代理(橘色雲)的 DNS 記錄上生效。
  • 在 Workers 免費方案上,請求共用每日配額。預先篩選選項會讓 Worker 只回報 AI User-Agent,可以節省配額,但新註冊的爬蟲在你重新部署 Worker 之前不會被擷取。

不想貼上權杖?選擇手動選項,Citlyze 會產生同一份 Worker 程式碼,讓你 自己貼到 Cloudflare 控制台。

對於流量非常高的區域,Cloudflare Logpush 是更好的選擇:建立一個 HTTP 目的地指向你的擷取 URL,並把金鑰以 key= URL 參數傳入,Citlyze 會以 同樣的方式篩選推送過來的批次。

Vercel(log drain)

貼上一個 Vercel 權杖,Citlyze 就會建立一個 log drain,自動串流請求 記錄。可以把範圍限定在單一專案,或將專案留空以涵蓋整個團隊。權杖以 加密方式保存,只有一個用途:在你中斷連接時移除該 log drain。擷取本身 以嵌在 drain URL 中的記錄檔擷取金鑰進行驗證。

通用 Webhook

任何能 POST JSON 的系統都可以匯入記錄檔。將每批最多 500 筆的項目送到 擷取端點,並在 X-API-Key 標頭中帶上你的記錄檔擷取金鑰。每筆項目 包含時間戳記、方法、URL、狀態與 User-Agent,並可選附上用戶端 IP、 引薦來源與國家。完整的格式規範見 記錄檔擷取 API 參考

檔案上傳

若要進行一次性回補,可以把一段存取記錄檔直接貼到上傳頁籤。支援兩種 格式:含標題列的 CSV(常見的 CDN 匯出標題會自動辨識)與 Apache/Nginx combined 記錄格式。超過 30 天的項目會被略過,摘要會告訴你解析、儲存 與捨棄的行數各是多少。

其他 CDN

CloudFront 與 Akamai 的使用者現在就可以透過通用 Webhook 規範使用同一 端點:把 Lambda@Edge 函式、DataStream HTTPS 目的地或任何記錄檔轉送 工具指向擷取 URL 並附上你的金鑰即可。這些供應商的原生一鍵流程會視 需求推出。

解讀結果

來自記錄檔的造訪會出現在與程式碼片段造訪相同的 AI 爬蟲與 AI 流量檢視 中。公開 API 會在每一列上標示來源,因此匯出資料時可以區分程式碼片段 看到的與你的記錄檔看到的內容。

本頁內容