AI 爬虫

AI 爬虫追踪展示哪些 AI 引擎真正在访问你的网站 — GPTBot、ClaudeBot、PerplexityBot、Bingbot 等。它与 GEO 审计互补：审计告诉你机器人能否到达页面；爬虫追踪告诉你它们是否真的来了。

为什么用服务器端捕获

AI 训练爬虫不运行 JavaScript，Google Tag Manager 或 JavaScript 像素永远 看不到 GPTBot 或 ClaudeBot。Citlyze 在服务器端捕获爬虫访问，那里能看到 真实的请求 User-Agent，因此不执行 JavaScript 的爬虫也会被统计。

安装追踪

前往 AI 爬虫 → 安装追踪并生成站点密钥。密钥有两部分 — 密钥 ID 和签名 密钥 — 只显示一次；两者都要复制。然后为你的平台添加对应代码片段：

• Cloudflare（推荐）— 把 Worker 片段放在站点前面。
• Vercel / 反向代理 — 添加中间件片段。
• WordPress — 下载插件，在 wp-admin → 插件中上传，然后在其设置里粘贴 密钥 ID 和签名密钥。

每个事件都用你的密钥签名，追踪器可以拒绝伪造的信标。Shopify 和 Webflow （标准套餐）无法运行服务器端捕获；请在这些站点前架设 Cloudflare 并使用 Cloudflare 片段。

解读分析

AI 爬虫 → 分析页面针对所选时间范围展示：

• 头部指标卡：爬虫总访问、不同爬虫数、最活跃爬虫和趋势
• 爬虫访问随时间变化（每日总量）
• 各爬虫趋势（每个爬虫一条线）
• 按爬虫细分，含组织、用途、访问量和趋势
• 被抓取最多的页面

使用时间范围（7/30/90 天）和爬虫筛选器聚焦视图。

通过 API 和 MCP 获取数据

安装追踪后，爬虫访问即可编程获取：

• REST：GET /api/v1/crawler-events — 见 AI Crawler Events 资源。
• MCP：list_crawler_events 工具 — 见 MCP 工具参考。

两者均为只读、限定在你的工作区内，并支持按 crawler_id 和被追踪站点筛选。