哪些 AI 爬虫在读取你的网站?
粘贴服务器或 CDN 访问日志中的几行,或上传整个文件,即可查看哪些 AI 爬虫请求了哪些页面、请求频率如何,以及收到了什么状态码。日志不会离开你的浏览器。
以下是根据示例日志得出的结果。在上方粘贴你自己的日志即可查看你的结果。
176 个请求中,有 74 个来自 7 个 AI 爬虫。 搜索引擎爬虫另外发出了 28 个。
你的网站以 401、403 或 429 拒绝了 3 个 AI 爬虫请求。请检查你的防火墙、CDN 机器人规则和速率限制。
日志时间范围:2026年11月16日 00:00 至 2026年11月18日 23:53(UTC)。
数字依据每个请求自带的 user agent,而任何人都可以伪造。重要流量请用各运营方公布的 IP 段核对。
20 个请求
建立 AI 搜索回答所依据的索引。
OAI-SearchBot OpenAI
14
- /5
- /pricing4
- /blog/choosing-a-crm3
2 个对 /old-features 的请求返回了 404。
以及另外 1 个路径
- /old-features2
PerplexityBot Perplexity
6
- /blog/choosing-a-crm4
- /compare/acme-vs-globex2
24 个请求
因为有人向助手问到某个页面而读取它。
ChatGPT-User OpenAI
18
- /pricing9
- /blog/choosing-a-crm6
- /integrations/slack3
Perplexity-User Perplexity
6
- /pricing4
- /docs/getting-started2
30 个请求
收集可能用于训练未来模型的页面。
GPTBot OpenAI
19
- /blog/choosing-a-crm7
- /docs/getting-started5
- /docs/api4
3 个对 /blog/archive 的请求返回了 503。
以及另外 1 个路径
- /blog/archive3
ClaudeBot Anthropic
9
- /docs/api4
- /pricing3
- /blog/choosing-a-crm2
3 个对 /pricing 的请求返回了 403。
CCBot Common Crawl
2
- /2
28 个请求
传统搜索爬虫。Google 和 Bing 的 AI 回答依赖同一个索引。
Googlebot Google
21
- /8
- /pricing6
- /blog/choosing-a-crm5
以及另外 1 个路径
- /docs/getting-started2
Bingbot Microsoft
7
- /4
- /pricing3
日志分析工具如何工作?
导出一段日志
从你的服务器、主机商或 CDN 下载访问日志。一天或一周的日志就够了。支持纯文本和 .gz,格式可以是 combined 日志格式或 JSON 行。
把每个请求对应到爬虫
工具在你的浏览器中逐行读取,并将每行的 user agent 与我们其他工具共用的已记录 AI 爬虫列表进行比对,从 GPTBot 到 PerplexityBot。
按用途查看结果
机器人按用途分组:为搜索建立索引、替用户抓取页面,或用于训练。搜索引擎爬虫单独成组,每个机器人的错误和被拒请求都会标出。
日志能看到而 robots.txt 看不到的东西
robots.txt 说明你允许什么。访问日志则显示实际发生了什么:哪些机器人来过、请求了哪些页面、你的服务器返回了什么。即使是你允许的爬虫,也可能被防火墙规则返回 403,而只有日志能看到这一点。
为什么助手抓取最重要
来自 ChatGPT-User 或 Perplexity-User 的请求,意味着有人向助手提了一个问题,助手打开你的页面来回答。这类请求最接近一次来自 AI 搜索的访问,它们请求的路径能显示 AI 回答引用了你的哪些页面。
user agent 可以伪造
分析结果依据每个请求自带的 user agent,而任何人都可以冒用 GPTBot 的 user agent。在根据某个数字采取行动之前,请用各运营方公布的 IP 段核对请求的 IP。大多数大型运营方都会公布自己的 IP 段,包括 OpenAI 和 Google。
从一次性导出到每日视图
一次日志导出只覆盖你导出的那一天或那一周。Citlyze 的 AI 爬虫追踪通过 Cloudflare、Vercel、WordPress 或 Node 服务器的服务端集成,记录已识别 AI 爬虫的访问并保留历史,让你看到某个机器人何时不再来访。
哪些 AI 回答引用了这些页面?
日志显示哪些机器人在读取你的网站。Citlyze 显示 AI 引擎随后如何谈论你的品牌:提及、被引用的页面,以及你相对竞争对手的声量份额,并按计划持续追踪。
关于日志分析
不会。工具在你的浏览器中读取和分析文件,绝不会把日志发送给 Citlyze 或任何其他人。它还会在显示路径之前去掉查询字符串,因为其中可能含有令牌或个人数据。
支持 combined 格式的 Apache 和 nginx 访问日志(大多数服务器和主机商默认使用这种格式),以及包含 user agent、路径和状态字段的 JSON 行,例如 Cloudflare Logpush 导出的文件。gzip 压缩文件也可以。其他格式的行会计为已跳过。
它们是传统的搜索引擎爬虫,把它们算作 AI 爬虫会夸大数字。但它们对 AI 搜索依然重要:Google 的 AI Overviews 和 AI Mode,以及 Bing 的 Copilot,都依赖这些爬虫建立的索引。
最多 100 MB 的日志文本,大约 50 万个请求。文件更大时,工具会读到这个上限为止,并告诉你停在了哪里。访问量大的网站,建议一次导出一天。