新功能:搜索需求、Claude 追踪、WordPress 草稿、全部工作区

哪些 AI 爬虫在读取你的网站?

粘贴服务器或 CDN 访问日志中的几行,或上传整个文件,即可查看哪些 AI 爬虫请求了哪些页面、请求频率如何,以及收到了什么状态码。日志不会离开你的浏览器。

纯文本或 .gz,combined 日志格式,或包含 user agent、路径和状态字段的 JSON 行。最多 100 MB 日志文本。分析在你的浏览器中进行,日志不会发送到任何地方。

以下是根据示例日志得出的结果。在上方粘贴你自己的日志即可查看你的结果。

176 个请求中,有 74 个来自 7 个 AI 爬虫。 搜索引擎爬虫另外发出了 28 个。

你的网站以 401、403 或 429 拒绝了 3 个 AI 爬虫请求。请检查你的防火墙、CDN 机器人规则和速率限制。

日志时间范围:2026年11月16日 00:00 至 2026年11月18日 23:53(UTC)。

数字依据每个请求自带的 user agent,而任何人都可以伪造。重要流量请用各运营方公布的 IP 段核对。

搜索索引

20 个请求

建立 AI 搜索回答所依据的索引。

  • OAI-SearchBot OpenAI

    14

    • /5
    • /pricing4
    • /blog/choosing-a-crm3

    2 个对 /old-features 的请求返回了 404。

    以及另外 1 个路径
    • /old-features2
  • PerplexityBot Perplexity

    6

    • /blog/choosing-a-crm4
    • /compare/acme-vs-globex2
助手抓取

24 个请求

因为有人向助手问到某个页面而读取它。

  • ChatGPT-User OpenAI

    18

    • /pricing9
    • /blog/choosing-a-crm6
    • /integrations/slack3
  • Perplexity-User Perplexity

    6

    • /pricing4
    • /docs/getting-started2
训练

30 个请求

收集可能用于训练未来模型的页面。

  • GPTBot OpenAI

    19

    • /blog/choosing-a-crm7
    • /docs/getting-started5
    • /docs/api4

    3 个对 /blog/archive 的请求返回了 503。

    以及另外 1 个路径
    • /blog/archive3
  • ClaudeBot Anthropic

    9

    • /docs/api4
    • /pricing3
    • /blog/choosing-a-crm2

    3 个对 /pricing 的请求返回了 403。

  • CCBot Common Crawl

    2

    • /2
搜索引擎

28 个请求

传统搜索爬虫。Google 和 Bing 的 AI 回答依赖同一个索引。

  • Googlebot Google

    21

    • /8
    • /pricing6
    • /blog/choosing-a-crm5
    以及另外 1 个路径
    • /docs/getting-started2
  • Bingbot Microsoft

    7

    • /4
    • /pricing3

日志分析工具如何工作?

  1. 导出一段日志

    从你的服务器、主机商或 CDN 下载访问日志。一天或一周的日志就够了。支持纯文本和 .gz,格式可以是 combined 日志格式或 JSON 行。

  2. 把每个请求对应到爬虫

    工具在你的浏览器中逐行读取,并将每行的 user agent 与我们其他工具共用的已记录 AI 爬虫列表进行比对,从 GPTBot 到 PerplexityBot。

  3. 按用途查看结果

    机器人按用途分组:为搜索建立索引、替用户抓取页面,或用于训练。搜索引擎爬虫单独成组,每个机器人的错误和被拒请求都会标出。

  • 日志能看到而 robots.txt 看不到的东西

    robots.txt 说明你允许什么。访问日志则显示实际发生了什么:哪些机器人来过、请求了哪些页面、你的服务器返回了什么。即使是你允许的爬虫,也可能被防火墙规则返回 403,而只有日志能看到这一点。

  • 为什么助手抓取最重要

    来自 ChatGPT-User 或 Perplexity-User 的请求,意味着有人向助手提了一个问题,助手打开你的页面来回答。这类请求最接近一次来自 AI 搜索的访问,它们请求的路径能显示 AI 回答引用了你的哪些页面。

  • user agent 可以伪造

    分析结果依据每个请求自带的 user agent,而任何人都可以冒用 GPTBot 的 user agent。在根据某个数字采取行动之前,请用各运营方公布的 IP 段核对请求的 IP。大多数大型运营方都会公布自己的 IP 段,包括 OpenAI 和 Google。

  • 从一次性导出到每日视图

    一次日志导出只覆盖你导出的那一天或那一周。Citlyze 的 AI 爬虫追踪通过 Cloudflare、Vercel、WordPress 或 Node 服务器的服务端集成,记录已识别 AI 爬虫的访问并保留历史,让你看到某个机器人何时不再来访。

哪些 AI 回答引用了这些页面?

日志显示哪些机器人在读取你的网站。Citlyze 显示 AI 引擎随后如何谈论你的品牌:提及、被引用的页面,以及你相对竞争对手的声量份额,并按计划持续追踪。

关于日志分析

不会。工具在你的浏览器中读取和分析文件,绝不会把日志发送给 Citlyze 或任何其他人。它还会在显示路径之前去掉查询字符串,因为其中可能含有令牌或个人数据。

想长期追踪这些吗?

无需信用卡