Citlyze 新功能:Brand FactCheck、Ask Citlyze、AI 购物和 AI 回答中的广告
ai-readable

看清每个 AI 爬虫从你的页面获取到什么,并长期守住

ai-readable 是一个开源的命令行工具和 GitHub Action。一条命令即可显示每个有文档记录的 AI 爬虫的 robots.txt 判定、页面在 JavaScript 运行前已有多少内容,以及九项可读性检查的百分制评分。在 CI 中,它会把每个 pull request 与基线对比,页面一旦退化就让检查不通过。

开源
npx ai-readable example.com/pricing --render
  • 按爬虫给出的 robots.txt 判定

    十九个有文档记录的 AI 爬虫,按屏蔽它们的代价分组,并附上决定每个判定的确切 robots.txt 行。

  • 初始 HTML 对比渲染后页面

    像浏览器一样渲染页面,逐个标题报告有多少内容只在 JavaScript 运行后才存在。

  • 持续把关,而非一次性审计

    为关键页面提交一份基线。每个 pull request 都会与之对比,一旦退化就判定不通过,并在评论中给出证据。

  • 无需 API 密钥,不外发任何数据

    对服务器实际返回的 HTML 和 robots.txt 进行确定性检查。发出的请求只有页面本身、robots.txt 和 llms.txt。

ai-readable 的终端输出:一个客户端渲染的定价页得分 40/100,初始 HTML 中只有一个词,以及按爬虫列出的 robots.txt 表格
工作原理

检查一次,然后为每次部署把关

01

在一个页面上运行

命令会获取页面、robots.txt 和 llms.txt,为九项检查评分,并列出每个 AI 爬虫在该路径上是允许还是被屏蔽。加上渲染选项即可看到 JavaScript 造成的差距。

02

用你的编程智能体修复

这个仓库同时也是一个 Agent Skill。Claude Code、Codex 和 Cursor 会运行检查,为你的框架选择修复方案,应用最小改动,并重复运行直到全部通过。

03

添加 Action

一条初始化命令即可写出配置和工作流。此后,新被屏蔽的搜索爬虫、从预发布环境泄漏的 noindex,或被移到 JavaScript 之后的内容,都会让 pull request 变红。

为什么初始 HTML 才是关键

大多数 AI 检索爬虫不执行 JavaScript。完全在客户端渲染的定价页,在它们眼里只是一个标题和一个空容器,无论在浏览器里看起来多好,都无法被引用。ai-readable 将爬虫下载到的 HTML 与 JavaScript 运行后的页面进行对比并展示差异,包括只在渲染后才出现的标题。

屏蔽训练爬虫不等于屏蔽搜索

从“屏蔽所有 AI”片段复制来的 robots.txt 规则,常常在屏蔽 GPTBot 的同时也禁止了 OAI-SearchBot 和 ChatGPT-User。前两者为实时回答和链接读取提供内容,第三个只用于模型训练。按爬虫列出的表格把这三类分开,并引用对应规则,让你可以拒绝训练,又不会从回答中消失。

真正的问题是退化

一次性审计只能发现一次问题。用 AI 编程智能体构建和重构的网站,每周都会重新引入同样的问题:一次布局调整把 H1 移进了客户端组件,一个预览设置把 noindex 带到了生产环境。这道关卡会在部署前、在 pull request 上拦住这些问题,并给出修复每一项的方案链接。

它刻意不做的事

它绝不使用爬虫的 user-agent 发送请求,因为 CDN 通过 IP 地址验证真实爬虫,伪造的请求描述的是 CDN 而不是爬虫。它也绝不询问 AI 引擎对你品牌的看法。检查通过意味着引擎可以读取页面。它们是否提及并引用你,则由 Citlyze 长期衡量。

更难的问题

可读只是第一步,被推荐才是目标。

ai-readable 告诉你 AI 引擎能否读取页面。Citlyze 告诉你,针对买家提出的问题,它们是否提及并引用你,覆盖 ChatGPT、Gemini、Perplexity 和 Google 的 AI 界面,每个比率背后都有运行次数支撑。

常见问题

关于 ai-readable 的常见问题

想看看 Citlyze 的演示? 预约演示

一样,使用同一份清单:九项检查和相同的权重。两者都最多读取每个页面 2 MB 的 HTML,所以大页面的分数也一致。

当买家提问时,AI 会推荐你吗?

追踪 ChatGPT、Gemini、Perplexity、DeepSeek、Grok、Google AI Overview & AI Mode和Bing Copilot 如何提及、引用你的品牌并为它排名。查看已追踪的回答,以及需要补上的缺口。

无需信用卡

一位市场负责人在窗边办公桌前用笔记本电脑阅读 AI 回答