citlyze docs
使用 Citlyze

WordPress 插件

免费的 WordPress AI 爬虫管理工具,还可选择接入 Citlyze 进行追踪。

AI Crawler Control by Citlyze 是一款免费的 WordPress 插件,分为两部分。免费工具无需账号即可使用:它们会显示你的 robots.txt 允许哪些 AI 爬虫访问,指出是什么拦截了其余爬虫,还能让你在屏蔽 AI 训练的同时继续出现在 AI 搜索中。将插件连接到 Citlyze 后,还可以追踪 AI 爬虫访问和来自 AI 回答的访问,详见安装 AI 爬虫追踪。

安装

  1. 在 WordPress 后台前往 插件 → 安装插件,搜索 AI Crawler Control by Citlyze,点击立即安装,再点击启用。
  2. 在管理菜单中打开 Citlyze → AI crawler access。检查会立即开始。

免费工具无需账号、密钥或任何配置。

检查哪些 AI 爬虫可以读取你的网站

Citlyze → AI crawler access 会读取访客实际收到的 robots.txt(包括缓存或 CDN 所做的任何修改),并逐一评估每个已知 AI 爬虫能否访问。爬虫按屏蔽后的影响分组:

  • AI 搜索爬虫构建 ChatGPT 搜索、Perplexity、Claude 等 AI 回答所引用的索引。屏蔽它们会让你从这些回答中消失。
  • AI 助手会在有人向助手询问某个页面时抓取该页面。
  • AI 训练爬虫收集内容用于训练模型。屏蔽它们可以让你的内容不进入未来的训练,但不会让你从 AI 回答中消失。
  • 搜索引擎(如 Googlebot 和 Bingbot)也会列出供你查看,但插件永远不会屏蔽它们。

对于每个被拦截的爬虫,表格会注明规则的来源:WordPress、某个具体的插件或主题、服务器上的 robots.txt 文件、Cloudflare 托管的 robots.txt,或你的服务器或 CDN。

表格上方会列出检查发现的所有障碍:

  • 在 设置 → 阅读 中关闭了对搜索引擎的可见性。
  • 服务器上存在 robots.txt 文件,它会取代 WordPress 生成的版本。
  • robots.txt 加载缓慢或无法加载。
  • 其他插件拦截了搜索引擎或 AI 搜索爬虫。
  • 可能在读取 robots.txt 之前就拒绝爬虫的主机和安全插件,例如 Cloudflare、WP Engine 或 Wordfence。

选择 AI 爬虫规则

在 Your AI crawler rules 下选择:

  • Don't add rules(默认):robots.txt 保持不变。
  • Block AI training, stay in AI search:屏蔽 GPTBot、ClaudeBot 和 CCBot 等训练爬虫,放行 OAI-SearchBot、PerplexityBot 和各类 AI 助手的抓取程序。Google-Extended 默认放行,勾选 Also block Google-Extended 后才会屏蔽。
  • Block all AI crawlers:同时会让你从 AI 回答中消失。
  • Custom:逐个选择爬虫。

保存前,预览会显示具体的规则行,以及每组中仍被允许的爬虫数量。规则会写入 robots.txt 末尾一个带标记的区块中,排在其他插件写入的内容之后;你允许的爬虫仍遵循你现有的规则。Undo last change 可恢复你之前的选择。

Google-Extended 控制 Gemini 是否使用你的内容进行训练,以及是否在 Gemini 应用和 Vertex AI 中用它作为回答依据。因此 Block AI training, stay in AI search 会放行它:屏蔽它也会让你的网页从 Gemini 应用的回答中消失。它不影响 Google 搜索、AI Overviews 或 AI Mode。

开启 Also declare my choice with a Content-Signal line,可以添加一行 Content-Signal,向读取它的爬虫声明你的偏好。它只是表明偏好,并不强制执行。

如果你的服务器上有 robots.txt 文件,或 WordPress 安装在子目录中,WordPress 就无法提供这些规则。页面会显示这些规则并提供 Copy rules 按钮,方便你粘贴到文件中。

为网站的部分路径设置规则

在 Parts of your site 中(位于整站设置的下方),添加一个路径,例如 /members/ 或 /downloads/,然后选择要阻止哪些爬虫:

  • AI training crawlers:GPTBot、ClaudeBot、Google-Extended、CCBot 以及其他训练爬虫。
  • All AI crawlers:同时包括 AI 搜索爬虫和助手,因此该栏目中的页面会从 AI 回答中消失。

搜索引擎永远不在其中。路径的写法与 robots.txt 相同:以斜杠开头,* 匹配任意字符,末尾的 $ 表示地址结束,因此 /*.pdf$ 涵盖所有 PDF。最多可以添加 20 个栏目。

在 robots.txt 中拥有自己分组的爬虫,不再遵循为所有爬虫编写的规则(User-agent: *),所以插件会在它的分组中重复这些规则。在你设置的栏目之外,该爬虫的访问规则不会有任何变化。在 Crawler by crawler 中,被挡在某个栏目之外的爬虫会显示为 Limited,并列出它无法读取的栏目。

编辑器中的 AI 就绪度

每篇文章和每个页面都会在区块编辑器的侧边栏中显示一个 AI readiness 面板,在经典编辑器中则是一个 AI readiness 框。它用与 Citlyze Chrome 扩展和免费 AEO 评分工具相同的检查项,为页面在 AI 回答中的表现打出 0 到 100 分,因此已发布的页面在三者中得分相同。

  • 写作时,面板会检查你的内容:问句式标题、每个标题下的简短回答,以及表格和列表。
  • 保存后,它会按爬虫实际收到的样子为整个页面打分:该 URL 的 AI 爬虫访问、页面能否被索引、一个清晰的 H1、schema 标记,以及标题和元描述。草稿根据其预览打分,并忽略 WordPress 为预览添加的 noindex。

每项未通过的检查都会说明该如何修改。发布前,预发布面板会列出仍未通过的内容检查。

AI 建议

在 WordPress 7.0 及更高版本中,如果在 WordPress 里设置了 AI 服务商,面板可以协助两项检查。在 Question-shaped headings 下,Suggest a question 会把小标题改写成读者会提出的问题。在 Short answers under headings 下,Draft a short answer 会根据小标题下方的文字写出一段 40 到 60 词的回答。你会先看到每条建议:Insert 会把它以纯文本加入文章,编辑器的撤销可以把它去掉。

只有在你点击时,小标题和它下方最多约 4,000 个字符的文字才会发送给 WordPress 中设置的 AI 服务商。不会向 Citlyze 发送任何内容。没有服务商时,面板不显示建议。

持续关注

插件每天从你的服务器检查一次爬虫收到的 robots.txt。如果某些并非由你设置的规则或配置开始屏蔽 AI 搜索爬虫、AI 助手或搜索引擎,或者 robots.txt 无法加载,又或者 WordPress 开始要求搜索引擎不要索引网站,管理员会在仪表盘、插件页面和 Citlyze 页面看到通知,工具 → 站点健康 也会报告。你在 Your AI crawler rules 中选择的规则永远不会触发提醒,变更撤销后通知会自动消失。

如果还想收到邮件,请在 Keep watching 卡片中开启 Also email me when that happens。邮件发送到网站的管理员邮箱,每次变更一封。站点健康 → 信息 中有一个 AI Crawler Control 部分,显示最近的结果,寻求支持时很有用。

llms.txt

Citlyze → llms.txt 会找到你的网站提供的 llms.txt(无论由谁生成),并按照 llmstxt.org 的格式进行检查:标题、摘要、章节、链接格式和大小。

如果你的网站还没有 llms.txt,可以开启 Serve an llms.txt from this site。插件会提供一个简短的文件,列出你的页面和最新文章,并在你发布内容时更新;SEO 插件标记为 noindex 的文章和受密码保护的文章不会列入。如果服务器上的文件或其他插件(例如 Yoast SEO 或 Rank Math)已经提供了 llms.txt,插件不会再提供第二个。

目前没有主流 AI 引擎公开表示会读取 llms.txt,因此请把它视为可选项。robots.txt 更重要,因为它决定 AI 爬虫能否读取你的网站。

AI 智能体

从 WordPress 6.9 起,插件会注册只读能力,供通过 WordPress Abilities API 和 MCP 适配器连接的 AI 智能体使用:列出插件已知的 AI 爬虫、读取 AI 爬虫的访问情况及其成因,以及读取 llms.txt 状态。只有管理员的智能体才能使用这些能力,而且它们都不会更改你网站上的任何内容。

免费工具会发送什么

不向 Citlyze 发送任何内容。检查在你的 WordPress 后台和浏览器中运行,只读取你自己的网站。编辑器中的 AI 建议只在你点击时,把小标题和它下方的文字发送给 WordPress 中设置的 AI 服务商。只有当你连接 Citlyze 进行追踪时,数据才会发送给 Citlyze。

连接 Citlyze

robots.txt 说明的是爬虫可以读取什么,而不是它们实际读取了什么。要查看经过验证的 AI 爬虫访问,以及为你带来访客的 AI 回答,请在 Citlyze 中创建站点密钥,并在 Citlyze → Connect Citlyze 中填写。步骤见安装 AI 爬虫追踪。如需每天检查 AI 爬虫能否真正抓取你的页面,请参阅机器人访问。

来自 Citlyze 的草稿

网站连接后,内容草稿可以从 Citlyze 直接进入 WordPress,无需复制粘贴。在 Citlyze 中打开草稿,选择导出 → 发送到 WordPress,再选择网站。草稿会以 WordPress 草稿的形式出现在文章中,带有标题、正文、摘要和建议的别名。你的网站每小时检查一次是否有新草稿;在 Citlyze → Connect Citlyze 中点击 Check for drafts now 可立即获取。

不会发布任何内容:由你在 WordPress 中审阅并发布。再次发送同一份草稿时,只要该 WordPress 草稿尚未发布,就会更新它,WordPress 会把之前的文字保留为修订版本。已发布的文章永远不会被更改。Citlyze 不持有你网站的任何密码。如果不想再接收草稿,请在同一页面取消勾选 Receive drafts from Citlyze。

本页内容