WordPress 插件

AI Crawler Control by Citlyze 是一款免费的 WordPress 插件，分为两部分。免费工具无需账号即可使用：它们显示你的 robots.txt 允许哪些 AI 爬虫访问，指出是什么拦截了其余爬虫，并让你在屏蔽 AI 训练的同时保留在 AI 搜索中。将插件连接到 Citlyze 后，还可以追踪 AI 爬虫访问和来自 AI 回答的访问，详见安装 AI 爬虫追踪。

安装

1. 在 WordPress 后台前往 插件 → 安装插件，搜索 AI Crawler Control by Citlyze，点击立即安装，再点击启用。
2. 在管理菜单中打开 Citlyze → AI crawler access。检查会立即开始。

免费工具无需账号、密钥或任何配置。

检查哪些 AI 爬虫可以读取你的网站

Citlyze → AI crawler access 会读取访客实际收到的 robots.txt（包括缓存或 CDN 所做的任何修改），并针对每个已知 AI 爬虫进行评估。爬虫按屏蔽后的影响分组：

• AI 搜索爬虫构建 ChatGPT 搜索、Perplexity、Claude 等 AI 回答所引用的索引。屏蔽它们会让你从这些回答中消失。
• AI 助手会在有人向助手询问某个页面时抓取该页面。
• AI 训练爬虫收集内容用于训练模型。屏蔽它们可以让你的内容不进入未来的训练，但不会让你从 AI 回答中消失。
• 搜索引擎（如 Googlebot 和 Bingbot）会列出以便你查看，但插件永远不会屏蔽它们。

对于每个被拦截的爬虫，表格会注明规则的来源：WordPress、某个具体的插件或主题、服务器上的 robots.txt 文件、Cloudflare 托管的 robots.txt，或你的服务器或 CDN。

在表格上方，检查会列出所有障碍：

• 在 设置 → 阅读 中关闭了对搜索引擎的可见性。
• 服务器上存在 robots.txt 文件，它会取代 WordPress 生成的版本。
• robots.txt 加载缓慢或无法加载。
• 其他插件拦截了搜索引擎或 AI 搜索爬虫。
• 可能在读取 robots.txt 之前就拒绝爬虫的主机和安全插件，例如 Cloudflare、WP Engine 或 Wordfence。

选择 AI 爬虫规则

在 Your AI crawler rules 下选择：

• Don't add rules（默认）：robots.txt 保持不变。
• Block AI training, stay in AI search：屏蔽 GPTBot、ClaudeBot、Google-Extended 和 CCBot 等训练爬虫，放行 OAI-SearchBot、PerplexityBot 和各类助手。
• Block all AI crawlers：同时会让你从 AI 回答中消失。
• Custom：逐个选择爬虫。

保存前，预览会显示具体的规则行，以及每组中仍被允许的爬虫数量。规则位于 robots.txt 末尾的一个带标记的区块中，排在其他插件写入的内容之后；被允许的爬虫仍遵循你现有的规则。Undo last change 可恢复你之前的选择。

Google-Extended 控制 Gemini 是否使用你的内容进行训练，以及是否在 Gemini 应用和 Vertex AI 中用它作为回答依据。它不影响 Google 搜索、AI 概览或 AI Mode。

开启 Also declare my choice with a Content-Signal line，可以添加一行 Content-Signal，向读取它的爬虫声明你的偏好。它只是表明偏好，并不强制执行。

如果你的服务器上有 robots.txt 文件，或 WordPress 安装在子目录中，WordPress 就无法提供这些规则。页面会显示这些规则并提供 Copy rules 按钮，方便你粘贴到文件中。

为网站的部分内容设规则

在 Parts of your site 中（位于整站设置的下方），添加一个路径，例如 /members/ 或 /downloads/，然后选择要挡住谁：

• AI training crawlers：GPTBot、ClaudeBot、Google-Extended、CCBot 以及其他训练爬虫。
• All AI crawlers：同时包括 AI 搜索爬虫和助手，因此该栏目中的页面会从 AI 回答中消失。

搜索引擎永远不在其中。路径的写法与 robots.txt 相同：以斜杠开头，* 匹配任意字符，末尾的 $ 表示地址结束，因此 /*.pdf$ 涵盖所有 PDF。最多可以添加 20 个栏目。

在 robots.txt 中拥有自己分组的爬虫，不再遵循为所有爬虫编写的规则（User-agent: *），所以插件会在它的分组中重复这些规则。在你设置的栏目之外，这个爬虫的访问不会有任何变化。在 Crawler by crawler 中，被挡在某个栏目之外的爬虫会显示为 Limited，并列出它无法读取的栏目。

编辑器中的 AI 就绪度

每篇文章和每个页面都会在区块编辑器侧边栏中获得一个 AI readiness 面板，在经典编辑器中则是一个 AI readiness 框。它用与 Citlyze Chrome 扩展和免费 AEO 评分工具相同的检查项，为页面在 AI 回答中的表现打出 0 到 100 分，因此已发布的页面在三者中得分相同。

• 写作时，面板会检查你的内容：问句式标题、每个标题下的简短回答，以及表格和列表。
• 保存后，它会按爬虫实际收到的样子为整个页面打分：该 URL 的 AI 爬虫访问、页面能否被索引、一个清晰的 H1、schema 标记，以及标题和元描述。草稿根据其预览打分，并忽略 WordPress 为预览添加的 noindex。

每项未通过的检查都会说明该如何修改。发布前，预发布面板会列出仍未通过的内容检查。

AI 建议

在 WordPress 7.0 及更高版本中，如果在 WordPress 里设置了 AI 服务商，面板可以协助两项检查。在 Question-shaped headings 下，Suggest a question 会把小标题改写成读者会提出的问题。在 Short answers under headings 下，Draft a short answer 会根据小标题下方的文字写出一段 40 到 60 词的回答。你会先看到每条建议：Insert 会把它以纯文本加入文章，编辑器的撤销可以把它去掉。

只有在你点击时，小标题和它下方最多约 4,000 个字符的文字才会发送给 WordPress 中设置的 AI 服务商。不会向 Citlyze 发送任何内容。没有服务商时，面板不显示建议。

免费工具会发送什么

不向 Citlyze 发送任何内容。检查在你的 WordPress 后台和浏览器中运行，只读取你自己的网站。编辑器中的 AI 建议只在你点击时，把小标题和它下方的文字发送给 WordPress 中设置的 AI 服务商。只有当你连接 Citlyze 进行追踪时，数据才会发送给 Citlyze。

连接 Citlyze

robots.txt 说明的是爬虫可以读取什么，而不是它们实际读取了什么。要查看经过验证的 AI 爬虫访问，以及为你带来访客的 AI 回答，请在 Citlyze 中创建站点密钥，并在 Citlyze → Connect Citlyze 中填写。步骤见安装 AI 爬虫追踪。如需每天检查 AI 爬虫能否真正抓取你的页面，请参阅机器人访问。