选择哪些 AI 爬虫 可以读取你的 WordPress 网站
AI Crawler Control by Citlyze 是一款免费的 WordPress 插件。它读取你的网站实际提供的 robots.txt，显示 40 多个 AI 爬虫中哪些可以访问，并指出每条拦截规则背后的插件、主题或设置。之后，你可以把 AI 训练爬虫挡在门外，同时让 ChatGPT 搜索、Perplexity 和其他 AI 回答仍能读取并引用你的内容。
在 WordPress.org 免费下载。无需账号。支持 WordPress 6.4 及以上版本。
查看哪些 AI 爬虫可以进入
读取你的网站实际提供的 robots.txt，将 40 多个 AI 爬虫标记为允许或拦截，并按 AI 搜索、AI 助手和 AI 训练分组。
找出拦截它们的原因
指出每条拦截规则背后的插件、主题或设置，并提示覆盖 WordPress 的 robots.txt 文件、Cloudflare 托管的 robots.txt，以及在读取 robots.txt 之前就拒绝爬虫的主机。
屏蔽 AI 训练，保留 AI 搜索
挡住 GPTBot、ClaudeBot 等训练爬虫，同时让 OAI-SearchBot 和 PerplexityBot 继续引用你。保存前可预览具体规则；搜索引擎永远不会被屏蔽。
为网站的部分内容设规则
把 AI 训练爬虫或所有 AI 爬虫挡在 /members/ 等栏目之外，网站其他部分照常开放。搜索引擎永远不在其中。
编辑器中的 AI 就绪度
在你写作时为每篇文章的 AI 回答表现打分，检查项与 Citlyze Chrome 扩展和 AEO 评分工具相同。
AI 建议，只在你需要时出现
在 WordPress 7.0 或更高版本中设置了 AI 服务商后，编辑器可以为小标题建议一个问题，或在下面起草一段简短回答。在你插入之前，什么都不会改变。
免费，不向 Citlyze 发送任何内容
无需账号。检查在你的 WordPress 后台运行，只读取你自己的网站。AI 建议只在你点击时发给你自己的 AI 服务商。
屏蔽 GPTBot 和 AI 训练爬虫，保留 AI 搜索
OpenAI、Anthropic 和 Perplexity 各自用不同的爬虫做不同的事。GPTBot 收集训练数据，OAI-SearchBot 构建 ChatGPT 搜索所引用的索引，ChatGPT-User 则在有人询问某个页面时抓取它。屏蔽 GPTBot 可以让你的内容不进入未来的模型；屏蔽 OAI-SearchBot 则会让你从 ChatGPT 搜索的回答中消失，这通常并非本意。如果你决定屏蔽训练，插件为此提供的选项不会影响 AI 搜索。
找出拦截 AI 爬虫的插件或设置
WordPress 的 robots.txt 是动态拼装的：WordPress 先写入几行，然后 SEO 插件、安全插件和主题再加入各自的规则。插件会逐一单独运行每一部分，因此当某个爬虫被拦截时，它能告诉你是哪个插件、主题或设置写下了这条规则。它还会提示 WordPress 无法看到的情况：服务器上的 robots.txt 文件、Cloudflare 托管的 robots.txt，以及在网络边缘拦截 AI 爬虫的主机。
安装、检查、选择
从 WordPress.org 安装
在“插件 > 安装插件”中搜索 AI Crawler Control，或使用上方按钮。无需账号，无需配置。
打开 Citlyze 菜单
检查会立即开始，针对访客实际收到的 robots.txt，包括缓存或 CDN 在途中所做的任何修改。
选择你的 AI 爬虫规则
选择一个预设或逐个选择爬虫，查看预览后保存。撤销可恢复你之前的选择。
搜索引擎永远不会被屏蔽
Googlebot、Bingbot、Applebot 等搜索引擎爬虫会列出，但无法在插件中屏蔽，因为屏蔽它们会让网站从普通搜索结果中消失，而不仅仅是从 AI 回答中消失。如果其他插件屏蔽了其中之一，检查会首先提示。Google-Extended 也会被准确处理：它控制 Gemini 的训练以及 Gemini 应用和 Vertex AI 中的回答依据，而不影响 Google 搜索或 AI 概览。
robots.txt 无法告诉你的事
robots.txt 说明的是爬虫可以读取什么，而不是它们实际读取了什么，防火墙或 CDN 的机器人防护仍可能拒绝它们。将插件连接到 Citlyze，即可查看哪些 AI 爬虫真正来访（根据每个请求的来源进行确认），以及哪些 AI 回答为你带来了访客。
了解 AI 爬虫追踪做同样事情的免费网页工具
检查你的 robots.txt 允许或屏蔽了哪些 AI 爬虫，以及每次屏蔽的代价。
选择允许或屏蔽哪些 AI 爬虫，并下载现成的 robots.txt。
按格式规范逐行检查 llms.txt，支持网址或粘贴。
是的。AI 爬虫检查和 AI 爬虫规则都是免费的，无需账号，没有使用上限。只有在需要追踪 AI 爬虫访问和来自 AI 回答的访问时，才需要 Citlyze 账号。
