AI 搜索引擎能读取你的网站吗?
用每个已记录的 AI 搜索和助手爬虫检查你的 robots.txt。如果它们都能读取你的网站,就能获得一个带日期的徽章来展示这一点,提供浅色和深色两种版本。
示例徽章。在上方输入你的网站即可检查并获得你的徽章。
浅色背景
深色背景
徽章如何运作?
输入你的网站
我们像爬虫一样读取你的 robots.txt,并逐一检查每个已记录的 AI 搜索和助手爬虫,从 OAI-SearchBot 到 PerplexityBot。
全部允许时获得徽章
如果没有一个被屏蔽,你会获得带有今天日期的徽章。如果有被屏蔽的,你会看到是哪些以及如何修复,但不会获得徽章。
粘贴到你的网站
把 HTML 复制到页脚或关于我们页面,或下载 SVG 自行托管。图片就在 HTML 里,所以不会从 Citlyze 加载任何内容。
徽章说明什么,不说明什么
徽章只陈述一个事实:在所示日期,你的 robots.txt 允许每个已记录的 AI 搜索和助手爬虫。它不说明 AI 回答引用你的频率,也不涵盖训练爬虫或 Googlebot 这样的传统搜索引擎。
为什么徽章带有日期
robots.txt 会变。一个永远声称允许访问的徽章,可能在有人屏蔽爬虫之后依然这样说。日期告诉访客检查是何时进行的,所以修改 robots.txt 后请重新检查并更换徽章。
放在哪里
页脚、关于我们页面或开发者文档是常见的位置。它适合想表明自己对 AI 搜索开放的网站,例如出版方、文档网站和软件产品。
如果有爬虫被屏蔽
结果会列出每个被屏蔽的爬虫。在 AI 爬虫访问检查工具中查看完整结果和每个结果背后的规则,然后用 AI robots.txt 生成器修复文件并重新检查。
AI 回答能读取你之后,会引用你吗?
徽章表明 AI 爬虫可以读取你的网站。Citlyze 显示 AI 引擎随后是否提及和引用你的品牌,以及你与竞争对手相比表现如何,并按计划持续追踪。
关于徽章
免费。无需账号,你输入的内容也不会被保存。
不会。HTML 本身包含图片(SVG 格式)以及指向我们爬虫访问检查工具的链接。你的页面加载时不会从 Citlyze 获取任何内容,我们也看不到徽章用在哪里。
已记录的 AI 搜索和助手爬虫,例如 OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot 和 Claude-User。训练爬虫以及 Googlebot、Bingbot 这样的传统搜索引擎不在检查范围内。
不必。徽章附带一个指向我们检查工具的链接,方便访客测试自己的网站,但如果你的网站政策要求,你可以删除这个链接或为它加上 rel="nofollow"。