开始 14 天免费试用，无需信用卡

Robots.txt 生成器 专为 AI 爬虫打造

逐个决定哪些 AI 系统可以读取你的网站。从预设开始，逐个切换爬虫，然后复制一份完全反映你选择的 robots.txt。全程在你的浏览器中运行。

OpenAI

  • GPTBot训练
  • ChatGPT-User助手抓取
  • OAI-SearchBot搜索索引

Anthropic

  • ClaudeBot训练
  • Claude-User助手抓取
  • Claude-SearchBot搜索索引
  • anthropic-ai训练
  • Claude-Web训练

Perplexity

  • PerplexityBot搜索索引
  • Perplexity-User助手抓取

Google

  • GoogleOther其他
  • Google-Extended训练
  • Google-CloudVertexBot其他

Microsoft

  • Bingbot搜索索引
  • msnbot / MSNBot-Media搜索索引

xAI

  • GrokBot训练

Meta

  • meta-externalagent训练
  • Meta-ExternalFetcher助手抓取
  • FacebookBot训练

Apple

  • Applebot搜索索引
  • Applebot-Extended训练

Amazon

  • Amazonbot搜索索引

Mistral AI

  • MistralAI-User助手抓取

Cohere

  • cohere-ai训练
  • cohere-training-data-crawler训练

DuckDuckGo

  • DuckAssistBot助手抓取

ByteDance

  • Bytespider训练

Baidu

  • Baiduspider搜索索引

Huawei (Petal)

  • PetalBot搜索索引

Sogou (Tencent)

  • Sogou Spider搜索索引

Qihoo 360

  • 360Spider搜索索引

Yandex

  • YandexBot搜索索引

Common Crawl

  • CCBot训练

Allen Institute for AI

  • AI2Bot训练

You.com

  • YouBot搜索索引

Diffbot

  • Diffbot其他
  • Diffbot-User助手抓取

Timpi

  • Timpibot搜索索引

Webz.io

  • Omgilibot (Webz.io)训练

ImageSift

  • ImagesiftBot其他

Velen

  • VelenPublicWebCrawler其他

你的 robots.txt

# AI crawler rules generated with citlyze.com/free-tools/ai-robots-txt-generator

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Google-Extended
Disallow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: bingbot
Allow: /

User-agent: msnbot
User-agent: MSNBot-Media
Allow: /

User-agent: GrokBot
Disallow: /

User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Allow: /

User-agent: MistralAI-User
User-agent: MistralAI-User/1.0
Allow: /

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

User-agent: DuckAssistBot
Allow: /

User-agent: Bytespider
User-agent: ByteSpider
Disallow: /

User-agent: Baiduspider
User-agent: Baiduspider-render
Allow: /

User-agent: PetalBot
Allow: /

User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou
Allow: /

User-agent: 360Spider
User-agent: HaoSouSpider
Allow: /

User-agent: YandexBot
User-agent: YandexAdditional
Allow: /

User-agent: CCBot
Disallow: /

User-agent: AI2Bot
User-agent: AI2Bot-Dolma
Disallow: /

User-agent: YouBot
Allow: /

User-agent: Diffbot
Allow: /

User-agent: Diffbot-User
Allow: /

User-agent: Timpibot
Allow: /

User-agent: Omgilibot
User-agent: Omgili
User-agent: omgilibot
Disallow: /

User-agent: ImagesiftBot
Allow: /

User-agent: VelenPublicWebCrawler
Allow: /

# 与你现有的 robots.txt 合并；此文件只涵盖 AI 爬虫。

将这些规则合并到你域名根目录的 robots.txt 中。保留你现有的 sitemap 行和非 AI 规则。

工作原理

三个决定，一个文件

01

选择起点

允许全部、仅屏蔽训练爬虫，或屏蔽所有 AI 爬虫。这些预设涵盖了大多数网站会采取的三种立场。

02

调整单个爬虫

每个爬虫都按其用途标注：模型训练、搜索索引，或为助手按需抓取。切换其中任何一个，文件都会实时更新。

03

发布你的 robots.txt

复制或下载结果，并合并到你域名根目录的 robots.txt 中。你现有的非 AI 规则仍归你所有；此文件只涵盖 AI 爬虫。

训练、搜索还是助手：为什么类别很重要

屏蔽像 GPTBot 这样的训练爬虫，只会影响未来模型学到什么；你的网站仍会出现在 AI 搜索答案中。屏蔽像 OAI-SearchBot 这样的搜索索引器，或 ChatGPT-User 这样的助手抓取器，则会让你从实时答案和链接读取中消失。大多数会屏蔽内容的网站都是屏蔽训练、保留搜索，这正是中间那个预设的做法。

robots.txt 能做什么、不能做什么

robots.txt 是一份公开的请求，而非强制机制。这里列出的主要运营方都记录了各自的令牌，并普遍遵守它们；对于无视 robots.txt 的爬虫，则需要在服务器端屏蔽。生成器会列出每个爬虫的运营方，方便你判断自己在对谁发出请求。

屏蔽 AI 是一种取舍，而非默认选项

如果 AI 答案正成为你所在市场的一个发现渠道，那么屏蔽所有爬虫会让你恰恰在买家提问的地方隐身。诚实的决策方式是测量：先看看哪些 AI 爬虫已在访问你、AI 引擎是否引用你的页面，再决定是否关闭任何一个。

爬虫目录

本生成器中的每个 AI 爬虫

每个爬虫由谁运营，以及它是为模型训练采集、构建搜索索引，还是为助手按需抓取页面。

爬虫运营方类别用途
GPTBotOpenAI训练基础模型训练爬虫
ChatGPT-UserOpenAI助手抓取用户触发的浏览与操作
OAI-SearchBotOpenAI搜索索引ChatGPT 搜索索引与检索
ClaudeBotAnthropic训练Claude 训练爬虫
Claude-UserAnthropic助手抓取用户触发的检索
Claude-SearchBotAnthropic搜索索引Claude 搜索索引
anthropic-aiAnthropic训练Anthropic 的遗留或兼容令牌
Claude-WebAnthropic训练早期 Claude 抓取遗留的 Anthropic robots.txt 令牌。为完整起见保留；当前抓取使用 ClaudeBot。
PerplexityBotPerplexity搜索索引Perplexity 搜索索引
Perplexity-UserPerplexity助手抓取用户触发的检索
GoogleOtherGoogle其他用于公开内容的通用 Google 爬虫
Google-ExtendedGoogle训练Gemini 模型训练与接地使用控制
Google-CloudVertexBotGoogle其他Vertex AI 代理爬虫，用于站点所有者请求的生成内容
BingbotMicrosoft搜索索引Bing 索引，同时驱动 Copilot 和 Bing 生成式搜索
msnbot / MSNBot-MediaMicrosoft搜索索引遗留的 Bing/MSN 爬虫，仍见于部分站点
GrokBotxAI训练Grok/xAI 爬虫令牌
meta-externalagentMeta训练Meta AI 训练与外部代理
Meta-ExternalFetcherMeta助手抓取Meta 用户触发的抓取器
FacebookBotMeta训练Meta AI 与 Facebook 爬虫
ApplebotApple搜索索引Apple 搜索、Siri 和 Spotlight 建议爬虫
Applebot-ExtendedApple训练Apple 生成式 AI 数据使用控制
AmazonbotAmazon搜索索引Amazon 爬虫，驱动 Alexa 和 Amazon AI 答案
MistralAI-UserMistral AI助手抓取为 Le Chat 进行用户触发的检索
cohere-aiCohere训练AI 爬虫令牌
cohere-training-data-crawlerCohere训练训练数据爬虫令牌
DuckAssistBotDuckDuckGo助手抓取抓取页面以为 DuckDuckGo 的 AI 答案 DuckAssist 提供接地。屏蔽会将你的内容从这些答案中移除。
BytespiderByteDance训练ByteDance AI 与搜索爬虫（Doubao）
BaiduspiderBaidu搜索索引Baidu 搜索与 Ernie AI 爬虫
PetalBotHuawei (Petal)搜索索引Huawei Petal 搜索与 AI 爬虫
Sogou SpiderSogou (Tencent)搜索索引Sogou 搜索与 AI 爬虫
360SpiderQihoo 360搜索索引Qihoo 360 搜索与 AI 爬虫
YandexBotYandex搜索索引Yandex 搜索与 YandexGPT 爬虫
CCBotCommon Crawl训练广泛用于 LLM 训练的开放网络语料爬虫
AI2BotAllen Institute for AI训练开放语言模型训练数据爬虫
YouBotYou.com搜索索引You.com AI 搜索爬虫
DiffbotDiffbot其他知识图谱与网络搜索爬虫
Diffbot-UserDiffbot助手抓取用户触发的 Diffbot 检索
TimpibotTimpi搜索索引去中心化搜索与 AI 数据爬虫
Omgilibot (Webz.io)Webz.io训练用于 AI 训练数据集的网络数据源
ImagesiftBotImageSift其他面向图像的 AI 爬虫
VelenPublicWebCrawlerVelen其他聚合 AI 训练数据的公共网络爬虫
屏蔽之前

看看哪些 AI 爬虫已经在访问你的网站

Citlyze 在服务器端记录 AI 爬虫访问：哪些爬虫来了、抓取了什么、频率如何。用数据而非猜测来决定你的 robots.txt 策略。

开始 14 天 Brand Starter 试用，无需信用卡预约演示
常见问题

AI 爬虫与 robots.txt 常见问题解答

想看看 Citlyze 的演示？ 预约演示

使用「屏蔽训练、允许搜索」预设：它禁止 GPTBot（训练），同时允许 OAI-SearchBot（搜索索引）和 ChatGPT-User（按需页面读取）。OpenAI 正是把它们记录为独立令牌，好让网站做出这种区分。

当买家提问时，AI 会推荐你吗？

追踪 ChatGPT、Gemini、Perplexity、DeepSeek、ByteDance 和 Grok 如何提及、引用并排序您的品牌。查看已追踪的回答以及需要弥补的缺口。

免费试用预约演示

无需信用卡