Robots.txt 產生器 專為 AI 爬蟲打造
逐個機器人決定哪些 AI 系統可以讀取你的網站。從預設開始，切換個別爬蟲，然後複製一份完全依你選擇而定的 robots.txt。全程在你的瀏覽器中執行。
OpenAI
- GPTBot訓練
- ChatGPT-User助理抓取
- OAI-SearchBot搜尋索引
Anthropic
- ClaudeBot訓練
- Claude-User助理抓取
- Claude-SearchBot搜尋索引
- anthropic-ai訓練
- Claude-Web訓練
Perplexity
- PerplexityBot搜尋索引
- Perplexity-User助理抓取
Google
- GoogleOther其他
- Google-Extended訓練
- Google-CloudVertexBot其他
Microsoft
- Bingbot搜尋索引
- msnbot / MSNBot-Media搜尋索引
xAI
- GrokBot訓練
Meta
- meta-externalagent訓練
- Meta-ExternalFetcher助理抓取
- FacebookBot訓練
Apple
- Applebot搜尋索引
- Applebot-Extended訓練
- Amazonbot搜尋索引
Mistral AI
- MistralAI-User助理抓取
Cohere
- cohere-ai訓練
- cohere-training-data-crawler訓練
DuckDuckGo
- DuckAssistBot助理抓取
ByteDance
- Bytespider訓練
Baidu
- Baiduspider搜尋索引
Huawei (Petal)
- PetalBot搜尋索引
Sogou (Tencent)
- Sogou Spider搜尋索引
Qihoo 360
- 360Spider搜尋索引
Yandex
- YandexBot搜尋索引
Common Crawl
- CCBot訓練
Allen Institute for AI
- AI2Bot訓練
You.com
- YouBot搜尋索引
Diffbot
- Diffbot其他
- Diffbot-User助理抓取
Timpi
- Timpibot搜尋索引
Webz.io
- Omgilibot (Webz.io)訓練
ImageSift
- ImagesiftBot其他
Velen
- VelenPublicWebCrawler其他
你的 robots.txt
# AI crawler rules generated with citlyze.com/free-tools/ai-robots-txt-generator User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ClaudeBot Disallow: / User-agent: Claude-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: anthropic-ai Disallow: / User-agent: Claude-Web Disallow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: GoogleOther Allow: / User-agent: Google-Extended Disallow: / User-agent: Google-CloudVertexBot Allow: / User-agent: bingbot Allow: / User-agent: msnbot User-agent: MSNBot-Media Allow: / User-agent: GrokBot Disallow: / User-agent: meta-externalagent User-agent: Meta-ExternalAgent Disallow: / User-agent: Meta-ExternalFetcher Allow: / User-agent: FacebookBot Disallow: / User-agent: Applebot Allow: / User-agent: Applebot-Extended Disallow: / User-agent: Amazonbot Allow: / User-agent: MistralAI-User User-agent: MistralAI-User/1.0 Allow: / User-agent: cohere-ai Disallow: / User-agent: cohere-training-data-crawler Disallow: / User-agent: DuckAssistBot Allow: / User-agent: Bytespider User-agent: ByteSpider Disallow: / User-agent: Baiduspider User-agent: Baiduspider-render Allow: / User-agent: PetalBot Allow: / User-agent: Sogou web spider User-agent: Sogou inst spider User-agent: Sogou Allow: / User-agent: 360Spider User-agent: HaoSouSpider Allow: / User-agent: YandexBot User-agent: YandexAdditional Allow: / User-agent: CCBot Disallow: / User-agent: AI2Bot User-agent: AI2Bot-Dolma Disallow: / User-agent: YouBot Allow: / User-agent: Diffbot Allow: / User-agent: Diffbot-User Allow: / User-agent: Timpibot Allow: / User-agent: Omgilibot User-agent: Omgili User-agent: omgilibot Disallow: / User-agent: ImagesiftBot Allow: / User-agent: VelenPublicWebCrawler Allow: / # 與你現有的 robots.txt 合併；這份檔案只涵蓋 AI 爬蟲。
將這些規則併入你網域根目錄的 robots.txt。保留你既有的 sitemap 行與非 AI 規則。
運作方式
三個決定，一份檔案
01
選一個起點
允許全部、只封鎖訓練爬蟲，或封鎖所有 AI 機器人。這些預設涵蓋了多數網站採取的三種立場。
02
調整個別機器人
每個爬蟲都依用途標示：模型訓練、搜尋索引，或為助理即時抓取。切換其中任何一個，檔案即時更新。
03
發布你的 robots.txt
複製或下載結果，並將它併入你網域根目錄的 robots.txt。既有的非 AI 規則仍歸你所有；這份檔案只涵蓋 AI 爬蟲。
訓練、搜尋還是助理：為何分類很重要
封鎖像 GPTBot 這類訓練爬蟲，只會影響未來模型學到什麼；你的網站仍會出現在 AI 搜尋答案中。封鎖像 OAI-SearchBot 這類搜尋索引爬蟲，或像 ChatGPT-User 這類助理抓取器，才會讓你從即時答案與連結閱讀中消失。多數會封鎖的網站都選擇封鎖訓練、保留搜尋，這正是中間那個預設的作用。
robots.txt 能做什麼、不能做什麼
robots.txt 是一項公開的請求，而非強制機制。此處列出的主要業者都有記錄自己的權杖，並普遍會遵守；而忽略 robots.txt 的爬蟲則需改用伺服器端封鎖。產生器列出每個機器人的業者，讓你能決定自己在對誰喊話。
封鎖 AI 是一種取捨，而非預設
若 AI 答案正逐漸成為你市場的探索管道，封鎖每個機器人會讓你在買家發問的地方徹底隱形。誠實的決策方式是測量：先看看哪些 AI 爬蟲已經在造訪你、AI 引擎是否引用你的頁面，再決定要不要關閉任何東西。
機器人目錄
本產生器涵蓋的每一個 AI 爬蟲
每個機器人由誰營運，以及它是為模型訓練蒐集資料、建立搜尋索引，還是為助理即時抓取頁面。
| 機器人 | 業者 | 類別 | 用途 |
|---|---|---|---|
| GPTBot | 訓練 | 基礎模型訓練爬蟲 | |
| ChatGPT-User | 助理抓取 | 由使用者觸發的瀏覽與操作 | |
| OAI-SearchBot | 搜尋索引 | ChatGPT 搜尋索引與檢索 | |
| ClaudeBot | 訓練 | Claude 訓練爬蟲 | |
| Claude-User | 助理抓取 | 由使用者觸發的檢索 | |
| Claude-SearchBot | 搜尋索引 | Claude 搜尋索引 | |
| anthropic-ai | 訓練 | Anthropic 舊版或相容性權杖 | |
| Claude-Web | 訓練 | 早期 Claude 爬取所用的舊版 Anthropic robots.txt 權杖。為求完整保留；目前爬取使用 ClaudeBot。 | |
| PerplexityBot | 搜尋索引 | Perplexity 搜尋索引 | |
| Perplexity-User | 助理抓取 | 由使用者觸發的檢索 | |
| GoogleOther | 其他 | 抓取公開內容的通用 Google 爬蟲 | |
| Google-Extended | 訓練 | 控制 Gemini 模型訓練與接地使用 | |
| Google-CloudVertexBot | 其他 | 為網站擁有者請求的生成式內容抓取的 Vertex AI 代理爬蟲 | |
| Bingbot | 搜尋索引 | 同時支撐 Copilot 與 Bing 生成式搜尋的 Bing 索引 | |
| msnbot / MSNBot-Media | 搜尋索引 | 仍出現在部分網站上的舊版 Bing/MSN 爬蟲 | |
| GrokBot | 訓練 | Grok/xAI 爬蟲權杖 | |
| meta-externalagent | 訓練 | Meta AI 訓練與外部代理 | |
| Meta-ExternalFetcher | 助理抓取 | 由使用者觸發的 Meta 抓取器 | |
| FacebookBot | 訓練 | Meta AI 與 Facebook 爬蟲 | |
| Applebot | 搜尋索引 | Apple 搜尋、Siri 與 Spotlight 建議爬蟲 | |
| Applebot-Extended | 訓練 | 控制 Apple 生成式 AI 資料使用 | |
| Amazonbot | Amazon | 搜尋索引 | 支撐 Alexa 與 Amazon AI 答案的 Amazon 爬蟲 |
| MistralAI-User | 助理抓取 | 為 Le Chat 進行由使用者觸發的檢索 | |
| cohere-ai | 訓練 | AI 爬蟲權杖 | |
| cohere-training-data-crawler | 訓練 | 訓練資料爬蟲權杖 | |
| DuckAssistBot | 助理抓取 | 抓取頁面以支撐 DuckDuckGo 的 AI 答案 DuckAssist。封鎖後會將你的內容從那些答案中移除。 | |
| Bytespider | 訓練 | ByteDance AI 與搜尋爬蟲（Doubao） | |
| Baiduspider | 搜尋索引 | Baidu 搜尋與 Ernie AI 爬蟲 | |
| PetalBot | 搜尋索引 | Huawei Petal 搜尋與 AI 爬蟲 | |
| Sogou Spider | 搜尋索引 | Sogou 搜尋與 AI 爬蟲 | |
| 360Spider | 搜尋索引 | Qihoo 360 搜尋與 AI 爬蟲 | |
| YandexBot | 搜尋索引 | Yandex 搜尋與 YandexGPT 爬蟲 | |
| CCBot | 訓練 | 廣泛用於 LLM 訓練的開放網路語料爬蟲 | |
| AI2Bot | 訓練 | 開放語言模型訓練資料爬蟲 | |
| YouBot | 搜尋索引 | You.com AI 搜尋爬蟲 | |
| Diffbot | 其他 | 知識圖譜與網路搜尋爬蟲 | |
| Diffbot-User | 助理抓取 | 由使用者觸發的 Diffbot 檢索 | |
| Timpibot | 搜尋索引 | 去中心化搜尋與 AI 資料爬蟲 | |
| Omgilibot (Webz.io) | 訓練 | 用於 AI 訓練資料集的網路資料饋送 | |
| ImagesiftBot | 其他 | 以圖像為導向的 AI 爬蟲 | |
| VelenPublicWebCrawler | 其他 | 彙整 AI 訓練資料的公開網路爬蟲 |
在封鎖之前
看看哪些 AI 機器人已經在造訪你的網站
Citlyze 在伺服器端記錄 AI 爬蟲造訪：哪些機器人來過、抓取了什麼、多久造訪一次。用數據而非猜測來決定你的 robots.txt 政策。
常見問題
AI 爬蟲與 robots.txt 常見問題
想看看 Citlyze 的示範嗎？ 預約示範
使用「封鎖訓練、允許搜尋」預設：它會禁止 GPTBot（訓練），同時保留 OAI-SearchBot（搜尋索引）與 ChatGPT-User（即時頁面讀取）。OpenAI 正是把這些記錄為獨立權杖，讓網站能做這樣的區分。