Respektieren KI-Unternehmen meine robots.txt?

Die großen Betreiber, darunter OpenAI, Anthropic, Google, Microsoft, Apple und Perplexity, dokumentieren ihre User-Agents und erklären, dass sie robots.txt-Anweisungen befolgen. Kleinere Datenhändler variieren. Bei Bots, die die Datei ignorieren, erfolgt die Sperrung auf Server- oder CDN-Ebene, nicht in der robots.txt.

Ersetzt das meine bestehende robots.txt?

Nein. Die erzeugte Datei betrifft nur KI-Crawler. Fügen Sie ihre Regeln in Ihre bestehende robots.txt ein und lassen Sie Ihre aktuelle Sitemap-Zeile und alle Nicht-KI-Regeln unverändert.

Sollte ich Common Crawl (CCBot) sperren?

CCBot speist einen offenen Datensatz, der viele Modelle trainiert; ihn zu sperren ist der breiteste einzelne Training-Opt-out, der verfügbar ist. Der Nachteil: derselbe Datensatz treibt auch Forschung und Archive an. Websites, die Modelltraining begrenzen wollen, sperren ihn meist; auf Reichweite optimierte Websites lassen ihn offen.

Was passiert mit Seiten, die bereits gecrawlt wurden, bevor ich einen Bot sperre?

robots.txt steuert künftige Abrufe. Bereits erfasste Inhalte verschwinden nicht aus bestehenden Datensätzen oder Modellgewichten; einige Betreiber bieten getrennte Löschverfahren an.

Robots.txt-Generator für KI-Crawler

Entscheiden Sie Bot für Bot, welche KI-Systeme Ihre Website lesen dürfen. Starten Sie von einem Preset, schalten Sie einzelne Crawler um und kopieren Sie eine robots.txt, die genau das sagt, was Sie gewählt haben. Läuft vollständig in Ihrem Browser.

OpenAI

GPTBotTraining
ChatGPT-UserAssistenten-Abruf
OAI-SearchBotSuchindex

Anthropic

ClaudeBotTraining
Claude-UserAssistenten-Abruf
Claude-SearchBotSuchindex
anthropic-aiTraining
Claude-WebTraining

Perplexity

PerplexityBotSuchindex
Perplexity-UserAssistenten-Abruf

Google

GoogleOtherSonstige
Google-ExtendedTraining
Google-CloudVertexBotSonstige

Microsoft

BingbotSuchindex
msnbot / MSNBot-MediaSuchindex

xAI

GrokBotTraining

Ihre robots.txt

# AI crawler rules generated with citlyze.com/free-tools/ai-robots-txt-generator

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Google-Extended
Disallow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: bingbot
Allow: /

User-agent: msnbot
User-agent: MSNBot-Media
Allow: /

User-agent: GrokBot
Disallow: /

User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Allow: /

User-agent: MistralAI-User
User-agent: MistralAI-User/1.0
Allow: /

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

User-agent: DuckAssistBot
Allow: /

User-agent: Bytespider
User-agent: ByteSpider
Disallow: /

User-agent: Baiduspider
User-agent: Baiduspider-render
Allow: /

User-agent: PetalBot
Allow: /

User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou
Allow: /

User-agent: 360Spider
User-agent: HaoSouSpider
Allow: /

User-agent: YandexBot
User-agent: YandexAdditional
Allow: /

User-agent: CCBot
Disallow: /

User-agent: AI2Bot
User-agent: AI2Bot-Dolma
Disallow: /

User-agent: YouBot
Allow: /

User-agent: Diffbot
Allow: /

User-agent: Diffbot-User
Allow: /

User-agent: Timpibot
Allow: /

User-agent: Omgilibot
User-agent: Omgili
User-agent: omgilibot
Disallow: /

User-agent: ImagesiftBot
Allow: /

User-agent: VelenPublicWebCrawler
Allow: /

# Mit Ihrer bestehenden robots.txt zusammenführen; diese Datei betrifft nur KI-Crawler.

Fügen Sie diese Regeln in die robots.txt im Stammverzeichnis Ihrer Domain ein. Behalten Sie Ihre bestehende Sitemap-Zeile und Nicht-KI-Regeln.

so funktioniert es

Drei Entscheidungen, eine Datei

Startpunkt wählen

Alles erlauben, nur Training-Crawler sperren oder alle KI-Bots sperren. Die Presets bilden die drei Positionen ab, die die meisten Websites einnehmen.

Einzelne Bots anpassen

Jeder Crawler ist danach beschriftet, was er tut: Modelltraining, Suchindexierung oder On-Demand-Abruf für Assistenten. Schalten Sie beliebige um; die Datei aktualisiert sich live.

Ihre robots.txt veröffentlichen

Kopieren oder laden Sie das Ergebnis herunter und fügen Sie es in die robots.txt im Stammverzeichnis Ihrer Domain ein. Ihre bestehenden Nicht-KI-Regeln bleiben unverändert; diese Datei betrifft nur KI-Crawler.

Training, Suche oder Assistent: warum die Kategorie zählt

Einen Training-Crawler wie GPTBot zu sperren, betrifft nur, was künftige Modelle lernen; Ihre Website erscheint weiterhin in KI-Suchantworten. Einen Suchindexierer wie OAI-SearchBot oder einen Assistenten-Abrufer wie ChatGPT-User zu sperren, entfernt Sie aus Live-Antworten und dem Lesen von Links. Die meisten Websites, die überhaupt etwas sperren, sperren Training und behalten die Suche, genau das macht das mittlere Preset.

Was robots.txt kann und was nicht

robots.txt ist eine veröffentlichte Bitte, kein Durchsetzungsmechanismus. Die hier gelisteten großen Betreiber dokumentieren ihre Tokens und halten sich in der Regel daran; ein Crawler, der robots.txt ignoriert, braucht stattdessen serverseitige Sperren. Der Generator nennt den Betreiber jedes Bots, damit Sie entscheiden können, an wen Sie sich wenden.

KI zu sperren ist ein Abwägen, kein Standard

Wenn KI-Antworten zu einem Entdeckungskanal für Ihren Markt werden, macht das Sperren jedes Bots Sie genau dort unsichtbar, wo Käufer fragen. Der ehrliche Weg zu entscheiden ist zu messen: sehen Sie, welche KI-Crawler Sie bereits besuchen und ob KI-Engines Ihre Seiten zitieren, bevor Sie etwas abschalten.

das Bot-Verzeichnis

Jeder KI-Crawler in diesem Generator

Wer jeden Bot betreibt und ob er für Modelltraining sammelt, einen Suchindex aufbaut oder Seiten auf Anfrage für einen Assistenten abruft.

Bot	Betreiber	Kategorie	Was er tut
GPTBot	OpenAI	Training	Crawler für Foundation-Model-Training
ChatGPT-User	OpenAI	Assistenten-Abruf	Nutzerausgelöstes Browsen und Aktionen
OAI-SearchBot	OpenAI	Suchindex	ChatGPT-Suchindexierung und -abruf
ClaudeBot	Anthropic	Training	Claude-Training-Crawler
Claude-User	Anthropic	Assistenten-Abruf	Nutzerausgelöster Abruf
Claude-SearchBot	Anthropic	Suchindex	Claude-Suchindexierung
anthropic-ai	Anthropic	Training	Legacy- oder Kompatibilitäts-Token von Anthropic
Claude-Web	Anthropic	Training	Legacy-robots.txt-Token von Anthropic aus früherem Claude-Crawling. Aus Vollständigkeit beibehalten; aktuelles Crawling nutzt ClaudeBot.
PerplexityBot	Perplexity	Suchindex	Perplexity-Suchindex
Perplexity-User	Perplexity	Assistenten-Abruf	Nutzerausgelöster Abruf
GoogleOther	Google	Sonstige	Generischer Google-Crawler für öffentliche Inhalte
Google-Extended	Google	Training	Steuerung der Nutzung für Gemini-Modelltraining und -Grounding
Google-CloudVertexBot	Google	Sonstige	Vertex AI-Agent-Crawler für vom Website-Betreiber angeforderte generative Inhalte
Bingbot	Microsoft	Suchindex	Bing-Index, der auch Copilot und die generative Bing-Suche antreibt
msnbot / MSNBot-Media	Microsoft	Suchindex	Legacy-Bing/MSN-Crawler, der auf einigen Websites noch auftaucht
GrokBot	xAI	Training	Grok/xAI-Crawler-Token
meta-externalagent	Meta	Training	Meta AI-Training und externer Agent
Meta-ExternalFetcher	Meta	Assistenten-Abruf	Nutzerausgelöster Meta-Abrufer
FacebookBot	Meta	Training	Meta AI- und Facebook-Crawler
Applebot	Apple	Suchindex	Crawler für Apple-Suche, Siri und Spotlight-Vorschläge
Applebot-Extended	Apple	Training	Steuerung der Datennutzung für generative Apple-KI
Amazonbot	Amazon	Suchindex	Amazon-Crawler, der Alexa und Amazon-KI-Antworten antreibt
MistralAI-User	Mistral AI	Assistenten-Abruf	Nutzerausgelöster Abruf für Le Chat
cohere-ai	Cohere	Training	KI-Crawler-Token
cohere-training-data-crawler	Cohere	Training	Crawler-Token für Trainingsdaten
DuckAssistBot	DuckDuckGo	Assistenten-Abruf	Ruft Seiten ab, um DuckAssist, die KI-Antworten von DuckDuckGo, zu grounden. Sperren entfernt Ihre Inhalte aus diesen Antworten.
Bytespider	ByteDance	Training	ByteDance-KI- und -Suchcrawler (Doubao)
Baiduspider	Baidu	Suchindex	Baidu-Such- und Ernie-KI-Crawler
PetalBot	Huawei (Petal)	Suchindex	Huawei Petal-Such- und -KI-Crawler
Sogou Spider	Sogou (Tencent)	Suchindex	Sogou-Such- und -KI-Crawler
360Spider	Qihoo 360	Suchindex	Qihoo 360-Such- und -KI-Crawler
YandexBot	Yandex	Suchindex	Yandex-Such- und YandexGPT-Crawler
CCBot	Common Crawl	Training	Crawler für offenes Web-Korpus, weit verbreitet für LLM-Training
AI2Bot	Allen Institute for AI	Training	Crawler für offene Sprachmodell-Trainingsdaten
YouBot	You.com	Suchindex	You.com-KI-Suchcrawler
Diffbot	Diffbot	Sonstige	Crawler für Knowledge-Graph und Websuche
Diffbot-User	Diffbot	Assistenten-Abruf	Nutzerausgelöster Diffbot-Abruf
Timpibot	Timpi	Suchindex	Crawler für dezentrale Suche und KI-Daten
Omgilibot (Webz.io)	Webz.io	Training	Web-Datenfeeds für KI-Trainingsdatensätze
ImagesiftBot	ImageSift	Sonstige	Bildorientierter KI-Crawler
VelenPublicWebCrawler	Velen	Sonstige	Öffentlicher Web-Crawler, der KI-Trainingsdaten aggregiert

bevor Sie sperren

Sehen Sie, welche KI-Bots Ihre Website bereits besuchen

Citlyze erfasst KI-Crawler-Besuche serverseitig: welche Bots kamen, was sie abriefen und wie oft. Legen Sie Ihre robots.txt-Politik anhand von Daten statt Vermutungen fest.

Starten Sie eine 14-tägige Brand-Starter-Testphase ohne Kreditkarte Demo buchen

FAQ

KI-Crawler und robots.txt, erklärt

Lust auf eine Citlyze-Demo? Demo buchen

Nutzen Sie das Preset Training sperren, Suche erlauben: Es sperrt GPTBot (Training), lässt aber OAI-SearchBot (den Suchindex) und ChatGPT-User (On-Demand-Seitenlesen) zu. OpenAI dokumentiert diese als getrennte Tokens, genau damit Websites diese Trennung vornehmen können.

Empfiehlt die KI Sie, wenn Käufer fragen?

Verfolgen Sie, wie ChatGPT, Gemini, Perplexity, DeepSeek, ByteDance und Grok Ihre Marke erwähnen, zitieren und einordnen. Lesen Sie erfasste Antworten und die Lücken, die zu schließen sind.

Kostenlos testen Demo buchen

Keine Kreditkarte erforderlich