Respecteren AI-bedrijven mijn robots.txt?

De grote aanbieders, waaronder OpenAI, Anthropic, Google, Microsoft, Apple en Perplexity, documenteren hun user agents en verklaren dat ze robots.txt-richtlijnen respecteren. Kleinere datahandelaren verschillen. Voor bots die het bestand negeren gebeurt blokkeren op server- of CDN-niveau, niet in robots.txt.

Vervangt dit mijn bestaande robots.txt?

Nee. Het gegenereerde bestand dekt alleen AI-crawlers. Voeg de regels samen met je bestaande robots.txt en laat je huidige sitemap-regel en niet-AI-regels ongewijzigd.

Moet ik Common Crawl (CCBot) blokkeren?

CCBot voedt een open dataset die veel modellen traint, dus het blokkeren ervan is de breedste enkele opt-out voor training die er is. De afweging: dezelfde dataset voedt ook onderzoek en archieven. Sites die modeltraining willen beperken blokkeren het meestal; sites die optimaliseren voor bereik laten het open.

Wat gebeurt er met pagina's die al gecrawld zijn voordat ik een bot blokkeer?

robots.txt regelt toekomstige ophaalacties. Al verzamelde content verdwijnt niet uit bestaande datasets of modelgewichten; sommige aanbieders bieden aparte verwijderingsprocessen.

Robots.txt-generator voor AI-crawlers

Bepaal per bot welke AI-systemen je site mogen lezen. Begin met een preset, zet losse crawlers om en kopieer een robots.txt die precies zegt wat je koos. Draait volledig in je browser.

OpenAI

GPTBotTraining
ChatGPT-UserAssistent-ophaal
OAI-SearchBotZoekindex

Anthropic

ClaudeBotTraining
Claude-UserAssistent-ophaal
Claude-SearchBotZoekindex
anthropic-aiTraining
Claude-WebTraining

Perplexity

PerplexityBotZoekindex
Perplexity-UserAssistent-ophaal

Google

GoogleOtherOverig
Google-ExtendedTraining
Google-CloudVertexBotOverig

Microsoft

BingbotZoekindex
msnbot / MSNBot-MediaZoekindex

xAI

GrokBotTraining

Je robots.txt

# AI crawler rules generated with citlyze.com/free-tools/ai-robots-txt-generator

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Google-Extended
Disallow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: bingbot
Allow: /

User-agent: msnbot
User-agent: MSNBot-Media
Allow: /

User-agent: GrokBot
Disallow: /

User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Allow: /

User-agent: MistralAI-User
User-agent: MistralAI-User/1.0
Allow: /

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

User-agent: DuckAssistBot
Allow: /

User-agent: Bytespider
User-agent: ByteSpider
Disallow: /

User-agent: Baiduspider
User-agent: Baiduspider-render
Allow: /

User-agent: PetalBot
Allow: /

User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou
Allow: /

User-agent: 360Spider
User-agent: HaoSouSpider
Allow: /

User-agent: YandexBot
User-agent: YandexAdditional
Allow: /

User-agent: CCBot
Disallow: /

User-agent: AI2Bot
User-agent: AI2Bot-Dolma
Disallow: /

User-agent: YouBot
Allow: /

User-agent: Diffbot
Allow: /

User-agent: Diffbot-User
Allow: /

User-agent: Timpibot
Allow: /

User-agent: Omgilibot
User-agent: Omgili
User-agent: omgilibot
Disallow: /

User-agent: ImagesiftBot
Allow: /

User-agent: VelenPublicWebCrawler
Allow: /

# Samenvoegen met je bestaande robots.txt; dit bestand dekt alleen AI-crawlers.

Voeg deze regels samen met de robots.txt in de root van je domein. Behoud je bestaande sitemap-regel en niet-AI-regels.

hoe het werkt

Drie beslissingen, één bestand

Kies een startpunt

Alles toestaan, alleen trainingscrawlers blokkeren, of alle AI-bots blokkeren. De presets vatten de drie posities samen die de meeste sites innemen.

Pas losse bots aan

Elke crawler is gelabeld naar wat hij doet: modeltraining, zoekindexering of ophalen op verzoek voor assistenten. Zet er een om en het bestand wordt live bijgewerkt.

Publiceer je robots.txt

Kopieer of download het resultaat en voeg het samen met de robots.txt in de root van je domein. Bestaande niet-AI-regels blijven van jou; dit bestand dekt alleen AI-crawlers.

Training, zoeken of assistent: waarom de categorie ertoe doet

Een trainingscrawler als GPTBot blokkeren beïnvloedt alleen wat toekomstige modellen leren; je site blijft verschijnen in AI-zoekantwoorden. Een zoekindexeerder als OAI-SearchBot of een assistent-ophaler als ChatGPT-User blokkeren haalt je weg uit live antwoorden en het lezen van links. De meeste sites die iets blokkeren, blokkeren training en houden zoeken, precies wat de middelste preset doet.

Wat robots.txt wel en niet kan

robots.txt is een gepubliceerd verzoek, geen handhavingsmechanisme. De grote aanbieders die hier staan documenteren hun tokens en respecteren ze doorgaans; een crawler die robots.txt negeert vereist blokkeren aan serverzijde. De generator vermeldt de aanbieder van elke bot, zodat je kunt bepalen wie je aanspreekt.

AI blokkeren is een afweging, geen standaard

Als AI-antwoorden een ontdekkingskanaal worden voor jouw markt, maakt het blokkeren van elke bot je onzichtbaar precies daar waar kopers vragen stellen. De eerlijke manier om te beslissen is meten: kijk welke AI-crawlers je al bezoeken, en of AI-engines je pagina's citeren, voordat je iets uitzet.

de bot-directory

Elke AI-crawler in deze generator

Wie elke bot beheert, en of hij verzamelt voor modeltraining, een zoekindex bouwt of pagina's op verzoek ophaalt voor een assistent.

Bot	Aanbieder	Categorie	Wat hij doet
GPTBot	OpenAI	Training	Crawler voor training van foundation models
ChatGPT-User	OpenAI	Assistent-ophaal	Browsen en acties op verzoek van de gebruiker
OAI-SearchBot	OpenAI	Zoekindex	Zoekindexering en ophalen voor ChatGPT
ClaudeBot	Anthropic	Training	Trainingscrawler voor Claude
Claude-User	Anthropic	Assistent-ophaal	Ophalen op verzoek van de gebruiker
Claude-SearchBot	Anthropic	Zoekindex	Zoekindexering voor Claude
anthropic-ai	Anthropic	Training	Verouderd of compatibiliteitstoken van Anthropic
Claude-Web	Anthropic	Training	Verouderd robots.txt-token van Anthropic uit eerder Claude-crawlen. Behouden voor volledigheid; huidig crawlen gebruikt ClaudeBot.
PerplexityBot	Perplexity	Zoekindex	Zoekindex van Perplexity
Perplexity-User	Perplexity	Assistent-ophaal	Ophalen op verzoek van de gebruiker
GoogleOther	Google	Overig	Generieke Google-crawler voor openbare content
Google-Extended	Google	Training	Beheer van Gemini-modeltraining en grounding-gebruik
Google-CloudVertexBot	Google	Overig	Vertex AI-agentcrawler voor generatieve content op verzoek van de site-eigenaar
Bingbot	Microsoft	Zoekindex	Bing-index die ook Copilot en generatief zoeken in Bing aandrijft
msnbot / MSNBot-Media	Microsoft	Zoekindex	Verouderde Bing/MSN-crawler die op sommige sites nog voorkomt
GrokBot	xAI	Training	Crawlertoken van Grok/xAI
meta-externalagent	Meta	Training	Meta AI-training en externe agent
Meta-ExternalFetcher	Meta	Assistent-ophaal	Meta-ophaler op verzoek van de gebruiker
FacebookBot	Meta	Training	Crawler van Meta AI en Facebook
Applebot	Apple	Zoekindex	Crawler voor Apple-zoeken, Siri en Spotlight-suggesties
Applebot-Extended	Apple	Training	Beheer van datagebruik voor generatieve AI van Apple
Amazonbot	Amazon	Zoekindex	Amazon-crawler die Alexa en Amazon AI-antwoorden aandrijft
MistralAI-User	Mistral AI	Assistent-ophaal	Ophalen op verzoek van de gebruiker voor Le Chat
cohere-ai	Cohere	Training	AI-crawlertoken
cohere-training-data-crawler	Cohere	Training	Crawlertoken voor trainingsdata
DuckAssistBot	DuckDuckGo	Assistent-ophaal	Haalt pagina's op om DuckAssist, de AI-antwoorden van DuckDuckGo, te gronden. Blokkeren verwijdert je content uit die antwoorden.
Bytespider	ByteDance	Training	AI- en zoekcrawler van ByteDance (Doubao)
Baiduspider	Baidu	Zoekindex	Zoek- en Ernie AI-crawler van Baidu
PetalBot	Huawei (Petal)	Zoekindex	Zoek- en AI-crawler van Huawei Petal
Sogou Spider	Sogou (Tencent)	Zoekindex	Zoek- en AI-crawler van Sogou
360Spider	Qihoo 360	Zoekindex	Zoek- en AI-crawler van Qihoo 360
YandexBot	Yandex	Zoekindex	Zoek- en YandexGPT-crawler van Yandex
CCBot	Common Crawl	Training	Crawler van het open webcorpus, breed gebruikt voor LLM-training
AI2Bot	Allen Institute for AI	Training	Crawler van open trainingsdata voor taalmodellen
YouBot	You.com	Zoekindex	AI-zoekcrawler van You.com
Diffbot	Diffbot	Overig	Crawler voor kennisgraaf en webzoeken
Diffbot-User	Diffbot	Assistent-ophaal	Diffbot-ophalen op verzoek van de gebruiker
Timpibot	Timpi	Zoekindex	Crawler voor gedecentraliseerd zoeken en AI-data
Omgilibot (Webz.io)	Webz.io	Training	Webdatafeeds gebruikt voor AI-trainingsdatasets
ImagesiftBot	ImageSift	Overig	Op afbeeldingen gerichte AI-crawler
VelenPublicWebCrawler	Velen	Overig	Openbare webcrawler die AI-trainingsdata verzamelt

voordat je blokkeert

Zie welke AI-bots je site al bezoeken

Citlyze registreert AI-crawlerbezoeken aan serverzijde: welke bots kwamen, wat ze ophaalden en hoe vaak. Bepaal je robots.txt-beleid op basis van data in plaats van giswerk.

Start een Brand Starter-proefperiode van 14 dagen zonder creditcard Demo boeken

FAQ

AI-crawlers en robots.txt, uitgelegd

Wil je een demo van Citlyze? Demo boeken

Gebruik de preset training blokkeren, zoeken toestaan: die weigert GPTBot (training) terwijl OAI-SearchBot (de zoekindex) en ChatGPT-User (pagina's lezen op verzoek) toegestaan blijven. OpenAI documenteert deze als aparte tokens juist zodat sites die splitsing kunnen maken.

Raadt AI jou aan wanneer kopers vragen?

Volg hoe ChatGPT, Gemini, Perplexity, DeepSeek, ByteDance en Grok je merk noemen, citeren en rangschikken. Lees gevolgde antwoorden terug en zie de gaten die je kunt dichten.

Gratis proberen Demo boeken

Geen creditcard nodig