Robots.txt-generator voor AI-crawlers
Bepaal per bot welke AI-systemen je site mogen lezen. Begin met een preset, pas losse crawlers aan en kopieer een robots.txt die precies zegt wat je hebt gekozen. Draait volledig in je browser.
OpenAI
- GPTBotTraining
- ChatGPT-UserOphalen voor assistent
- OAI-SearchBotZoekindex
Anthropic
- ClaudeBotTraining
- Claude-UserOphalen voor assistent
- Claude-SearchBotZoekindex
- anthropic-aiTraining
- Claude-WebTraining
Perplexity
- PerplexityBotZoekindex
- Perplexity-UserOphalen voor assistent
Google
- GooglebotZoekindex
- GoogleOtherOverig
- Google-ExtendedTraining
- Google-CloudVertexBotOverig
Microsoft
- BingbotZoekindex
- msnbot / MSNBot-MediaZoekindex
xAI
- GrokBotTraining
Meta
- meta-externalagentTraining
- Meta-ExternalFetcherOphalen voor assistent
- FacebookBotTraining
Apple
- ApplebotZoekindex
- Applebot-ExtendedTraining
- AmazonbotZoekindex
Mistral AI
- MistralAI-UserOphalen voor assistent
Cohere
- cohere-aiTraining
- cohere-training-data-crawlerTraining
DuckDuckGo
- DuckAssistBotOphalen voor assistent
ByteDance
- BytespiderTraining
Baidu
- BaiduspiderZoekindex
Huawei (Petal)
- PetalBotZoekindex
Sogou (Tencent)
- Sogou SpiderZoekindex
Qihoo 360
- 360SpiderZoekindex
Yandex
- YandexBotZoekindex
Common Crawl
- CCBotTraining
Atlassian
- Atlassian Rovo crawlerZoekindex
Allen Institute for AI
- AI2BotTraining
You.com
- YouBotZoekindex
Diffbot
- DiffbotOverig
- Diffbot-UserOphalen voor assistent
Timpi
- TimpibotZoekindex
Webz.io
- Omgilibot (Webz.io)Training
ImageSift
- ImagesiftBotOverig
Velen
- VelenPublicWebCrawlerOverig
Naver
- YetiZoekindex
Je robots.txt
# AI crawler rules generated with citlyze.com/free-tools/ai-robots-txt-generator User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ClaudeBot Disallow: / User-agent: Claude-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: anthropic-ai Disallow: / User-agent: Claude-Web Disallow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Googlebot Allow: / User-agent: GoogleOther Allow: / User-agent: Google-Extended Disallow: / User-agent: Google-CloudVertexBot Allow: / User-agent: bingbot Allow: / User-agent: msnbot User-agent: MSNBot-Media Allow: / User-agent: GrokBot Disallow: / User-agent: meta-externalagent User-agent: Meta-ExternalAgent Disallow: / User-agent: Meta-ExternalFetcher Allow: / User-agent: FacebookBot Disallow: / User-agent: Applebot Allow: / User-agent: Applebot-Extended Disallow: / User-agent: Amazonbot Allow: / User-agent: MistralAI-User User-agent: MistralAI-User/1.0 Allow: / User-agent: cohere-ai Disallow: / User-agent: cohere-training-data-crawler Disallow: / User-agent: DuckAssistBot Allow: / User-agent: Bytespider User-agent: ByteSpider Disallow: / User-agent: Baiduspider User-agent: Baiduspider-render Allow: / User-agent: PetalBot Allow: / User-agent: Sogou web spider User-agent: Sogou inst spider User-agent: Sogou Allow: / User-agent: 360Spider User-agent: HaoSouSpider Allow: / User-agent: YandexBot User-agent: YandexAdditional Allow: / User-agent: CCBot Disallow: / User-agent: atlassian-bot Allow: / User-agent: AI2Bot User-agent: AI2Bot-Dolma Disallow: / User-agent: YouBot Allow: / User-agent: Diffbot Allow: / User-agent: Diffbot-User Allow: / User-agent: Timpibot Allow: / User-agent: Omgilibot User-agent: Omgili User-agent: omgilibot Disallow: / User-agent: ImagesiftBot Allow: / User-agent: VelenPublicWebCrawler Allow: / User-agent: Yeti/ Allow: / # Samenvoegen met je bestaande robots.txt; dit bestand dekt alleen AI-crawlers.
Voeg deze regels samen met de robots.txt in de root van je domein. Behoud je bestaande sitemap-regel en niet-AI-regels.
Drie beslissingen, één bestand
Kies een startpunt
Alles toestaan, alleen trainingscrawlers blokkeren, of alle AI-bots blokkeren. De presets vatten de drie posities samen die de meeste sites innemen.
Pas losse bots aan
Elke crawler heeft een label voor wat hij doet: modeltraining, zoekindexering of ophalen op verzoek voor assistenten. Pas er een aan en het bestand wordt direct bijgewerkt.
Publiceer je robots.txt
Kopieer of download het resultaat en voeg het samen met de robots.txt in de root van je domein. Je bestaande regels voor andere bots blijven ongewijzigd; dit bestand gaat alleen over AI-crawlers.
Training, zoeken of assistent: waarom de categorie belangrijk is
Een trainingscrawler als GPTBot blokkeren heeft alleen invloed op wat toekomstige modellen leren; je site blijft gewoon verschijnen in AI-zoekantwoorden. Blokkeer je een zoekindexeerder als OAI-SearchBot of een ophaler voor assistenten als ChatGPT-User, dan verdwijn je uit live antwoorden en worden je links niet meer gelezen. De meeste sites die iets blokkeren, blokkeren training en laten zoeken toe, en dat is precies wat de middelste preset doet.
Wat robots.txt wel en niet kan
robots.txt is een gepubliceerd verzoek, geen handhavingsmechanisme. De grote aanbieders die hier staan, documenteren hun tokens en houden zich er doorgaans aan; een crawler die robots.txt negeert, moet je op de server blokkeren. De generator vermeldt de aanbieder van elke bot, zodat je weet wie je aanspreekt.
AI blokkeren is een afweging
Als AI-antwoorden een ontdekkingskanaal worden voor jouw markt, maakt het blokkeren van elke bot je onzichtbaar precies daar waar kopers vragen stellen. Beslis op basis van metingen: kijk welke AI-crawlers je al bezoeken, en of AI-engines je pagina's citeren, voordat je iets uitzet.
Elke AI-crawler in deze generator
Wie elke bot beheert, en of hij verzamelt voor modeltraining, een zoekindex bouwt of pagina's op verzoek ophaalt voor een assistent.
| Bot | Aanbieder | Categorie | Wat hij doet |
|---|---|---|---|
| GPTBot | Training | Crawler voor training van foundation models | |
| ChatGPT-User | Ophalen voor assistent | Browsen en acties op verzoek van de gebruiker | |
| OAI-SearchBot | Zoekindex | Zoekindexering en ophalen voor ChatGPT | |
| ClaudeBot | Training | Trainingscrawler voor Claude | |
| Claude-User | Ophalen voor assistent | Ophalen op verzoek van de gebruiker | |
| Claude-SearchBot | Zoekindex | Zoekindexering voor Claude | |
| anthropic-ai | Training | Verouderd token of compatibiliteitstoken van Anthropic | |
| Claude-Web | Training | Verouderd robots.txt-token van Anthropic uit de tijd dat Claude op een eerdere manier crawlde. Opgenomen voor de volledigheid; voor het huidige crawlen gebruikt Anthropic ClaudeBot. | |
| PerplexityBot | Zoekindex | Zoekindex van Perplexity | |
| Perplexity-User | Ophalen voor assistent | Ophalen op verzoek van de gebruiker | |
| Googlebot | Zoekindex | Gedeelde crawler en indexeerder van Google Zoeken | |
| GoogleOther | Overig | Generieke Google-crawler voor openbare content | |
| Google-Extended | Training | Toestemming voor training en grounding van Gemini | |
| Google-CloudVertexBot | Overig | Vertex AI-agentcrawler voor generatieve content op verzoek van de site-eigenaar | |
| Bingbot | Zoekindex | Bing-index die ook Copilot en generatief zoeken in Bing aandrijft | |
| msnbot / MSNBot-Media | Zoekindex | Verouderde Bing/MSN-crawler die op sommige sites nog voorkomt | |
| GrokBot | Training | Crawlertoken van Grok/xAI | |
| meta-externalagent | Training | Meta AI-training en externe agent | |
| Meta-ExternalFetcher | Ophalen voor assistent | Meta-ophaler op verzoek van de gebruiker | |
| FacebookBot | Training | Crawler van Meta AI en Facebook | |
| Applebot | Zoekindex | Crawler voor Apple-zoeken, Siri en Spotlight-suggesties | |
| Applebot-Extended | Training | Beheer van datagebruik voor generatieve AI van Apple | |
| Amazonbot | Amazon | Zoekindex | Amazon-crawler achter Alexa en de AI-antwoorden van Amazon |
| MistralAI-User | Ophalen voor assistent | Ophalen op verzoek van de gebruiker voor Le Chat | |
| cohere-ai | Training | AI-crawlertoken | |
| cohere-training-data-crawler | Training | Crawlertoken voor trainingsdata | |
| DuckAssistBot | Ophalen voor assistent | Haalt pagina's op als basis voor DuckAssist, de AI-antwoorden van DuckDuckGo. Blokkeren haalt je content uit die antwoorden. | |
| Bytespider | Training | AI- en zoekcrawler van ByteDance (Doubao) | |
| Baiduspider | Zoekindex | Crawler van Baidu voor zoeken en Ernie AI | |
| PetalBot | Zoekindex | Zoek- en AI-crawler van Huawei Petal | |
| Sogou Spider | Zoekindex | Zoek- en AI-crawler van Sogou | |
| 360Spider | Zoekindex | Zoek- en AI-crawler van Qihoo 360 | |
| YandexBot | Zoekindex | Zoek- en YandexGPT-crawler van Yandex | |
| CCBot | Training | Crawler van het open webcorpus, breed gebruikt voor LLM-training | |
| Atlassian Rovo crawler | Zoekindex | Indexeert gekoppelde websites voor Atlassian Rovo en Teamwork Graph | |
| AI2Bot | Training | Crawler voor open trainingsdata voor taalmodellen | |
| YouBot | Zoekindex | AI-zoekcrawler van You.com | |
| Diffbot | Overig | Crawler voor kennisgraaf en webzoeken | |
| Diffbot-User | Ophalen voor assistent | Diffbot-ophalen op verzoek van de gebruiker | |
| Timpibot | Zoekindex | Crawler voor gedecentraliseerd zoeken en AI-data | |
| Omgilibot (Webz.io) | Training | Webdatafeeds gebruikt voor AI-trainingsdatasets | |
| ImagesiftBot | Overig | Op afbeeldingen gerichte AI-crawler | |
| VelenPublicWebCrawler | Overig | Openbare webcrawler die AI-trainingsdata verzamelt | |
| Yeti | Zoekindex | Zoekcrawler van Naver, waarvan de index ook de Cue:-AI-antwoorden voedt |
Bekijk welke AI-bots je site al bezoeken
Citlyze registreert AI-crawlerbezoeken aan serverzijde: welke bots kwamen, wat ze ophaalden en hoe vaak. Bepaal je robots.txt-beleid op basis van data in plaats van giswerk.
Gebruik de preset training blokkeren, zoeken toestaan: die sluit GPTBot (training) uit, terwijl OAI-SearchBot (de zoekindex) en ChatGPT-User (pagina's lezen op verzoek) toegestaan blijven. OpenAI documenteert dit als aparte tokens, juist zodat sites dat onderscheid kunnen maken.
Raadt AI jou aan als kopers ernaar vragen?
Volg hoe ChatGPT, Gemini, Perplexity, DeepSeek, ByteDance, Grok, Google AI Overview & AI Mode en Bing Copilot je merk noemen, citeren en rangschikken. Bekijk de gevolgde antwoorden en de gaten die je kunt dichten.
Geen creditcard nodig
