Les entreprises d'IA respecteront-elles mon robots.txt ?

Les grands opérateurs, dont OpenAI, Anthropic, Google, Microsoft, Apple et Perplexity, documentent leurs user agents et déclarent respecter les directives du robots.txt. Chez les petits courtiers de données, c'est variable. Pour les robots qui ignorent le fichier, le blocage se fait au niveau du serveur ou du CDN, pas dans le robots.txt.

Cela remplace-t-il mon robots.txt existant ?

Non. Le fichier généré ne couvre que les robots d'IA. Fusionnez ses règles dans votre robots.txt existant, en gardant votre ligne sitemap actuelle et toutes vos règles non liées à l'IA inchangées.

Dois-je bloquer Common Crawl (CCBot) ?

CCBot alimente un jeu de données ouvert utilisé pour entraîner de nombreux modèles : le bloquer est donc le moyen le plus large de refuser l'entraînement en une seule règle. Le revers : ce même jeu de données sert aussi à la recherche et à l'archivage. Les sites qui veulent limiter l'entraînement des modèles ont tendance à le bloquer ; ceux qui misent sur la portée le laissent ouvert.

Qu'advient-il des pages déjà explorées avant que je bloque un robot ?

robots.txt contrôle les récupérations futures. Le contenu déjà collecté ne disparaît pas des jeux de données existants ni des poids des modèles ; certains opérateurs proposent des procédures de suppression distinctes.

Générateur de robots.txt IA

Générateur de robots.txt pour les crawlers IA

Décidez robot par robot quels systèmes d'IA peuvent lire votre site. Partez d'un préréglage, activez ou désactivez chaque crawler, et copiez un robots.txt qui reflète exactement vos choix. Tout se passe dans votre navigateur.

OpenAI

GPTBotEntraînement
ChatGPT-UserConsultation par assistant
OAI-SearchBotIndex de recherche

Anthropic

ClaudeBotEntraînement
Claude-UserConsultation par assistant
Claude-SearchBotIndex de recherche
anthropic-aiEntraînement
Claude-WebEntraînement

Perplexity

PerplexityBotIndex de recherche
Perplexity-UserConsultation par assistant

Google

GooglebotIndex de recherche
GoogleOtherAutre
Google-ExtendedEntraînement
Google-CloudVertexBotAutre

Microsoft

BingbotIndex de recherche
msnbot / MSNBot-MediaIndex de recherche

xAI

GrokBotEntraînement

Votre robots.txt

# AI crawler rules generated with citlyze.com/free-tools/ai-robots-txt-generator

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Googlebot
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Google-Extended
Disallow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: bingbot
Allow: /

User-agent: msnbot
User-agent: MSNBot-Media
Allow: /

User-agent: GrokBot
Disallow: /

User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Allow: /

User-agent: MistralAI-User
User-agent: MistralAI-User/1.0
Allow: /

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

User-agent: DuckAssistBot
Allow: /

User-agent: Bytespider
User-agent: ByteSpider
Disallow: /

User-agent: Baiduspider
User-agent: Baiduspider-render
Allow: /

User-agent: PetalBot
Allow: /

User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou
Allow: /

User-agent: 360Spider
User-agent: HaoSouSpider
Allow: /

User-agent: YandexBot
User-agent: YandexAdditional
Allow: /

User-agent: CCBot
Disallow: /

User-agent: atlassian-bot
Allow: /

User-agent: AI2Bot
User-agent: AI2Bot-Dolma
Disallow: /

User-agent: YouBot
Allow: /

User-agent: Diffbot
Allow: /

User-agent: Diffbot-User
Allow: /

User-agent: Timpibot
Allow: /

User-agent: Omgilibot
User-agent: Omgili
User-agent: omgilibot
Disallow: /

User-agent: ImagesiftBot
Allow: /

User-agent: VelenPublicWebCrawler
Allow: /

User-agent: Yeti/
Allow: /

# À fusionner avec votre robots.txt existant ; ce fichier ne couvre que les robots d'IA.

Fusionnez ces règles dans le robots.txt à la racine de votre domaine. Conservez votre ligne sitemap existante et vos règles non liées à l'IA.

Comment ça marche

Trois décisions, un fichier

Choisissez un point de départ

Tout autoriser, bloquer uniquement les robots d'entraînement, ou bloquer tous les robots d'IA. Les préréglages traduisent les trois positions les plus courantes.

Ajustez chaque robot

Chaque robot est étiqueté selon ce qu'il fait : entraînement de modèles, indexation pour la recherche, ou récupération à la demande pour les assistants. Activez ou désactivez-les ; le fichier se met à jour en direct.

Publiez votre robots.txt

Copiez ou téléchargez le résultat et fusionnez-le dans le robots.txt à la racine de votre domaine. Vos règles non liées à l'IA restent inchangées ; ce fichier ne couvre que les robots d'IA.

Entraînement, recherche ou assistant : pourquoi la catégorie compte

Bloquer un robot d'entraînement comme GPTBot n'affecte que ce que les futurs modèles apprennent : votre site continue d'apparaître dans les réponses de recherche IA. Bloquer un robot d'indexation comme OAI-SearchBot ou un robot de consultation comme ChatGPT-User vous retire des réponses en direct et des pages lues à la demande. La plupart des sites qui bloquent quelque chose bloquent l'entraînement et gardent la recherche, ce que fait précisément le préréglage intermédiaire.

Ce que robots.txt peut et ne peut pas faire

Le robots.txt est une demande publique, pas un moyen de contrainte. Les grands opérateurs listés ici documentent leurs identifiants et les respectent en général ; un robot qui ignore le robots.txt doit être bloqué côté serveur. Le générateur indique l'opérateur de chaque robot pour que vous sachiez à qui vous vous adressez.

Bloquer l'IA est un arbitrage

Si les réponses IA deviennent un canal de découverte pour votre marché, bloquer tous les robots vous rend invisible précisément là où les acheteurs posent leurs questions. Décidez en mesurant : voyez quels robots d'IA vous visitent déjà, et si les moteurs d'IA citent vos pages, avant de couper quoi que ce soit.

L'annuaire des robots

Tous les crawlers IA de ce générateur

Qui exploite chaque robot, et s'il collecte des données pour l'entraînement de modèles, construit un index de recherche ou récupère des pages à la demande pour un assistant.

Robot	Opérateur	Catégorie	Ce qu'il fait
GPTBot	OpenAI	Entraînement	Robot d'exploration pour l'entraînement de modèles de fondation
ChatGPT-User	OpenAI	Consultation par assistant	Navigation et actions déclenchées par l'utilisateur
OAI-SearchBot	OpenAI	Index de recherche	Indexation et récupération pour la recherche ChatGPT
ClaudeBot	Anthropic	Entraînement	Robot d'entraînement de Claude
Claude-User	Anthropic	Consultation par assistant	Récupération déclenchée par l'utilisateur
Claude-SearchBot	Anthropic	Index de recherche	Indexation pour la recherche Claude
anthropic-ai	Anthropic	Entraînement	Ancien jeton Anthropic, conservé pour compatibilité
Claude-Web	Anthropic	Entraînement	Ancien jeton robots.txt d'Anthropic, hérité des premières explorations de Claude. Conservé par souci d'exhaustivité ; l'exploration actuelle passe par ClaudeBot.
PerplexityBot	Perplexity	Index de recherche	Index de recherche Perplexity
Perplexity-User	Perplexity	Consultation par assistant	Récupération déclenchée par l'utilisateur
Googlebot	Google	Index de recherche	Robot d'exploration et d'indexation partagé de Google Search
GoogleOther	Google	Autre	Robot Google générique pour le contenu public
Google-Extended	Google	Entraînement	Contrôle de l'usage pour l'entraînement et l'ancrage du modèle Gemini
Google-CloudVertexBot	Google	Autre	Robot d'agent Vertex AI pour le contenu génératif demandé par le propriétaire du site
Bingbot	Microsoft	Index de recherche	Index Bing qui alimente aussi Copilot et la recherche générative Bing
msnbot / MSNBot-Media	Microsoft	Index de recherche	Ancien robot Bing/MSN encore observé sur certains sites
GrokBot	xAI	Entraînement	Jeton du robot Grok/xAI
meta-externalagent	Meta	Entraînement	Entraînement Meta AI et agent externe
Meta-ExternalFetcher	Meta	Consultation par assistant	Récupérateur Meta déclenché par l'utilisateur
FacebookBot	Meta	Entraînement	Robot Meta AI et Facebook
Applebot	Apple	Index de recherche	Robot pour la recherche Apple, Siri et les suggestions Spotlight
Applebot-Extended	Apple	Entraînement	Contrôle de l'usage des données pour l'IA générative d'Apple
Amazonbot	Amazon	Index de recherche	Robot Amazon alimentant Alexa et les réponses IA d'Amazon
MistralAI-User	Mistral AI	Consultation par assistant	Récupération déclenchée par l'utilisateur pour Le Chat
cohere-ai	Cohere	Entraînement	Jeton de robot d'IA
cohere-training-data-crawler	Cohere	Entraînement	Jeton de robot de collecte pour l'entraînement
DuckAssistBot	DuckDuckGo	Consultation par assistant	Récupère des pages pour alimenter DuckAssist, les réponses IA de DuckDuckGo. Le bloquer retire votre contenu de ces réponses.
Bytespider	ByteDance	Entraînement	Robot d'IA et de recherche de ByteDance (Doubao)
Baiduspider	Baidu	Index de recherche	Robot de recherche Baidu et d'IA Ernie
PetalBot	Huawei (Petal)	Index de recherche	Robot de recherche et d'IA Huawei Petal
Sogou Spider	Sogou (Tencent)	Index de recherche	Robot de recherche et d'IA Sogou
360Spider	Qihoo 360	Index de recherche	Robot de recherche et d'IA Qihoo 360
YandexBot	Yandex	Index de recherche	Robot de recherche Yandex et YandexGPT
CCBot	Common Crawl	Entraînement	Robot d'exploration du web ouvert largement utilisé pour l'entraînement des LLM
Atlassian Rovo crawler	Atlassian	Index de recherche	Indexe les sites connectés pour Atlassian Rovo et Teamwork Graph
AI2Bot	Allen Institute for AI	Entraînement	Robot de données d'entraînement de modèles de langage ouverts
YouBot	You.com	Index de recherche	Robot de recherche IA You.com
Diffbot	Diffbot	Autre	Robot de graphe de connaissances et de recherche web
Diffbot-User	Diffbot	Consultation par assistant	Récupération Diffbot déclenchée par l'utilisateur
Timpibot	Timpi	Index de recherche	Robot de recherche décentralisée et de données IA
Omgilibot (Webz.io)	Webz.io	Entraînement	Flux de données web utilisés pour les jeux de données d'entraînement IA
ImagesiftBot	ImageSift	Autre	Robot d'IA orienté image
VelenPublicWebCrawler	Velen	Autre	Robot d'exploration du web public agrégeant des données d'entraînement IA
Yeti	Naver	Index de recherche	Robot de recherche de Naver, dont l'index alimente aussi ses réponses IA Cue:

Avant de bloquer

Voyez quels robots d'IA visitent déjà votre site

Citlyze enregistre les visites des crawlers IA côté serveur : quels robots sont venus, ce qu'ils ont récupéré et à quelle fréquence. Définissez vos règles robots.txt à partir de données plutôt que d'hypothèses.

Démarrer l'essai de 14 jours Réserver une démo

FAQ

Crawlers IA et robots.txt, expliqués

Envie d'une démo de Citlyze ? Réserver une démo

Utilisez le préréglage « Bloquer l'entraînement, autoriser la recherche » : il interdit GPTBot (entraînement) tout en autorisant OAI-SearchBot (l'index de recherche) et ChatGPT-User (lecture de pages à la demande). OpenAI documente ces identifiants séparément précisément pour permettre cette distinction.

L'IA vous recommande-t-elle quand vos acheteurs posent la question ?

Suivez comment ChatGPT, Gemini, Perplexity, DeepSeek, ByteDance, Grok, Google AI Overview & AI Mode et Bing Copilot mentionnent, citent et classent votre marque. Consultez les réponses suivies et les écarts à combler.

Essai gratuit Réserver une démo

Sans carte bancaire

Une responsable marketing lisant une réponse IA sur un ordinateur portable près d'une fenêtre