Les entreprises d'IA respecteront-elles mon robots.txt ?

Les grands opérateurs, dont OpenAI, Anthropic, Google, Microsoft, Apple et Perplexity, documentent leurs user-agents et déclarent respecter les directives robots.txt. Les plus petits courtiers de données varient. Pour les bots qui ignorent le fichier, le blocage se fait au niveau serveur ou CDN, pas dans robots.txt.

Cela remplace-t-il mon robots.txt existant ?

Non. Le fichier généré ne couvre que les robots d'IA. Fusionnez ses règles dans votre robots.txt existant, en gardant votre ligne sitemap actuelle et toutes vos règles non liées à l'IA inchangées.

Dois-je bloquer Common Crawl (CCBot) ?

CCBot alimente un jeu de données ouvert utilisé pour entraîner de nombreux modèles ; le bloquer est donc l'opt-out d'entraînement le plus large possible en une seule action. Le compromis : ce même jeu de données sert aussi à la recherche et aux archives. Les sites qui veulent limiter l'entraînement des modèles ont tendance à le bloquer ; ceux qui optimisent leur portée le laissent ouvert.

Qu'advient-il des pages déjà explorées avant que je bloque un bot ?

robots.txt contrôle les récupérations futures. Le contenu déjà collecté ne disparaît pas des jeux de données existants ni des poids des modèles ; certains opérateurs proposent des procédures de suppression distinctes.

Générateur de robots.txt pour les robots d'IA

Décidez bot par bot quels systèmes d'IA peuvent lire votre site. Partez d'un préréglage, activez ou désactivez chaque robot, et copiez un robots.txt qui dit exactement ce que vous avez choisi. Fonctionne entièrement dans votre navigateur.

OpenAI

GPTBotEntraînement
ChatGPT-UserRécupération d'assistant
OAI-SearchBotIndex de recherche

Anthropic

ClaudeBotEntraînement
Claude-UserRécupération d'assistant
Claude-SearchBotIndex de recherche
anthropic-aiEntraînement
Claude-WebEntraînement

Perplexity

PerplexityBotIndex de recherche
Perplexity-UserRécupération d'assistant

Google

GoogleOtherAutre
Google-ExtendedEntraînement
Google-CloudVertexBotAutre

Microsoft

BingbotIndex de recherche
msnbot / MSNBot-MediaIndex de recherche

xAI

GrokBotEntraînement

Votre robots.txt

# AI crawler rules generated with citlyze.com/free-tools/ai-robots-txt-generator

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Google-Extended
Disallow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: bingbot
Allow: /

User-agent: msnbot
User-agent: MSNBot-Media
Allow: /

User-agent: GrokBot
Disallow: /

User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Allow: /

User-agent: MistralAI-User
User-agent: MistralAI-User/1.0
Allow: /

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

User-agent: DuckAssistBot
Allow: /

User-agent: Bytespider
User-agent: ByteSpider
Disallow: /

User-agent: Baiduspider
User-agent: Baiduspider-render
Allow: /

User-agent: PetalBot
Allow: /

User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou
Allow: /

User-agent: 360Spider
User-agent: HaoSouSpider
Allow: /

User-agent: YandexBot
User-agent: YandexAdditional
Allow: /

User-agent: CCBot
Disallow: /

User-agent: AI2Bot
User-agent: AI2Bot-Dolma
Disallow: /

User-agent: YouBot
Allow: /

User-agent: Diffbot
Allow: /

User-agent: Diffbot-User
Allow: /

User-agent: Timpibot
Allow: /

User-agent: Omgilibot
User-agent: Omgili
User-agent: omgilibot
Disallow: /

User-agent: ImagesiftBot
Allow: /

User-agent: VelenPublicWebCrawler
Allow: /

# À fusionner avec votre robots.txt existant ; ce fichier ne couvre que les robots d'IA.

Fusionnez ces règles dans le robots.txt à la racine de votre domaine. Conservez votre ligne sitemap existante et vos règles non liées à l'IA.

comment ça marche

Trois décisions, un fichier

Choisissez un point de départ

Tout autoriser, bloquer uniquement les robots d'entraînement, ou bloquer tous les robots d'IA. Les préréglages traduisent les trois positions les plus courantes.

Ajustez chaque robot

Chaque robot est étiqueté selon ce qu'il fait : entraînement de modèles, indexation pour la recherche, ou récupération à la demande pour les assistants. Activez ou désactivez-les ; le fichier se met à jour en direct.

Publiez votre robots.txt

Copiez ou téléchargez le résultat et fusionnez-le dans le robots.txt à la racine de votre domaine. Vos règles non liées à l'IA restent inchangées ; ce fichier ne couvre que les robots d'IA.

Entraînement, recherche ou assistant : pourquoi la catégorie compte

Bloquer un robot d'entraînement comme GPTBot n'affecte que ce que les futurs modèles apprennent ; votre site continue d'apparaître dans les réponses de recherche IA. Bloquer un indexeur de recherche comme OAI-SearchBot ou un récupérateur d'assistant comme ChatGPT-User vous retire des réponses en direct et de la lecture de liens. La plupart des sites qui bloquent quelque chose bloquent l'entraînement et conservent la recherche, ce que fait précisément le préréglage intermédiaire.

Ce que robots.txt peut et ne peut pas faire

robots.txt est une requête publiée, pas un mécanisme de contrainte. Les grands opérateurs listés ici documentent leurs tokens et les respectent généralement ; un robot qui ignore robots.txt nécessite un blocage côté serveur. Le générateur indique l'opérateur de chaque bot pour que vous sachiez à qui vous vous adressez.

Bloquer l'IA est un arbitrage, pas un réflexe

Si les réponses IA deviennent un canal de découverte pour votre marché, bloquer tous les robots vous rend invisible précisément là où les acheteurs posent leurs questions. La façon honnête de décider est de mesurer : voyez quels robots d'IA vous visitent déjà, et si les moteurs d'IA citent vos pages, avant de couper quoi que ce soit.

l'annuaire des bots

Chaque robot d'IA de ce générateur

Qui exploite chaque bot, et s'il collecte pour l'entraînement de modèles, construit un index de recherche ou récupère des pages à la demande pour un assistant.

Bot	Opérateur	Catégorie	Ce qu'il fait
GPTBot	OpenAI	Entraînement	Robot d'exploration pour l'entraînement de modèles de fondation
ChatGPT-User	OpenAI	Récupération d'assistant	Navigation et actions déclenchées par l'utilisateur
OAI-SearchBot	OpenAI	Index de recherche	Indexation et récupération pour la recherche ChatGPT
ClaudeBot	Anthropic	Entraînement	Robot d'entraînement de Claude
Claude-User	Anthropic	Récupération d'assistant	Récupération déclenchée par l'utilisateur
Claude-SearchBot	Anthropic	Index de recherche	Indexation pour la recherche Claude
anthropic-ai	Anthropic	Entraînement	Token Anthropic hérité ou de compatibilité
Claude-Web	Anthropic	Entraînement	Ancien token robots.txt d'Anthropic issu des premières explorations de Claude. Conservé par souci d'exhaustivité ; l'exploration actuelle utilise ClaudeBot.
PerplexityBot	Perplexity	Index de recherche	Index de recherche Perplexity
Perplexity-User	Perplexity	Récupération d'assistant	Récupération déclenchée par l'utilisateur
GoogleOther	Google	Autre	Robot Google générique pour le contenu public
Google-Extended	Google	Entraînement	Contrôle de l'usage pour l'entraînement et l'ancrage du modèle Gemini
Google-CloudVertexBot	Google	Autre	Robot d'agent Vertex AI pour le contenu génératif demandé par le propriétaire du site
Bingbot	Microsoft	Index de recherche	Index Bing qui alimente aussi Copilot et la recherche générative Bing
msnbot / MSNBot-Media	Microsoft	Index de recherche	Ancien robot Bing/MSN encore observé sur certains sites
GrokBot	xAI	Entraînement	Token du robot Grok/xAI
meta-externalagent	Meta	Entraînement	Entraînement Meta AI et agent externe
Meta-ExternalFetcher	Meta	Récupération d'assistant	Récupérateur Meta déclenché par l'utilisateur
FacebookBot	Meta	Entraînement	Robot Meta AI et Facebook
Applebot	Apple	Index de recherche	Robot pour la recherche Apple, Siri et les suggestions Spotlight
Applebot-Extended	Apple	Entraînement	Contrôle de l'usage des données pour l'IA générative d'Apple
Amazonbot	Amazon	Index de recherche	Robot Amazon alimentant Alexa et les réponses IA d'Amazon
MistralAI-User	Mistral AI	Récupération d'assistant	Récupération déclenchée par l'utilisateur pour Le Chat
cohere-ai	Cohere	Entraînement	Token de robot d'IA
cohere-training-data-crawler	Cohere	Entraînement	Token de robot de données d'entraînement
DuckAssistBot	DuckDuckGo	Récupération d'assistant	Récupère des pages pour ancrer DuckAssist, les réponses IA de DuckDuckGo. Le bloquer retire votre contenu de ces réponses.
Bytespider	ByteDance	Entraînement	Robot d'IA et de recherche de ByteDance (Doubao)
Baiduspider	Baidu	Index de recherche	Robot de recherche Baidu et d'IA Ernie
PetalBot	Huawei (Petal)	Index de recherche	Robot de recherche et d'IA Huawei Petal
Sogou Spider	Sogou (Tencent)	Index de recherche	Robot de recherche et d'IA Sogou
360Spider	Qihoo 360	Index de recherche	Robot de recherche et d'IA Qihoo 360
YandexBot	Yandex	Index de recherche	Robot de recherche Yandex et YandexGPT
CCBot	Common Crawl	Entraînement	Robot d'exploration du web ouvert largement utilisé pour l'entraînement des LLM
AI2Bot	Allen Institute for AI	Entraînement	Robot de données d'entraînement de modèles de langage ouverts
YouBot	You.com	Index de recherche	Robot de recherche IA You.com
Diffbot	Diffbot	Autre	Robot de graphe de connaissances et de recherche web
Diffbot-User	Diffbot	Récupération d'assistant	Récupération Diffbot déclenchée par l'utilisateur
Timpibot	Timpi	Index de recherche	Robot de recherche décentralisée et de données IA
Omgilibot (Webz.io)	Webz.io	Entraînement	Flux de données web utilisés pour les jeux de données d'entraînement IA
ImagesiftBot	ImageSift	Autre	Robot d'IA orienté image
VelenPublicWebCrawler	Velen	Autre	Robot d'exploration du web public agrégeant des données d'entraînement IA

avant de bloquer

Voyez quels robots d'IA visitent déjà votre site

Citlyze enregistre les visites des robots d'IA côté serveur : quels bots sont venus, ce qu'ils ont récupéré et à quelle fréquence. Décidez votre politique de robots.txt à partir de données plutôt que d'hypothèses.

Démarrez un essai Brand Starter de 14 jours, sans carte bancaire Réserver une démo

FAQ

Robots d'IA et robots.txt, expliqués

Envie d'une démo de Citlyze ? Réserver une démo

Utilisez le préréglage bloquer l'entraînement, autoriser la recherche : il interdit GPTBot (entraînement) tout en laissant OAI-SearchBot (l'index de recherche) et ChatGPT-User (lecture de page à la demande) autorisés. OpenAI documente ces tokens séparément précisément pour permettre cette distinction.

L'IA vous recommande-t-elle quand les acheteurs demandent ?

Suivez comment ChatGPT, Gemini, Perplexity, DeepSeek, ByteDance et Grok mentionnent, citent et classent votre marque. Consultez les réponses suivies et les écarts à combler.

Essai gratuit Réserver une démo

Sans carte bancaire