¿Respetarán las empresas de IA mi robots.txt?

Los grandes operadores (entre ellos OpenAI, Anthropic, Google, Microsoft, Apple y Perplexity) documentan sus user agents y declaran que respetan las directivas de robots.txt. Los intermediarios de datos más pequeños varían. Para los bots que ignoran el archivo, el bloqueo se hace en el servidor o en la CDN, no en robots.txt.

¿Esto reemplaza mi robots.txt actual?

No. El archivo generado solo cubre los rastreadores de IA. Combina sus reglas con tu robots.txt actual y deja sin cambios tu línea de sitemap y cualquier regla que no sea de IA.

¿Debería bloquear Common Crawl (CCBot)?

CCBot alimenta un conjunto de datos abierto que se usa para entrenar muchos modelos, así que bloquearlo es la forma más amplia de excluirte del entrenamiento con una sola regla. La contrapartida: ese mismo conjunto de datos también se usa en investigación y archivos. Los sitios que quieren limitar el entrenamiento de modelos suelen bloquearlo; los que buscan el máximo alcance lo dejan abierto.

¿Qué pasa con las páginas ya rastreadas antes de bloquear un bot?

robots.txt controla los rastreos futuros. El contenido ya recopilado no desaparece de los conjuntos de datos existentes ni de los pesos de los modelos; algunos operadores ofrecen procesos de eliminación aparte.

Generador de robots.txt para IA

Generador de robots.txt para rastreadores de IA

Decide bot por bot qué sistemas de IA pueden leer tu sitio. Parte de un ajuste predefinido, cambia rastreadores concretos y copia un robots.txt que diga exactamente lo que has elegido. Todo funciona en tu navegador.

OpenAI

GPTBotEntrenamiento
ChatGPT-UserLectura para asistentes
OAI-SearchBotÍndice de búsqueda

Anthropic

ClaudeBotEntrenamiento
Claude-UserLectura para asistentes
Claude-SearchBotÍndice de búsqueda
anthropic-aiEntrenamiento
Claude-WebEntrenamiento

Perplexity

PerplexityBotÍndice de búsqueda
Perplexity-UserLectura para asistentes

Google

GooglebotÍndice de búsqueda
GoogleOtherOtros
Google-ExtendedEntrenamiento
Google-CloudVertexBotOtros

Microsoft

BingbotÍndice de búsqueda
msnbot / MSNBot-MediaÍndice de búsqueda

xAI

GrokBotEntrenamiento

Tu robots.txt

# AI crawler rules generated with citlyze.com/free-tools/ai-robots-txt-generator

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Googlebot
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Google-Extended
Disallow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: bingbot
Allow: /

User-agent: msnbot
User-agent: MSNBot-Media
Allow: /

User-agent: GrokBot
Disallow: /

User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Allow: /

User-agent: MistralAI-User
User-agent: MistralAI-User/1.0
Allow: /

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

User-agent: DuckAssistBot
Allow: /

User-agent: Bytespider
User-agent: ByteSpider
Disallow: /

User-agent: Baiduspider
User-agent: Baiduspider-render
Allow: /

User-agent: PetalBot
Allow: /

User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou
Allow: /

User-agent: 360Spider
User-agent: HaoSouSpider
Allow: /

User-agent: YandexBot
User-agent: YandexAdditional
Allow: /

User-agent: CCBot
Disallow: /

User-agent: atlassian-bot
Allow: /

User-agent: AI2Bot
User-agent: AI2Bot-Dolma
Disallow: /

User-agent: YouBot
Allow: /

User-agent: Diffbot
Allow: /

User-agent: Diffbot-User
Allow: /

User-agent: Timpibot
Allow: /

User-agent: Omgilibot
User-agent: Omgili
User-agent: omgilibot
Disallow: /

User-agent: ImagesiftBot
Allow: /

User-agent: VelenPublicWebCrawler
Allow: /

User-agent: Yeti/
Allow: /

# Combínalo con tu robots.txt actual; este archivo solo cubre los rastreadores de IA.

Combina estas reglas con el robots.txt de la raíz de tu dominio. Mantén tu línea de sitemap y tus reglas que no son de IA.

Cómo funciona

Tres decisiones, un archivo

Elige un punto de partida

Permite todo, bloquea solo los rastreadores de entrenamiento o bloquea todos los bots de IA. Los ajustes predefinidos recogen las tres posturas que adopta la mayoría de los sitios.

Ajusta bots individuales

Cada rastreador está etiquetado según lo que hace: entrenamiento de modelos, indexación para búsqueda o obtención bajo demanda para asistentes. Cambia cualquiera de ellos; el archivo se actualiza en vivo.

Publica tu robots.txt

Copia o descarga el resultado y combínalo con el robots.txt de la raíz de tu dominio. Tus reglas que no son de IA no cambian; este archivo solo cubre los rastreadores de IA.

Entrenamiento, búsqueda o asistente: por qué importa la categoría

Bloquear un rastreador de entrenamiento como GPTBot solo afecta a lo que aprenderán los modelos futuros; tu sitio sigue apareciendo en las respuestas de la búsqueda con IA. Bloquear un indexador de búsqueda como OAI-SearchBot o un bot que lee páginas para un asistente, como ChatGPT-User, te elimina de las respuestas en directo y de la lectura de enlaces. La mayoría de los sitios que bloquean algo bloquean el entrenamiento y mantienen la búsqueda, que es justo lo que hace el ajuste predefinido intermedio.

Lo que robots.txt puede y no puede hacer

robots.txt es una petición publicada, no un mecanismo de control. Los grandes operadores que aparecen aquí documentan sus tokens y por lo general los respetan; un rastreador que ignora robots.txt hay que bloquearlo en el servidor. El generador indica el operador de cada bot para que sepas a quién te diriges.

Bloquear la IA es una decisión con coste

Si las respuestas de IA se están convirtiendo en un canal de descubrimiento en tu mercado, bloquear todos los bots te vuelve invisible justo donde preguntan los compradores. Decide con datos: comprueba qué rastreadores de IA ya te visitan y si los motores de IA citan tus páginas antes de desactivar nada.

El directorio de bots

Todos los rastreadores de IA de este generador

Quién opera cada bot, y si recopila para entrenamiento de modelos, construye un índice de búsqueda u obtiene páginas bajo demanda para un asistente.

Bot	Operador	Categoría	Qué hace
GPTBot	OpenAI	Entrenamiento	Rastreador de entrenamiento de modelos base
ChatGPT-User	OpenAI	Lectura para asistentes	Navegación y acciones iniciadas por el usuario
OAI-SearchBot	OpenAI	Índice de búsqueda	Indexación y recuperación para la búsqueda de ChatGPT
ClaudeBot	Anthropic	Entrenamiento	Rastreador de entrenamiento de Claude
Claude-User	Anthropic	Lectura para asistentes	Recuperación iniciada por el usuario
Claude-SearchBot	Anthropic	Índice de búsqueda	Indexación para la búsqueda de Claude
anthropic-ai	Anthropic	Entrenamiento	Token heredado o de compatibilidad de Anthropic
Claude-Web	Anthropic	Entrenamiento	Token heredado de robots.txt de Anthropic, del rastreo anterior de Claude. Se mantiene para que la lista esté completa; el rastreo actual usa ClaudeBot.
PerplexityBot	Perplexity	Índice de búsqueda	Índice de búsqueda de Perplexity
Perplexity-User	Perplexity	Lectura para asistentes	Recuperación iniciada por el usuario
Googlebot	Google	Índice de búsqueda	Rastreador e indexador compartido de la Búsqueda de Google
GoogleOther	Google	Otros	Rastreador genérico de Google para contenido público
Google-Extended	Google	Entrenamiento	Control del uso para entrenar los modelos Gemini y fundamentar sus respuestas
Google-CloudVertexBot	Google	Otros	Rastreador de agente de Vertex AI para contenido generativo solicitado por el propietario del sitio
Bingbot	Microsoft	Índice de búsqueda	Índice de Bing que también impulsa Copilot y la búsqueda generativa de Bing
msnbot / MSNBot-Media	Microsoft	Índice de búsqueda	Rastreador heredado de Bing/MSN que aún se ve en algunas propiedades
GrokBot	xAI	Entrenamiento	Token de rastreador de Grok/xAI
meta-externalagent	Meta	Entrenamiento	Entrenamiento de Meta AI y agente externo
Meta-ExternalFetcher	Meta	Lectura para asistentes	Bot de consulta de Meta iniciado por el usuario
FacebookBot	Meta	Entrenamiento	Rastreador de Meta AI y Facebook
Applebot	Apple	Índice de búsqueda	Rastreador para la búsqueda de Apple, Siri y las sugerencias de Spotlight
Applebot-Extended	Apple	Entrenamiento	Control del uso de datos para la IA generativa de Apple
Amazonbot	Amazon	Índice de búsqueda	Rastreador de Amazon que impulsa Alexa y las respuestas de IA de Amazon
MistralAI-User	Mistral AI	Lectura para asistentes	Recuperación iniciada por el usuario para Le Chat
cohere-ai	Cohere	Entrenamiento	Token de rastreador de IA
cohere-training-data-crawler	Cohere	Entrenamiento	Token de rastreador de datos de entrenamiento
DuckAssistBot	DuckDuckGo	Lectura para asistentes	Obtiene páginas para fundamentar DuckAssist, las respuestas de IA de DuckDuckGo. Bloquearlo elimina tu contenido de esas respuestas.
Bytespider	ByteDance	Entrenamiento	Rastreador de IA y búsqueda de ByteDance (Doubao)
Baiduspider	Baidu	Índice de búsqueda	Rastreador de la búsqueda de Baidu y de la IA Ernie
PetalBot	Huawei (Petal)	Índice de búsqueda	Rastreador de la búsqueda e IA de Huawei Petal
Sogou Spider	Sogou (Tencent)	Índice de búsqueda	Rastreador de búsqueda e IA de Sogou
360Spider	Qihoo 360	Índice de búsqueda	Rastreador de búsqueda e IA de Qihoo 360
YandexBot	Yandex	Índice de búsqueda	Rastreador de la búsqueda de Yandex y de YandexGPT
CCBot	Common Crawl	Entrenamiento	Rastreador de corpus web abierto muy usado para el entrenamiento de LLM
Atlassian Rovo crawler	Atlassian	Índice de búsqueda	Indexa sitios conectados para Atlassian Rovo y Teamwork Graph
AI2Bot	Allen Institute for AI	Entrenamiento	Rastreador de datos abiertos para el entrenamiento de modelos de lenguaje
YouBot	You.com	Índice de búsqueda	Rastreador de la búsqueda con IA de You.com
Diffbot	Diffbot	Otros	Rastreador de grafo de conocimiento y búsqueda web
Diffbot-User	Diffbot	Lectura para asistentes	Recuperación de Diffbot iniciada por el usuario
Timpibot	Timpi	Índice de búsqueda	Rastreador de datos de búsqueda e IA descentralizado
Omgilibot (Webz.io)	Webz.io	Entrenamiento	Feeds de datos web usados en conjuntos de entrenamiento de IA
ImagesiftBot	ImageSift	Otros	Rastreador de IA orientado a imágenes
VelenPublicWebCrawler	Velen	Otros	Rastreador web público que agrega datos de entrenamiento de IA
Yeti	Naver	Índice de búsqueda	Rastreador de búsqueda de Naver, cuyo índice también alimenta Cue:, sus respuestas con IA

Antes de bloquear

Descubre qué bots de IA ya visitan tu sitio

Citlyze registra en el servidor las visitas de los rastreadores de IA: qué bots vinieron, qué páginas consultaron y con qué frecuencia. Decide tu política de robots.txt con datos en lugar de suposiciones.

Empezar la prueba de 14 días Reservar demo

FAQ

Preguntas frecuentes sobre rastreadores de IA y robots.txt

¿Quieres una demo de Citlyze? Reservar demo

Usa el ajuste «Bloquear entrenamiento, permitir búsqueda»: bloquea GPTBot (entrenamiento) y deja permitidos OAI-SearchBot (el índice de búsqueda) y ChatGPT-User (lectura de páginas bajo demanda). OpenAI los documenta como tokens distintos precisamente para que los sitios puedan hacer esa distinción.

¿Te recomienda la IA cuando preguntan los compradores?

Sigue cómo ChatGPT, Gemini, Perplexity, DeepSeek, ByteDance, Grok, Google AI Overview & AI Mode y Bing Copilot mencionan, citan y posicionan tu marca. Revisa las respuestas registradas y las brechas que debes cerrar.

Prueba gratuita Reservar demo

Sin tarjeta de crédito

Una responsable de marketing leyendo una respuesta de IA en un portátil junto a la ventana