¿Respetarán las empresas de IA mi robots.txt?

Los grandes operadores, entre ellos OpenAI, Anthropic, Google, Microsoft, Apple y Perplexity, documentan sus user agents y declaran que respetan las directivas de robots.txt. Los intermediarios de datos más pequeños varían. Para los bots que ignoran el archivo, el bloqueo ocurre a nivel de servidor o CDN, no en robots.txt.

¿Esto reemplaza mi robots.txt actual?

No. El archivo generado cubre solo los rastreadores de IA. Funde sus reglas con tu robots.txt actual, manteniendo sin cambios tu línea de sitemap y cualquier regla no relacionada con IA.

¿Debería bloquear Common Crawl (CCBot)?

CCBot alimenta un conjunto de datos abierto usado para entrenar muchos modelos, así que bloquearlo es la exclusión de entrenamiento individual más amplia disponible. La contrapartida: ese mismo conjunto de datos también impulsa la investigación y los archivos. Los sitios que quieren limitar el entrenamiento de modelos suelen bloquearlo; los que optimizan para el alcance lo dejan abierto.

¿Qué pasa con las páginas ya rastreadas antes de bloquear un bot?

robots.txt controla las obtenciones futuras. El contenido ya recopilado no desaparece de los conjuntos de datos existentes ni de los pesos del modelo; algunos operadores ofrecen procesos de eliminación aparte.

Generador de robots.txt para rastreadores de IA

Decide bot por bot qué sistemas de IA pueden leer tu sitio. Parte de un preset, cambia rastreadores individuales y copia un robots.txt que diga exactamente lo que elegiste. Funciona por completo en tu navegador.

OpenAI

GPTBotEntrenamiento
ChatGPT-UserObtención para asistente
OAI-SearchBotÍndice de búsqueda

Anthropic

ClaudeBotEntrenamiento
Claude-UserObtención para asistente
Claude-SearchBotÍndice de búsqueda
anthropic-aiEntrenamiento
Claude-WebEntrenamiento

Perplexity

PerplexityBotÍndice de búsqueda
Perplexity-UserObtención para asistente

Google

GoogleOtherOtros
Google-ExtendedEntrenamiento
Google-CloudVertexBotOtros

Microsoft

BingbotÍndice de búsqueda
msnbot / MSNBot-MediaÍndice de búsqueda

xAI

GrokBotEntrenamiento

Tu robots.txt

# AI crawler rules generated with citlyze.com/free-tools/ai-robots-txt-generator

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Google-Extended
Disallow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: bingbot
Allow: /

User-agent: msnbot
User-agent: MSNBot-Media
Allow: /

User-agent: GrokBot
Disallow: /

User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Allow: /

User-agent: MistralAI-User
User-agent: MistralAI-User/1.0
Allow: /

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

User-agent: DuckAssistBot
Allow: /

User-agent: Bytespider
User-agent: ByteSpider
Disallow: /

User-agent: Baiduspider
User-agent: Baiduspider-render
Allow: /

User-agent: PetalBot
Allow: /

User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou
Allow: /

User-agent: 360Spider
User-agent: HaoSouSpider
Allow: /

User-agent: YandexBot
User-agent: YandexAdditional
Allow: /

User-agent: CCBot
Disallow: /

User-agent: AI2Bot
User-agent: AI2Bot-Dolma
Disallow: /

User-agent: YouBot
Allow: /

User-agent: Diffbot
Allow: /

User-agent: Diffbot-User
Allow: /

User-agent: Timpibot
Allow: /

User-agent: Omgilibot
User-agent: Omgili
User-agent: omgilibot
Disallow: /

User-agent: ImagesiftBot
Allow: /

User-agent: VelenPublicWebCrawler
Allow: /

# Fúndelo con tu robots.txt actual; este archivo cubre solo rastreadores de IA.

Funde estas reglas con el robots.txt de la raíz de tu dominio. Mantén tu línea de sitemap y tus reglas no relacionadas con IA.

cómo funciona

Tres decisiones, un archivo

Elige un punto de partida

Permite todo, bloquea solo los rastreadores de entrenamiento o bloquea todos los bots de IA. Los presets codifican las tres posturas que adoptan la mayoría de los sitios.

Ajusta bots individuales

Cada rastreador está etiquetado según lo que hace: entrenamiento de modelos, indexación para búsqueda o obtención bajo demanda para asistentes. Cambia cualquiera de ellos; el archivo se actualiza en vivo.

Publica tu robots.txt

Copia o descarga el resultado y fúndelo con el robots.txt de la raíz de tu dominio. Tus reglas no relacionadas con IA siguen siendo tuyas; este archivo solo cubre rastreadores de IA.

Entrenamiento, búsqueda o asistente: por qué importa la categoría

Bloquear un rastreador de entrenamiento como GPTBot solo afecta a lo que aprenderán los modelos futuros; tu sitio sigue apareciendo en las respuestas de la búsqueda con IA. Bloquear un indexador de búsqueda como OAI-SearchBot o un fetcher de asistente como ChatGPT-User te elimina de las respuestas en vivo y de la lectura de enlaces. La mayoría de los sitios que bloquean algo bloquean el entrenamiento y mantienen la búsqueda, que es justo lo que hace el preset intermedio.

Lo que robots.txt puede y no puede hacer

robots.txt es una petición publicada, no un mecanismo de aplicación. Los grandes operadores aquí listados documentan sus tokens y por lo general los respetan; un rastreador que ignora robots.txt requiere un bloqueo en el servidor. El generador lista el operador de cada bot para que puedas decidir a quién te diriges.

Bloquear la IA es una decisión, no una opción por defecto

Si las respuestas de IA se están convirtiendo en un canal de descubrimiento para tu mercado, bloquear todos los bots te vuelve invisible justo donde los compradores preguntan. La forma honesta de decidir es medir: ver qué rastreadores de IA ya te visitan y si los motores de IA citan tus páginas, antes de desactivar nada.

el directorio de bots

Todos los rastreadores de IA de este generador

Quién opera cada bot, y si recopila para entrenamiento de modelos, construye un índice de búsqueda u obtiene páginas bajo demanda para un asistente.

Bot	Operador	Categoría	Qué hace
GPTBot	OpenAI	Entrenamiento	Rastreador de entrenamiento de modelos base
ChatGPT-User	OpenAI	Obtención para asistente	Navegación y acciones iniciadas por el usuario
OAI-SearchBot	OpenAI	Índice de búsqueda	Indexación y recuperación para la búsqueda de ChatGPT
ClaudeBot	Anthropic	Entrenamiento	Rastreador de entrenamiento de Claude
Claude-User	Anthropic	Obtención para asistente	Recuperación iniciada por el usuario
Claude-SearchBot	Anthropic	Índice de búsqueda	Indexación para la búsqueda de Claude
anthropic-ai	Anthropic	Entrenamiento	Token heredado o de compatibilidad de Anthropic
Claude-Web	Anthropic	Entrenamiento	Token heredado de robots.txt de Anthropic del rastreo anterior de Claude. Se conserva por completitud; el rastreo actual usa ClaudeBot.
PerplexityBot	Perplexity	Índice de búsqueda	Índice de búsqueda de Perplexity
Perplexity-User	Perplexity	Obtención para asistente	Recuperación iniciada por el usuario
GoogleOther	Google	Otros	Rastreador genérico de Google para contenido público
Google-Extended	Google	Entrenamiento	Control del uso para entrenamiento y grounding de los modelos Gemini
Google-CloudVertexBot	Google	Otros	Rastreador de agente de Vertex AI para contenido generativo solicitado por el propietario del sitio
Bingbot	Microsoft	Índice de búsqueda	Índice de Bing que también impulsa Copilot y la búsqueda generativa de Bing
msnbot / MSNBot-Media	Microsoft	Índice de búsqueda	Rastreador heredado de Bing/MSN que aún se ve en algunas propiedades
GrokBot	xAI	Entrenamiento	Token de rastreador de Grok/xAI
meta-externalagent	Meta	Entrenamiento	Entrenamiento de Meta AI y agente externo
Meta-ExternalFetcher	Meta	Obtención para asistente	Fetcher de Meta iniciado por el usuario
FacebookBot	Meta	Entrenamiento	Rastreador de Meta AI y Facebook
Applebot	Apple	Índice de búsqueda	Rastreador para la búsqueda de Apple, Siri y las sugerencias de Spotlight
Applebot-Extended	Apple	Entrenamiento	Control del uso de datos para la IA generativa de Apple
Amazonbot	Amazon	Índice de búsqueda	Rastreador de Amazon que impulsa Alexa y las respuestas de IA de Amazon
MistralAI-User	Mistral AI	Obtención para asistente	Recuperación iniciada por el usuario para Le Chat
cohere-ai	Cohere	Entrenamiento	Token de rastreador de IA
cohere-training-data-crawler	Cohere	Entrenamiento	Token de rastreador de datos de entrenamiento
DuckAssistBot	DuckDuckGo	Obtención para asistente	Obtiene páginas para fundamentar DuckAssist, las respuestas de IA de DuckDuckGo. Bloquearlo elimina tu contenido de esas respuestas.
Bytespider	ByteDance	Entrenamiento	Rastreador de IA y búsqueda de ByteDance (Doubao)
Baiduspider	Baidu	Índice de búsqueda	Rastreador de la búsqueda de Baidu y de la IA Ernie
PetalBot	Huawei (Petal)	Índice de búsqueda	Rastreador de la búsqueda e IA de Huawei Petal
Sogou Spider	Sogou (Tencent)	Índice de búsqueda	Rastreador de búsqueda e IA de Sogou
360Spider	Qihoo 360	Índice de búsqueda	Rastreador de búsqueda e IA de Qihoo 360
YandexBot	Yandex	Índice de búsqueda	Rastreador de la búsqueda de Yandex y de YandexGPT
CCBot	Common Crawl	Entrenamiento	Rastreador de corpus web abierto muy usado para el entrenamiento de LLM
AI2Bot	Allen Institute for AI	Entrenamiento	Rastreador de datos abiertos para el entrenamiento de modelos de lenguaje
YouBot	You.com	Índice de búsqueda	Rastreador de la búsqueda con IA de You.com
Diffbot	Diffbot	Otros	Rastreador de grafo de conocimiento y búsqueda web
Diffbot-User	Diffbot	Obtención para asistente	Recuperación de Diffbot iniciada por el usuario
Timpibot	Timpi	Índice de búsqueda	Rastreador de datos de búsqueda e IA descentralizado
Omgilibot (Webz.io)	Webz.io	Entrenamiento	Feeds de datos web usados en conjuntos de entrenamiento de IA
ImagesiftBot	ImageSift	Otros	Rastreador de IA orientado a imágenes
VelenPublicWebCrawler	Velen	Otros	Rastreador web público que agrega datos de entrenamiento de IA

antes de bloquear

Descubre qué bots de IA ya visitan tu sitio

Citlyze registra las visitas de los rastreadores de IA en el servidor: qué bots vinieron, qué obtuvieron y con qué frecuencia. Decide tu política de robots.txt con datos en lugar de suposiciones.

Empieza una prueba Brand Starter de 14 días sin tarjeta de crédito Reservar demo

FAQ

Rastreadores de IA y robots.txt, respondido

¿Quieres una demo de Citlyze? Reservar demo

Usa el preset bloquear entrenamiento, permitir búsqueda: bloquea GPTBot (entrenamiento) mientras deja permitidos OAI-SearchBot (el índice de búsqueda) y ChatGPT-User (lectura de páginas bajo demanda). OpenAI documenta estos como tokens separados precisamente para que los sitios puedan hacer esa distinción.

¿Te recomienda la IA cuando preguntan los compradores?

Sigue cómo ChatGPT, Gemini, Perplexity, DeepSeek, ByteDance y Grok mencionan, citan y clasifican tu marca. Revisa las respuestas seguidas y las brechas por cerrar.

Prueba gratuita Reservar demo

Sin tarjeta de crédito