Rastreadores de IA
Descubre qué rastreadores de IA visitan de verdad tu sitio y cómo instalar el seguimiento.
El seguimiento de rastreadores de IA muestra qué motores de IA visitan de verdad tu sitio: GPTBot, ClaudeBot, PerplexityBot, Bingbot y otros. Complementa las auditorías GEO: las auditorías te dicen si los bots pueden llegar a una página; el seguimiento de rastreadores, si de verdad llegan.
Por qué capturar en el servidor
Los rastreadores de entrenamiento de IA no ejecutan JavaScript, así que un píxel de JavaScript o de Google Tag Manager nunca detecta a GPTBot ni a ClaudeBot. Citlyze captura las visitas de los rastreadores en el servidor, donde se ve el User-Agent real de la petición, así que también se cuentan los rastreadores que no ejecutan JavaScript.
Con las visitas humanas es distinto: los visitantes que llegan desde respuestas de IA sí ejecutan JavaScript, así que para Tráfico de IA basta con un fragmento de navegador o una instalación con Tag Manager (consulta Instalar el seguimiento de tráfico de IA). Las instalaciones en servidor de esta página capturan ambos tipos a la vez.
Instalar el seguimiento
Ve a Ajustes → Conexiones → Seguimiento del sitio web y genera una clave de sitio. La clave tiene dos partes, un ID de clave y un secreto de firma, que se muestran una sola vez; copia las dos. Después añade el fragmento que corresponda a tu plataforma (si quieres instrucciones paso a paso para cada opción, consulta Instalar el seguimiento de rastreadores de IA):
- Cloudflare (recomendado): pega el fragmento del Worker delante de tu sitio.
- Vercel / proxy inverso: añade el fragmento de middleware.
- WordPress: descarga AI Crawler Control by Citlyze, súbelo en wp-admin
→ Plugins y, en sus ajustes, rellena los tres campos: Tracker base URL
(
https://app.citlyze.com), Key ID y Signing secret. Usa Send test event para comprobar que los datos llegan. El plugin no envía nada hasta que rellenes la URL base del tracker. - Servidor propio / Node: para sitios autoalojados (AWS, GCP, Azure,
servidores físicos, contenedores), añade el fragmento de middleware de estilo
Express (Node 20+). Se adapta a Fastify, Koa o al módulo
httpnativo, y desde otros lenguajes se puede implementar directamente el protocolo de baliza firmada.
Los fragmentos para Cloudflare, Vercel y servidor propio leen el secreto de
firma de una variable de entorno, CITLYZE_SIGNING_SECRET (un secreto cifrado
del Worker en Cloudflare), así que el secreto nunca queda en el código que
subes al repositorio o compartes. El plugin de WordPress, en cambio, lo guarda
en sus ajustes.
Cada evento se firma con tu secreto para que el servicio de seguimiento pueda rechazar balizas falsificadas. Esa firma demuestra que el aviso procede de tu sitio; no dice nada sobre quién era el visitante. Confirmar que un visitante era de verdad GPTBot es un paso aparte, que se explica en Cómo funciona la verificación.
Las tiendas Shopify estándar no permiten capturar en el servidor, y Shopify no admite poner un proxy (como Cloudflare) delante de una tienda, así que el seguimiento completo de rastreadores no está disponible en Shopify estándar. Las tiendas headless con Hydrogen u Oxygen ejecutan código en el servidor y pueden usar el fragmento de servidor propio. El alojamiento de Webflow tampoco permite ejecutar código en el servidor; en Webflow Enterprise, un proxy inverso gestionado por ti puede ejecutar el Worker de Cloudflare o el fragmento de servidor propio en la capa del proxy.
Los colectores informan de qué pasó con cada petición:
- El Worker de Cloudflare, el middleware de servidor propio y el plugin de WordPress envían el código de estado HTTP exacto (200, 301, 404, 410, 500, etc.), con el que se generan los análisis de errores y redirecciones que verás más abajo. El middleware de Vercel se ejecuta antes de que exista la respuesta, así que no puede enviarlo; para tener códigos de estado en Vercel, usa el log drain de Vercel en Seguimiento del sitio web → Registros del servidor en lugar del middleware.
- En una redirección, esos mismos tres colectores envían también su destino: la ruta si es una página de tu propio sitio, y solo el dominio si es otro sitio.
- En las visitas de rastreadores también se envía la cadena de consulta (por
ejemplo,
?page=2). La cadena de consulta de un visitante humano nunca sale de tu sitio.
Los eventos se envían en lotes firmados. Si Citlyze no está accesible durante un momento, el Worker de Cloudflare y el middleware de servidor propio reintentan el envío una vez, y el plugin de WordPress guarda los eventos no entregados en tu base de datos de WordPress hasta un día y sigue reintentándolo. Un reintento nunca se cuenta dos veces. Además, cada colector instalado actualiza su lista de rastreadores conocidos al menos una vez al día, así que un rastreador recién lanzado se reconoce sin tener que actualizar el fragmento ni el plugin. La página Seguimiento del sitio web te avisa cuando hay una versión más reciente de tu fragmento o de tu plugin.
El plugin de WordPress ve todas las peticiones que llegan a WordPress, incluidas las que otro plugin redirige antes de renderizar la página. No puede ver lo que nunca llega a WordPress: páginas servidas desde una caché de página completa, redirecciones que hace tu servidor web o tu CDN, y peticiones que un firewall bloquea antes de que se cargue WordPress. La página de ajustes del plugin te avisa si detecta una caché de página. Para sitios con mucha caché, usa el Worker de Cloudflare o sube los registros de tu servidor. Si WordPress está detrás de un proxy o de un balanceador de carga que no sea Cloudflare, indica en los ajustes del plugin la cabecera con la IP del cliente y las direcciones del proxy, para que los rastreadores se puedan verificar por su dirección real.
Usa un solo colector por sitio. Si un colector del sitio web y una fuente de registros del servidor envían datos del mismo dominio, cada visita se cuenta dos veces; la página Seguimiento del sitio web te avisa cuando ocurre.
Servidores propios y otros lenguajes
La pestaña de servidor propio incluye un middleware para Node, pero cualquier
tecnología puede enviar datos: envía peticiones HTTPS POST firmadas a
https://app.citlyze.com/api/track con un cuerpo JSON (256 KB como máximo) y
Content-Type: application/json. Cada petición lleva un lote de 1 a 50
eventos.
Cabeceras obligatorias:
| Cabecera | Valor |
|---|---|
x-aeo-schema | La cadena literal 3. |
x-aeo-key-id | Tu ID de clave (el UUID que se muestra al generar la clave de sitio). |
x-aeo-ts | Marca de tiempo Unix en segundos; no puede diferir más de 5 minutos del reloj del servicio de seguimiento. |
x-aeo-nonce | Único para cada lote: de 16 a 64 caracteres entre dígitos hexadecimales y guiones. Sirve un UUID sin los guiones. |
x-aeo-signature | HMAC en hexadecimal y en minúsculas, calculado como se indica a continuación. |
Cómo calcular la firma:
- Deriva la clave de firma: el SHA-256 en hexadecimal y en minúsculas, de 64
caracteres, de tu secreto de firma (la cadena
ctk_...completa). Usa los bytes UTF-8 de esa cadena hexadecimal como clave HMAC; no la decodifiques desde hexadecimal. - Construye el mensaje:
"3\n" + timestamp + "\n" + nonce + "\n" + bodyDigest, dondebodyDigestes el SHA-256 en hexadecimal y en minúsculas de los bytes exactos del cuerpo que envías. Si vuelves a serializar el cuerpo después de firmarlo, la firma deja de ser válida. x-aeo-signaturees el HMAC-SHA256 en hexadecimal y en minúsculas de ese mensaje, con la clave de firma del paso 1.
Guarda el secreto de firma en una variable de entorno o en el almacén de secretos de tu plataforma, nunca en el código fuente.
Campos del cuerpo:
collector: un nombre corto para tu integración, por ejemplomy-app/1.0(letras, dígitos,.,_,/y-, hasta 64 caracteres).events: la lista de eventos. Cada evento tiene estos campos (obligatorios salvo que se indique lo contrario):occurredAt: cuándo se produjo la petición, en milisegundos desde la época Unix. Los eventos de hace más de 48 horas se ignoran.host: el nombre de host de la petición sin el puerto, o una cadena vacía. Los eventos de un host que no sea el dominio de tu clave de sitio ni uno de sus subdominios se ignoran.userAgent: el User-Agent del visitante, hasta 1024 caracteres.path: la ruta de la petición, que empieza por/, sin cadena de consulta ni fragmento, hasta 2048 caracteres.query(opcional): la cadena de consulta sin el?, solo para peticiones de rastreadores.visitorIp: la IP del cliente tal como la ve tu servidor. Detrás de un balanceador de carga o de un proxy inverso, tómala de la cabecera de reenvío que añade tu propio proxy; este es el campo que se comprueba al verificar la identidad de los rastreadores.referrer: una cadena vacía o una URL de referentehttps://sin cadena de consulta ni fragmento. Solo tiene sentido para visitas humanas que llegan desde respuestas de IA.utmSource(opcional): el valor deutm_source, cuando una visita desde una respuesta de IA llega sin referente.status: el código de estado HTTP de tres dígitos de la respuesta, ounknownsi envías el evento antes de que exista la respuesta.method: el método HTTP en mayúsculas.redirectTarget(opcional): en una respuesta 3xx, elLocational que redirigía.
Envía solo las peticiones cuyo user agent parezca automatizado o cuyo
referente sea un motor de respuesta de IA, y envía los lotes después de la
respuesta, nunca mientras un visitante espera. Si un lote falla con un error de
red, un 429 o un 5xx, reinténtalo con el mismo nonce y el mismo cuerpo
y una marca de tiempo nueva: un lote que ya llegó se reconoce por su nonce y se
cuenta una sola vez. Un 429 incluye una cabecera Retry-After. Cualquier
otro 4xx significa que el propio lote no es válido; no lo reintentes.
Si quieres, descarga una vez al día la lista actual de identificadores de
rastreadores conocidos y de hosts de referentes de IA desde
GET https://app.citlyze.com/api/track/registry, con tu ID de clave en la
cabecera x-aeo-key-id. La cabecera de respuesta x-aeo-registry-signature
es el HMAC-SHA256 en hexadecimal y en minúsculas de
"citlyze-registry-1\n" + bodyDigest, con la clave de firma del paso 1;
ignora la lista si no coincide.
Para comprobar tu integración, envía un lote con "test": true que contenga un
único evento cuyo userAgent empiece por citlyze-connection-test/ y cuyo
path sea /citlyze-test. Una prueba bien firmada devuelve HTTP 200 y no
guarda nada; los lotes reales devuelven 204, tanto si las visitas acaban en tus
informes como si no.
Rotar o revocar una clave
Si un secreto de firma ha podido filtrarse (por ejemplo, porque se subió a un
repositorio o apareció en una captura de pantalla), usa Rotar junto a la
clave. Al rotarla se genera un secreto nuevo para la misma clave: se conservan
el ID de clave, el nombre, el dominio y todo el historial registrado, pero el
secreto anterior deja de ser válido de inmediato, así que actualiza cuanto
antes CITLYZE_SIGNING_SECRET (o el ajuste del plugin) con el secreto nuevo.
Revocar es distinto: desactiva la clave de forma permanente y detiene el
seguimiento de ese sitio.
Interpretar los datos
La página Diagnosticar → Actividad de rastreadores de IA → Resumen muestra, para el periodo seleccionado:
- tarjetas principales: total de visitas de rastreadores, número de rastreadores distintos, rastreador principal y tendencia
- visitas de rastreadores a lo largo del tiempo (totales diarios)
- cuándo visitan los rastreadores: visitas por hora del día
- evolución de los rastreadores (una línea por rastreador)
- desglose por rastreador, con organización, finalidad, visitas y tendencia
- páginas más rastreadas (las 10 primeras, con un enlace a la lista completa)
- bots no reconocidos: user agents con aspecto de bot que no coinciden con ningún rastreador de IA conocido, agrupados como «Bot desconocido» para detectar pronto los rastreadores nuevos
Los días y las horas siguen la zona horaria de tu navegador, así que una visita a las 21:00 en Nueva York cuenta en ese día y no en el siguiente. La tabla por página usa días UTC.
Las tendencias solo comparan días completos. Mientras el día de hoy sigue en curso, queda fuera de la comparación, y cada día completo se compara con el mismo día del periodo anterior. Un rastreador sin visitas en el periodo anterior muestra Nuevo en lugar de un porcentaje, y si el seguimiento empezó después del inicio del periodo anterior, todavía no se muestra ninguna tendencia.
Usa los intervalos predefinidos (7, 30 o 90 días), el intervalo de fechas personalizado y el filtro de rastreadores para acotar la vista. Los espacios de trabajo que siguen más de un sitio tienen también un filtro de sitio. Las personas que llegaron desde respuestas de IA se tratan en Tráfico de IA.
Cómo funciona la verificación
Cualquier cliente puede poner GPTBot en su user agent. Por eso un user agent
es una declaración, no una prueba, y Citlyze lo trata como tal: las cifras
principales de rastreadores solo cuentan el tráfico que hemos podido confirmar
de forma independiente.
Cada visita recibe uno de estos tres niveles de confianza:
- Verificado: hemos confirmado la identidad de red del visitante con información que publica el operador. Solo estas visitas cuentan para tus totales de rastreadores.
- Probable: hay indicios que lo respaldan, como que tu CDN marque la petición como un bot conocido, pero no una confirmación independiente.
- No verificado: el user agent decía ser un rastreador y nada lo contradecía, pero no hemos podido confirmarlo. Se muestra aparte y nunca se suma a tus totales.
La verificación usa el método que admita cada operador:
| Método | Qué demuestra |
|---|---|
| Solicitud firmada | La petición llevaba una firma criptográfica que hemos comprobado con las claves publicadas por el operador. Es la prueba más sólida. |
| Rango de IP publicado | La dirección de origen está dentro de un rango que el operador publica para sus rastreadores. |
| DNS inverso | La dirección de origen se resuelve en el dominio del operador, y ese nombre se resuelve a su vez en la misma dirección. |
| Rango de IP conocido | La dirección de origen está dentro de un rango fijo que documenta el operador. |
| Atestación de CDN | Tu CDN identificó la petición como un bot conocido. Es un indicio, no una prueba concluyente. |
| Solo user agent | Solo el nombre que declara el propio visitante. Siempre queda como no verificado. |
Los operadores que no publican nada con lo que comprobarlo nunca pueden pasar de no verificado. Es una característica del rastreador, no un problema de tu configuración, y por eso hay vistas separadas en lugar de una única cifra que lo mezcle todo.
Dos cosas que conviene saber:
- El tráfico de agentes se cuenta aparte. Las herramientas que maneja directamente una persona, como ChatGPT Agent, aparecen en la actividad de agentes y no en los totales de rastreadores, porque que una persona haga clic no es la misma señal que un rastreador que indexa tu sitio.
- A veces no podemos hacer la comprobación: la lista de IP de un operador puede no estar accesible temporalmente. Esas visitas se quedan como no verificadas en lugar de contarse, así que tus totales nunca incluyen nada que no hayamos confirmado.
Páginas rastreadas
Diagnosticar → Actividad de rastreadores de IA → Páginas rastreadas es la vista detallada: todas las páginas que los rastreadores de IA solicitaron en el periodo seleccionado, con búsqueda, ordenación y paginación. Cada fila muestra las visitas, el porcentaje sobre el total del tráfico de rastreadores, la tendencia respecto al periodo anterior, los errores, las redirecciones, el rastreador principal y la fecha de la última visita; despliega una fila para ver el reparto por rastreador y los códigos de estado exactos que recibieron.
Cuando hay algo relevante, aparecen análisis encima de la tabla:
- Rastreadas pero nunca citadas: páginas que los motores de IA solicitan pero nunca citan en tus respuestas registradas; buenas candidatas para un contenido más claro y más fácil de citar.
- Páginas que devuelven errores: páginas que respondieron a los rastreadores con códigos 4xx o 5xx. Una página rota no se puede leer ni citar.
- Páginas que redirigen: URL antiguas que los rastreadores siguen solicitando y que redirigen a otra dirección. Haz que tus enlaces internos y tu sitemap apunten a las URL finales.
- Páginas solicitadas por primera vez: páginas que ningún rastreador de IA había solicitado antes de este periodo desde que empezó el seguimiento. Si aparece aquí contenido nuevo, significa que los rastreadores lo han encontrado.
Para ver códigos de estado y redirecciones hace falta un colector que los envíe: el Worker de Cloudflare, el middleware de servidor propio, el plugin de WordPress o los registros del servidor.
La tabla se puede descargar en CSV en los planes que incluyen la exportación de datos.
Registro de rastreo
Diagnosticar → Actividad de rastreadores de IA → Registro de rastreo muestra todas las peticiones que los rastreadores de IA verificados y los agentes firmados hicieron a tu sitio, día a día y en orden, agrupadas en sesiones de rastreo (peticiones de un mismo rastreador sin pausas de más de 30 minutos). Para cada petición ves la hora, la página y su cadena de consulta, el código de estado y, en las redirecciones, adónde apuntaba la redirección y si el rastreador la siguió en la misma sesión. Las páginas solicitadas más de una vez en una sesión aparecen marcadas.
El registro de rastreo solo guarda las peticiones de rastreadores verificados y
de agentes firmados, nunca las de otros visitantes, y nunca almacena
direcciones IP ni user agents. Los valores de los parámetros de consulta que
podrían contener credenciales o datos personales (como token o email) se
sustituyen por redacted. Los días que puedes consultar hacia atrás dependen
de tu plan; consulta Planes y límites.
El registro de un día se puede descargar en CSV en los planes que incluyen la
exportación de datos.
Acceder a los datos por API y MCP
Una vez instalado el seguimiento, puedes acceder a las visitas de los rastreadores de forma programática:
- REST:
GET /api/v1/crawler-events; consulta el recurso AI Crawler Events. - MCP: la herramienta
list_crawler_events; consulta la referencia de herramientas de MCP.
Ambos son de solo lectura y se limitan a tu espacio de trabajo. El recurso REST
permite filtrar por crawler_id, por sitio en seguimiento y por path exacto;
las visitas humanas desde respuestas de IA están disponibles en
GET /api/v1/ai-referrals.