Acceso de bots
Comprobaciones continuas de que los bots de IA pueden llegar a tus páginas, con alertas de incidentes y sus causas.
Una página a la que los bots de IA no pueden acceder es una página que las respuestas de IA no pueden citar. Diagnosticar → Actividad de rastreadores de IA → Acceso de bots comprueba continuamente si los bots de IA pueden llegar de verdad a tus páginas clave, compara tu política de robots.txt con las respuestas reales y abre un incidente cuando un bot pierde el acceso.
No es lo mismo que una auditoría puntual: las reglas de firewall, las protecciones contra bots de la CDN y los archivos robots.txt cambian, y una página que pasó la comprobación el mes pasado puede estar bloqueada hoy sin que nadie lo note.
Páginas supervisadas
Tu página de inicio y tus páginas más citadas se añaden automáticamente; usa Añadir página para supervisar más, dentro del límite de tu plan (5 páginas en Starter, 25 en Growth y 100 en Pro y planes superiores). Cada fila se despliega para mostrar el detalle por bot: el resultado HTTP, lo que dice robots.txt para ese bot y el resultado de la comprobación.
Las comprobaciones se hacen desde servidores de Citlyze con el user agent de cada bot. Por eso, los sitios que solo admiten los rangos de IP verificados de los bots pueden aparecer aquí como bloqueados aunque el bot real sí consiga entrar; combina esta página con la analítica de rastreadores de IA para confirmar qué te visita de verdad.
Incidentes y causas
Cuando un bot que podía llegar a una página deja de poder hacerlo, se abre un incidente con la causa:
- Bloqueo por robots.txt: tu robots.txt no permite el acceso al bot. Si es intencionado, no tienes que hacer nada; se respeta la política deliberada y los bots que solo se usan para entrenamiento no generan alertas.
- Bloqueo por firewall/CDN: la petición se rechazó antes de que tu sitio respondiera. Cuando se puede identificar, se indica el proveedor (por ejemplo, Cloudflare), para que sepas qué panel abrir.
- Tiempo agotado o error: la página no dio una respuesta utilizable.
Los incidentes se cierran automáticamente cuando se recupera el acceso. Usa Volver a comprobar después de cambiar robots.txt o las reglas del firewall, en lugar de esperar a la siguiente comprobación programada.
Alertas
La regla de alerta Incidente de acceso de bots te avisa cuando se abre un incidente, una sola vez por incidente. Consulta Alertas.
Exportar
Los resultados de las comprobaciones y los incidentes están disponibles en la API: bot-access-results y bot-access-incidents.