Acceso de bots
Comprobaciones continuas de que los bots de IA pueden llegar a tus páginas, con alertas de incidentes y causas.
Una página que los bots de IA no pueden obtener es una página que las respuestas de IA no pueden citar. Rastreadores de IA → Acceso de bots comprueba continuamente si los bots de IA pueden llegar realmente a tus páginas clave, compara tu política de robots.txt con las respuestas en vivo y abre un incidente cuando un bot pierde el acceso.
Esto es distinto de una auditoría puntual: las reglas de firewall, las protecciones de bots de la CDN y los archivos robots.txt cambian, y una página que pasó el mes pasado puede estar bloqueada hoy sin que nadie lo note.
Páginas supervisadas
Tu página de inicio y tus páginas más citadas se añaden automáticamente; usa Añadir página para supervisar más, dentro del límite de tu plan (5 páginas en Starter, 25 en Growth, 100 en Pro y superiores). Cada fila de página se despliega en el detalle por bot: el resultado HTTP, lo que dice robots.txt para ese bot y el resultado de la comprobación.
Las comprobaciones se ejecutan desde servidores de Citlyze presentando el user agent de cada bot. Los sitios que solo permiten los rangos de IP verificados de los bots pueden por tanto aparecer aquí como bloqueados aunque el bot real sí acceda; combina esta página con la analítica de Rastreadores de IA para confirmar qué visita realmente.
Incidentes y causas
Cuando un bot que podía llegar a una página deja de poder, se abre un incidente con la causa:
- Bloqueo por robots.txt: tu robots.txt bloquea al bot. Si es intencional, no hay que hacer nada; la política deliberada se respeta y los bots solo de entrenamiento no generan alertas.
- Bloqueo por firewall/CDN: la petición fue rechazada antes de que tu sitio respondiera. El proveedor se nombra cuando es identificable (por ejemplo Cloudflare), para que sepas qué panel abrir.
- Tiempo agotado o error: la página no respondió de forma utilizable.
Los incidentes se resuelven automáticamente cuando el acceso se recupera. Usa Volver a comprobar después de cambiar robots.txt o las reglas de firewall en lugar de esperar a la siguiente comprobación programada.
Alertas
La regla de alerta Incidente de acceso de bots te avisa cuando se abre un incidente, una vez por incidente. Consulta Alertas.
Exportar
Los resultados de las comprobaciones y los incidentes están disponibles a través de la API: bot-access-results y bot-access-incidents.