Question 1

¿Por qué hay rastreadores de IA bloqueados aunque robots.txt los permita?

Accepted Answer

Robots.txt es solo la capa de política. Los firewalls y las protecciones contra bots de los CDN actúan antes de que tu sitio responda, y sus reglas por defecto suelen atrapar a los rastreadores de IA. Ese tipo de bloqueo es invisible desde una lectura de robots.txt; solo aparece cuando alguien solicita la página como lo haría un bot.

Question 2

¿Puede un CDN o un firewall bloquear rastreadores de IA en silencio?

Accepted Answer

Sí, y es el fallo silencioso más común. Una regla de gestión de bots endurecida contra scrapers puede llevarse por delante a los rastreadores de IA, y nada en tu sitio se ve distinto. Las comprobaciones continuas atrapan la regresión cuando ocurre, no meses después.

Question 3

¿Cuál es la diferencia entre un bloqueo de robots.txt y uno de firewall?

Accepted Answer

Un bloqueo de robots.txt es tu política publicada: la solución es editar una regla Disallow. Un bloqueo de firewall o CDN ocurre en la infraestructura antes de que la página responda: la solución vive en los ajustes de bots de tu proveedor. Los incidentes de Citlyze nombran cuál de los dos ocurrió, y el proveedor cuando es identificable.

Question 4

¿Qué pasa cuando se detecta un incidente de acceso?

Accepted Answer

Se abre un incidente para ese bot y esa página con la causa adjunta, y la regla de alerta de incidente de acceso de bots puede avisarte por correo, Slack o Teams. Cuando el acceso se recupera, el incidente se resuelve automáticamente. Tras cambiar robots.txt o las reglas del firewall, la opción de volver a comprobar confirma la corrección de inmediato.

Question 5

¿Cuántas páginas puedo supervisar?

Accepted Answer

La supervisión de acceso de bots cubre 5 páginas en Starter, 25 en Growth y 100 en Pro y superiores. Tu página de inicio y tus páginas más citadas se añaden automáticamente, y puedes agregar más hasta el límite de tu plan.

Question 6

¿En qué se diferencia del seguimiento de rastreadores IA?

Accepted Answer

La supervisión de acceso de bots responde "¿pueden los bots llegar a mis páginas?" con comprobaciones activas. El seguimiento de rastreadores IA responde "¿lo hacen?" registrando visitas reales de rastreadores. Usadas juntas, una regresión de acceso aparece en ambas: el incidente te dice por qué, y los datos de visitas confirman cuándo vuelven los bots.

Question 7

¿En qué se diferencia del comprobador gratuito de acceso de rastreadores IA?

Accepted Answer

El comprobador gratuito lee una vez el robots.txt de una página, y lo dice: no puede ver bloqueos de CDN o firewall desde una sola lectura de robots. La supervisión solicita tus páginas como lo haría cada bot, con una programación, así que ve también la capa de infraestructura y te avisa cuando algo cambia.

Question 8

¿Funciona la supervisión de acceso de bots detrás de Cloudflare?

Accepted Answer

Sí. Las comprobaciones solicitan tus páginas desde fuera, exactamente como lo haría un bot, así que Cloudflare y capas similares forman parte de lo que se prueba. Una salvedad: las comprobaciones presentan el user agent de cada bot desde los servidores de Citlyze, así que los sitios que permiten por lista rangos de IP de bots verificados pueden aparecer aquí como bloqueados aunque el bot real sí pase.

Question 9

¿Marcará bots que bloqueo a propósito?

Accepted Answer

No. Una regla deliberada de robots.txt se trata como política, no como problema, y los bots solo de entrenamiento quedan excluidos de las alertas de incidentes, ya que bloquearlos suele ser intencionado. Las alertas son para regresiones: un bot que podía llegar a una página y de repente no puede.

Entérate cuando los rastreadores de IA pierden acceso a tu sitio

Cada página supervisada, comprobada por bot

Una alerta que nombra la causa

Supervisión que respeta tus reglas

Supervisión de acceso de bots

¿Te recomienda la IA cuando preguntan los compradores?