Accès des bots
Des contrôles continus vérifiant que les bots IA atteignent vos pages, avec alertes d'incident et causes.
Une page que les bots IA ne peuvent pas récupérer est une page que les réponses IA ne peuvent pas citer. Robots d'IA → Accès des bots teste en continu si les bots IA peuvent réellement atteindre vos pages clés, compare votre politique robots.txt aux réponses réelles et ouvre un incident quand un bot perd l'accès.
C'est différent d'un audit ponctuel : les règles de pare-feu, les protections anti-bots des CDN et les fichiers robots.txt changent, et une page qui passait le mois dernier peut être silencieusement bloquée aujourd'hui.
Pages surveillées
Votre page d'accueil et vos pages les plus citées sont ajoutées automatiquement ; utilisez Ajouter une page pour en surveiller d'autres, dans la limite de votre forfait (5 pages sur Starter, 25 sur Growth, 100 sur Pro et au-delà). Chaque ligne de page se déplie en détail par bot : le résultat HTTP, ce que dit robots.txt pour ce bot et l'issue du contrôle.
Les contrôles s'exécutent depuis les serveurs Citlyze en présentant le user agent de chaque bot. Les sites qui allow-listent les plages d'IP vérifiées des bots peuvent donc apparaître bloqués ici alors que le vrai bot passe ; combinez cette page avec les analytics Robots d'IA pour confirmer ce qui visite réellement votre site.
Incidents et causes
Quand un bot qui pouvait atteindre une page ne le peut plus, un incident s'ouvre avec la cause :
- Blocage robots.txt : votre robots.txt interdit le bot. Si c'est voulu, aucune action n'est nécessaire ; une politique délibérée est respectée et les bots dédiés au seul entraînement ne déclenchent pas d'alerte.
- Blocage pare-feu/CDN : la requête a été rejetée avant que votre site réponde. Le fournisseur est nommé quand il est identifiable (par exemple Cloudflare), pour que vous sachiez quel tableau de bord ouvrir.
- Délai dépassé ou erreur : la page n'a pas répondu de façon utilisable.
Les incidents se résolvent automatiquement quand l'accès revient. Utilisez Revérifier maintenant après avoir modifié robots.txt ou vos règles de pare-feu au lieu d'attendre le prochain contrôle planifié.
Alertes
La règle d'alerte Incident d'accès bot vous avertit à l'ouverture d'un incident, une fois par incident. Voir Alertes.
Exporter
Les résultats de contrôle et les incidents sont disponibles via l'API : bot-access-results et bot-access-incidents.