citlyze docs
Utiliser Citlyze

Accès des bots

Vérifiez en continu que les bots IA peuvent accéder à vos pages, avec des alertes d'incident et leurs causes.

Si les bots IA ne peuvent pas récupérer une page, les réponses IA ne peuvent pas la citer. Diagnostiquer → Activité des robots d'IA → Accès des bots vérifie en continu que les bots IA peuvent réellement accéder à vos pages clés, compare les règles de votre robots.txt aux réponses effectivement renvoyées et ouvre un incident lorsqu'un bot perd l'accès.

Ce n'est pas un audit ponctuel : les règles de pare-feu, les protections anti-bots des CDN et les fichiers robots.txt changent, et une page accessible le mois dernier peut être bloquée aujourd'hui sans que vous le sachiez.

Pages surveillées

Votre page d'accueil et vos pages les plus citées sont ajoutées automatiquement ; utilisez Ajouter une page pour en surveiller d'autres, dans la limite de votre forfait (5 pages avec Starter, 25 avec Growth, 100 avec Pro et les forfaits supérieurs). Chaque ligne se déplie pour afficher le détail par bot : le résultat HTTP, ce que prévoit le robots.txt pour ce bot et le résultat du contrôle.

Les contrôles sont effectués depuis les serveurs de Citlyze, avec le user agent de chaque bot. Les sites qui n'autorisent que les plages d'adresses IP vérifiées des bots peuvent donc apparaître ici comme bloqués alors que le vrai bot passe ; croisez cette page avec l'activité des robots d'IA pour savoir qui visite réellement votre site.

Incidents et causes

Lorsqu'un bot qui pouvait accéder à une page ne le peut plus, un incident s'ouvre, avec sa cause :

  • Blocage robots.txt : votre robots.txt interdit le bot. Si c'est voulu, aucune action n'est nécessaire : une règle délibérée est respectée, et les bots servant uniquement à l'entraînement ne déclenchent pas d'alerte.
  • Blocage pare-feu/CDN : la requête a été rejetée avant que votre site réponde. Le prestataire est nommé lorsqu'il peut être identifié (par exemple Cloudflare), pour que vous sachiez quel tableau de bord ouvrir.
  • Délai dépassé ou erreur : la page n'a pas renvoyé de réponse exploitable.

Les incidents se ferment automatiquement dès que l'accès est rétabli. Utilisez Revérifier maintenant après avoir modifié le robots.txt ou vos règles de pare-feu, plutôt que d'attendre le prochain contrôle planifié.

Alertes

La règle d'alerte Incident d'accès bot vous prévient à l'ouverture d'un incident, une seule fois par incident. Voir Alertes.

Exporter

Les résultats des contrôles et les incidents sont disponibles via l'API : bot-access-results et bot-access-incidents.

Sur cette page