Sachez quand les crawlers IA perdent l'accès à votre site
La surveillance de l'accès des robots vérifie en continu que les crawlers IA peuvent atteindre vos pages clés. Une vérification du robots.txt datant du mois dernier ne dit rien de la situation actuelle : Citlyze teste donc à nouveau chaque crawler sur vos pages et vous prévient dès qu'un accès est bloqué, en précisant à quel niveau.
Essai gratuit de 14 jours · Sans carte bancaire
Bot access
Robots policy vs live responses · checked continuously
Adopté par des équipes marketing, SEO et des agences.
- ChatGPT
- Gemini
- Perplexity
- DeepSeek
- Grok
- Google AI Overview & AI Mode
- Bing Copilot
Bot access
Robots policy vs live responses · checked continuously
Chaque page surveillée, vérifiée robot par robot
Votre page d'accueil et vos pages les plus citées sont surveillées automatiquement. Ajoutez les autres pages que vous ne pouvez pas vous permettre de laisser invisibles.
- Règles robots.txt comparées aux réponses réelles
- Statut de chaque crawler IA qui compte
- Pages surveillées présélectionnées à partir de vos URL les plus citées
Open incident
PerplexityBot · /pricing
Firewall/CDN block · cloudflare
The request was rejected before your app answered. Check your bot rules and allow this crawler.
Aug 15
first seen
2h ago
last check
Email + Slack
alerted
Resolves automatically when access recovers.
Auto-resolveUne alerte qui précise la cause
Quand un robot perd l'accès, l'incident précise à quel niveau il a été bloqué : vous savez quel tableau de bord ouvrir.
- Blocages robots.txt distingués des blocages pare-feu et CDN
- Fournisseur à l'origine du blocage indiqué quand il est identifiable
- Les incidents se clôturent automatiquement dès que l'accès est rétabli
AI crawler traffic
Signed server-side requests · last 30 days
2,442
crawler hits
86
URLs requested
GPTBot
top crawler
Daily hits
+22%Bot breakdown
Une surveillance qui respecte vos règles
Les robots que vous bloquez volontairement ne déclenchent rien. Seules les régressions ouvrent un incident.
- Les règles robots.txt délibérées ne sont pas signalées comme incidents
- Surveillez de 5 à 100 pages selon le forfait
- Associé au suivi des crawlers IA pour confirmer le retour des robots
Le robots.txt ne fait que fixer les règles. Les pare-feu et les protections anti-bots des CDN agissent avant même que votre site ne réponde, et leurs règles par défaut bloquent souvent les crawlers IA au passage. Ce type de blocage est invisible à la simple lecture du robots.txt ; il n'apparaît que si l'on demande la page comme le ferait un robot.
Oui, et c'est la panne silencieuse la plus courante. Une règle anti-bots durcie contre les scrapers peut emporter les crawlers IA avec elle, sans que rien ne change en apparence sur votre site. Des contrôles continus détectent la régression au moment où elle se produit, et non des mois plus tard.
Un blocage robots.txt relève de vos règles publiées : il se corrige en modifiant une règle Disallow. Un blocage pare-feu ou CDN se produit dans l'infrastructure, avant que la page ne soit servie : il se corrige dans les réglages anti-bots de votre fournisseur. Les incidents Citlyze indiquent lequel des deux s'est produit, et le fournisseur quand il est identifiable.
Un incident s'ouvre pour ce robot et cette page, avec sa cause, et la règle d'alerte Incident d'accès des robots peut vous prévenir par e-mail, Slack ou Teams. Quand l'accès est rétabli, l'incident se clôt automatiquement. Après avoir modifié le robots.txt ou les règles du pare-feu, le bouton Revérifier maintenant confirme aussitôt le correctif.
La surveillance de l'accès des robots couvre 5 pages avec Starter, 25 avec Growth et 100 avec Pro et au-delà. Votre page d'accueil et vos pages les plus citées sont ajoutées automatiquement, et vous pouvez en ajouter d'autres dans la limite de votre forfait.
La surveillance de l'accès des robots répond à la question « les robots peuvent-ils atteindre mes pages ? » par des contrôles actifs. Le suivi des crawlers IA répond à « le font-ils ? » en enregistrant les visites réelles des crawlers. En combinant les deux, une régression d'accès apparaît des deux côtés : l'incident vous dit pourquoi, et les données de visite confirment le retour des robots.
Le vérificateur gratuit lit une seule fois le robots.txt d'une page, et le précise : une simple lecture du robots.txt ne permet pas de voir les blocages CDN ou pare-feu. La surveillance demande vos pages comme le ferait chaque robot, à intervalles réguliers : elle voit donc aussi l'infrastructure et vous alerte quand quelque chose change.
Oui. Les contrôles demandent vos pages depuis l'extérieur, exactement comme un robot, si bien que Cloudflare et les services similaires font partie de ce qui est testé. Une réserve : les contrôles utilisent le user agent de chaque robot depuis les serveurs Citlyze, donc les sites qui n'autorisent que les plages d'IP vérifiées des robots peuvent apparaître bloqués ici alors que le vrai robot passe.
Non. Une règle robots.txt délibérée est traitée comme une politique, pas comme un problème, et les robots dédiés à l'entraînement sont exclus des alertes d'incident, car les bloquer est généralement intentionnel. Les alertes concernent les régressions : un robot qui pouvait atteindre une page et qui soudain ne le peut plus.
Continuez à explorer
L'IA vous recommande-t-elle quand vos acheteurs posent la question ?
Suivez comment ChatGPT, Gemini, Perplexity, DeepSeek, Grok, Google AI Overview & AI Mode et Bing Copilot mentionnent, citent et classent votre marque. Consultez les réponses suivies et les écarts à combler.
Sans carte bancaire
