Quels crawlers IA peuvent lire votre site ?
Saisissez une URL : nous lisons votre robots.txt comme le font les crawlers, puis donnons le verdict pour 44 crawlers IA documentés (autorisé ou bloqué, la règle exacte qui a tranché et ce que vous coûte le blocage de chaque catégorie). Sans compte, et rien n'est conservé.
Une URL en entrée, un verdict par crawler en sortie
Saisissez l'URL d'une page
Nous résolvons d'abord les redirections, pour que la vérification porte sur l'origine qui sert votre site, puis récupérons son robots.txt une seule fois.
Nous évaluons chaque crawler IA documenté
Les jetons robots de chaque crawler sont confrontés à vos règles selon la sémantique RFC 9309 : la correspondance la plus longue l'emporte, jokers compris. La règle gagnante s'affiche à côté de chaque verdict.
Lisez le résultat par catégorie
Les robots d'indexation de recherche et de récupération pour assistants déterminent si les réponses d'IA peuvent vous voir et vous citer ; les robots d'entraînement n'affectent que l'entraînement futur des modèles. L'outil garde les deux décisions séparées.
Ce qu'un blocage robots.txt fait, et ne fait pas
robots.txt est le contrat documenté entre votre site et les robots respectueux des règles. Bloquer un robot de récupération retire vos pages des réponses que ce moteur construit ; bloquer un robot d'entraînement ne fait que retirer votre contenu de l'entraînement futur des modèles. Le fichier ne peut pas arrêter un acteur malveillant, et il n'en a pas besoin : les robots qui comptent pour la visibilité IA publient tous leurs jetons et respectent les règles.
Pourquoi nous ne sondons pas votre site avec des user agents de robots
Envoyer des requêtes qui se font passer pour GPTBot testerait la façon dont votre site traite un faux GPTBot, ce qui est autre chose : les CDN reconnaissent les vrais crawlers à leurs plages d'IP publiées, pas à la chaîne user agent. Une requête usurpée donnerait des réponses catégoriques, mais fausses. La lecture du robots.txt reflète le contrat que vous publiez.
Le blocage que personne ne se rappelle avoir écrit
La cause la plus fréquente d'une visibilité IA nulle n'est pas la qualité du contenu. C'est une règle anti-bots générale ajoutée il y a des années au niveau du CDN ou dans le robots.txt, souvent après une alerte au scraping, et qui bloque encore aujourd'hui chaque nouveau crawler IA. Si cet outil montre des crawlers de récupération bloqués et que vous ne vous rappelez pas l'avoir décidé, vous tenez votre correctif le plus rentable.
Les blocages CDN et pare-feu n'apparaîtront pas ici
Cet outil lit le robots.txt, c'est-à-dire les règles que vous publiez. Certains sites bloquent aussi les robots au niveau du CDN ou du pare-feu, ce qui est invisible à la lecture du robots.txt et peut contredire des règles permissives. La surveillance de l'accès des robots de Citlyze demande vos pages comme le ferait chaque robot, en continu : elle voit donc aussi ce niveau et vous alerte quand un crawler est bloqué.
L'accès est l'étape zéro. La visibilité est la mesure.
Ce vérificateur vous dit si les crawlers IA peuvent lire votre site. Citlyze vous dit ce que les moteurs IA disent ensuite de votre marque : mentions, citations et part de voix face aux concurrents, suivies à intervalle régulier.
GPTBot collecte du contenu pour l'entraînement des modèles ; OAI-SearchBot indexe pour les réponses de recherche de ChatGPT, et un user agent distinct récupère en direct les pages qu'un utilisateur demande. Bloquer le robot d'entraînement ne touche pas à votre visibilité dans la recherche ; bloquer les agents de recherche et de récupération vous retire des réponses de ChatGPT. La même distinction existe chez les autres fournisseurs, c'est pourquoi cet outil regroupe les verdicts par catégorie.
Une protection anti-bots au niveau du CDN ou du pare-feu peut bloquer les crawlers quoi que dise le robots.txt. Une lecture ponctuelle du robots.txt ne voit pas ce niveau ; des contrôles continus qui demandent la page comme le ferait chaque robot, si. C'est ce que fait la surveillance de l'accès des robots, avec une alerte et la cause quand l'accès est rompu.
C'est un arbitrage. Bloquer les robots d'entraînement tient votre contenu à l'écart des futurs entraînements de modèles, mais les modèles qui connaissent votre marque grâce à leurs données d'entraînement la mentionnent aussi dans des réponses qui ne passent jamais par la récupération en direct. Décidez selon votre activité, et séparez cette décision de l'accès en récupération, dont dépend la visibilité dans la recherche IA.
Non. Les deux récupérations ont lieu, les verdicts sont calculés en mémoire et le résultat est renvoyé à votre navigateur. Rien de la requête n'est conservé après la réponse.
L'IA vous recommande-t-elle quand vos acheteurs posent la question ?
Suivez comment ChatGPT, Gemini, Perplexity, DeepSeek, Grok, Google AI Overview & AI Mode et Bing Copilot mentionnent, citent et classent votre marque. Consultez les réponses suivies et les écarts à combler.
Sans carte bancaire
