Nouveau dans Citlyze : Brand FactCheck, Ask Citlyze, Shopping IA et Publicités dans l'IA
Vérificateur d'accès des crawlers IA

Quels crawlers IA peuvent lire votre site ?

Saisissez une URL : nous lisons votre robots.txt comme le font les crawlers, puis donnons le verdict pour 44 crawlers IA documentés (autorisé ou bloqué, la règle exacte qui a tranché et ce que vous coûte le blocage de chaque catégorie). Sans compte, et rien n'est conservé.

Comment ça marche

Une URL en entrée, un verdict par crawler en sortie

01

Saisissez l'URL d'une page

Nous résolvons d'abord les redirections, pour que la vérification porte sur l'origine qui sert votre site, puis récupérons son robots.txt une seule fois.

02

Nous évaluons chaque crawler IA documenté

Les jetons robots de chaque crawler sont confrontés à vos règles selon la sémantique RFC 9309 : la correspondance la plus longue l'emporte, jokers compris. La règle gagnante s'affiche à côté de chaque verdict.

03

Lisez le résultat par catégorie

Les robots d'indexation de recherche et de récupération pour assistants déterminent si les réponses d'IA peuvent vous voir et vous citer ; les robots d'entraînement n'affectent que l'entraînement futur des modèles. L'outil garde les deux décisions séparées.

Ce qu'un blocage robots.txt fait, et ne fait pas

robots.txt est le contrat documenté entre votre site et les robots respectueux des règles. Bloquer un robot de récupération retire vos pages des réponses que ce moteur construit ; bloquer un robot d'entraînement ne fait que retirer votre contenu de l'entraînement futur des modèles. Le fichier ne peut pas arrêter un acteur malveillant, et il n'en a pas besoin : les robots qui comptent pour la visibilité IA publient tous leurs jetons et respectent les règles.

Pourquoi nous ne sondons pas votre site avec des user agents de robots

Envoyer des requêtes qui se font passer pour GPTBot testerait la façon dont votre site traite un faux GPTBot, ce qui est autre chose : les CDN reconnaissent les vrais crawlers à leurs plages d'IP publiées, pas à la chaîne user agent. Une requête usurpée donnerait des réponses catégoriques, mais fausses. La lecture du robots.txt reflète le contrat que vous publiez.

Le blocage que personne ne se rappelle avoir écrit

La cause la plus fréquente d'une visibilité IA nulle n'est pas la qualité du contenu. C'est une règle anti-bots générale ajoutée il y a des années au niveau du CDN ou dans le robots.txt, souvent après une alerte au scraping, et qui bloque encore aujourd'hui chaque nouveau crawler IA. Si cet outil montre des crawlers de récupération bloqués et que vous ne vous rappelez pas l'avoir décidé, vous tenez votre correctif le plus rentable.

Les blocages CDN et pare-feu n'apparaîtront pas ici

Cet outil lit le robots.txt, c'est-à-dire les règles que vous publiez. Certains sites bloquent aussi les robots au niveau du CDN ou du pare-feu, ce qui est invisible à la lecture du robots.txt et peut contredire des règles permissives. La surveillance de l'accès des robots de Citlyze demande vos pages comme le ferait chaque robot, en continu : elle voit donc aussi ce niveau et vous alerte quand un crawler est bloqué.

La question suivante

L'accès est l'étape zéro. La visibilité est la mesure.

Ce vérificateur vous dit si les crawlers IA peuvent lire votre site. Citlyze vous dit ce que les moteurs IA disent ensuite de votre marque : mentions, citations et part de voix face aux concurrents, suivies à intervalle régulier.

FAQ

L'accès des crawlers, expliqué

Envie d'une démo de Citlyze ? Réserver une démo

GPTBot collecte du contenu pour l'entraînement des modèles ; OAI-SearchBot indexe pour les réponses de recherche de ChatGPT, et un user agent distinct récupère en direct les pages qu'un utilisateur demande. Bloquer le robot d'entraînement ne touche pas à votre visibilité dans la recherche ; bloquer les agents de recherche et de récupération vous retire des réponses de ChatGPT. La même distinction existe chez les autres fournisseurs, c'est pourquoi cet outil regroupe les verdicts par catégorie.

L'IA vous recommande-t-elle quand vos acheteurs posent la question ?

Suivez comment ChatGPT, Gemini, Perplexity, DeepSeek, Grok, Google AI Overview & AI Mode et Bing Copilot mentionnent, citent et classent votre marque. Consultez les réponses suivies et les écarts à combler.

Sans carte bancaire

Une responsable marketing lisant une réponse IA sur un ordinateur portable près d'une fenêtre