Extension WordPress
Des outils gratuits pour contrôler les crawlers IA sur WordPress, et un suivi facultatif dans Citlyze.
AI Crawler Control by Citlyze est une extension WordPress gratuite en deux parties. Les outils gratuits fonctionnent sans compte : ils montrent quels crawlers IA votre robots.txt laisse passer, identifient ce qui bloque les autres et vous permettent de bloquer l'entraînement des IA tout en restant présent dans la recherche IA. Si vous connectez l'extension à Citlyze, vous bénéficiez en plus du suivi des visites des crawlers IA et des visites issues des réponses IA, décrit dans Installer le suivi des robots d'IA.
Installation
- Dans l'administration WordPress, allez dans Extensions → Ajouter, recherchez AI Crawler Control by Citlyze, puis cliquez sur Installer maintenant et Activer.
- Ouvrez Citlyze → AI crawler access dans le menu d'administration. La vérification démarre aussitôt.
Les outils gratuits ne demandent ni compte, ni clé, ni configuration.
Voir quels crawlers IA peuvent lire votre site
Citlyze → AI crawler access lit le robots.txt que vos visiteurs reçoivent réellement, y compris les modifications apportées par un cache ou un CDN, et l'évalue pour chaque crawler IA connu. Les crawlers sont regroupés selon l'effet de leur blocage :
- Les crawlers de recherche IA construisent les index que citent la recherche ChatGPT, Perplexity, Claude et les autres réponses IA. Les bloquer vous fait disparaître de ces réponses.
- Les assistants IA récupèrent une page lorsque quelqu'un interroge un assistant à son sujet.
- Les crawlers d'entraînement IA collectent du contenu pour entraîner des modèles. Les bloquer tient votre contenu à l'écart des futurs entraînements, mais ne vous fait pas disparaître des réponses IA.
- Les moteurs de recherche comme Googlebot et Bingbot figurent dans la liste à titre d'information, mais l'extension ne les bloque jamais.
Pour chaque crawler bloqué, le tableau indique d'où vient la règle : WordPress, une extension ou un thème (nommé), le fichier robots.txt de votre serveur, le robots.txt géré par Cloudflare, ou votre serveur ou votre CDN.
Au-dessus du tableau, la vérification liste tout ce qui fait obstacle :
- La visibilité pour les moteurs de recherche désactivée dans Réglages → Lecture.
- Un fichier robots.txt présent sur votre serveur, qui remplace celui que génère WordPress.
- Un robots.txt lent à charger, ou qui ne se charge pas du tout.
- Des moteurs de recherche ou des crawlers de recherche IA bloqués par une autre extension.
- Des hébergeurs et des extensions de sécurité qui peuvent refouler les crawlers avant même la lecture du robots.txt, comme Cloudflare, WP Engine ou Wordfence.
Choisir les règles pour les crawlers IA
Sous Your AI crawler rules, choisissez une option :
- Don't add rules (par défaut) : votre robots.txt reste tel quel.
- Block AI training, stay in AI search : bloque les crawlers d'entraînement comme GPTBot, ClaudeBot et CCBot, et laisse passer OAI-SearchBot, PerplexityBot et les assistants. Google-Extended reste autorisé, sauf si vous cochez Also block Google-Extended.
- Block all AI crawlers : vous fait aussi disparaître des réponses IA.
- Custom : choisissez les crawlers un par un.
Avant l'enregistrement, l'aperçu affiche les lignes exactes et le nombre de crawlers de chaque groupe qui restent autorisés. Les règles sont placées dans un bloc identifié à la fin de votre robots.txt, après ce qu'écrivent les autres extensions, et les crawlers que vous autorisez continuent de suivre vos règles existantes. Undo last change rétablit votre choix précédent.
Google-Extended détermine si Gemini utilise votre contenu pour son entraînement et pour étayer ses réponses dans l'application Gemini et dans Vertex AI. C'est pourquoi Block AI training, stay in AI search le laisse passer : le bloquer retire aussi vos pages des réponses de l'application Gemini. Il n'a aucun effet sur la recherche Google, les AI Overviews ou AI Mode.
Activez Also declare my choice with a Content-Signal line pour ajouter
une ligne Content-Signal qui indique votre préférence aux crawlers qui la
lisent. Cette ligne exprime une préférence ; elle n'impose rien.
Si un fichier robots.txt existe sur votre serveur, ou si WordPress est installé dans un sous-dossier, WordPress ne peut pas servir ces règles. L'écran les affiche alors avec un bouton Copy rules pour que vous puissiez les coller dans le fichier.
Des règles pour certaines parties du site
Sous Parts of your site, après le choix qui s'applique à tout le site,
ajoutez un chemin comme /members/ ou /downloads/ et choisissez les
crawlers à tenir à l'écart :
- AI training crawlers : GPTBot, ClaudeBot, Google-Extended, CCBot et les autres crawlers d'entraînement.
- All AI crawlers : les crawlers de recherche IA et les assistants également, si bien que les pages de cette section disparaissent des réponses IA.
Les moteurs de recherche ne sont jamais concernés. Les chemins fonctionnent
comme dans le robots.txt : ils commencent par une barre oblique, *
correspond à n'importe quelle suite de caractères et un $ final marque la
fin de l'adresse ; ainsi, /*.pdf$ couvre tous les PDF. Vous pouvez ajouter
jusqu'à 20 sections.
Un crawler qui dispose de son propre groupe dans le robots.txt cesse de
suivre les règles écrites pour tous les crawlers (User-agent: *) :
l'extension recopie donc ces règles dans son groupe. En dehors de vos
sections, rien ne change pour ce crawler. Sous Crawler by crawler, un
crawler tenu à l'écart d'une section apparaît comme Limited, avec les
sections qu'il ne peut pas lire.
Le panneau AI readiness dans l'éditeur
Chaque article et chaque page disposent d'un panneau AI readiness dans la barre latérale de l'éditeur de blocs, ou d'un encadré AI readiness dans l'éditeur classique. Il attribue à la page une note de 0 à 100 pour les réponses IA, avec les mêmes vérifications que l'extension Chrome de Citlyze et l'outil gratuit d'évaluation AEO : une page publiée obtient donc la même note dans les trois outils.
- Pendant la rédaction, le panneau vérifie votre contenu : intertitres formulés en questions, réponse courte sous chaque intertitre, tableaux et listes.
- Après l'enregistrement, il évalue la page entière telle que les crawlers la reçoivent : accès des crawlers IA à cette URL précise, indexabilité, présence d'un H1 clair, balisage schema, balise title et méta-description. Les brouillons sont évalués à partir de leur aperçu, sans tenir compte du noindex que WordPress ajoute aux aperçus.
Pour chaque vérification non satisfaite, le panneau indique ce qu'il faut modifier. Avant la publication, le panneau de prépublication liste les vérifications de contenu qui ne sont pas encore satisfaites.
Suggestions IA
À partir de WordPress 7.0, si un fournisseur d'IA est configuré dans WordPress, le panneau peut vous aider sur deux vérifications. Sous Question-shaped headings, Suggest a question reformule un intertitre sous la forme de la question qu'un lecteur poserait. Sous Short answers under headings, Draft a short answer rédige une réponse de 40 à 60 mots à partir du texte situé sous l'intertitre. Chaque suggestion vous est d'abord soumise : Insert l'ajoute à l'article en texte brut, et la commande Annuler de l'éditeur permet de la retirer.
C'est uniquement lorsque vous cliquez que l'intertitre et jusqu'à 4 000 caractères environ du texte qui le suit sont envoyés au fournisseur d'IA configuré dans WordPress. Rien n'est envoyé à Citlyze. Sans fournisseur, le panneau n'affiche aucune suggestion.
Surveillance continue
Une fois par jour, l'extension vérifie, depuis votre serveur, le robots.txt que reçoivent les crawlers. Si quelque chose que vous n'avez pas choisi se met à bloquer les crawlers de recherche IA, les assistants IA ou les moteurs de recherche, si le robots.txt ne se charge plus, ou si WordPress se met à demander aux moteurs de recherche de ne pas indexer le site, un message s'affiche pour les administrateurs sur le Tableau de bord, l'écran des extensions et les écrans Citlyze, et Outils → Santé du site le signale. Les règles que vous avez choisies sous Your AI crawler rules ne déclenchent jamais d'alerte, et le message disparaît une fois le changement annulé.
Pour recevoir aussi un e-mail, activez Also email me when that happens dans la carte Keep watching. L'e-mail est envoyé à l'adresse d'administration du site, une fois par changement. Santé du site → Infos contient une section AI Crawler Control avec les derniers résultats, bien pratique lorsque vous contactez le support.
llms.txt
Citlyze → llms.txt repère le fichier llms.txt servi par votre site, quel que soit l'outil qui le génère, et le compare au format llmstxt.org : titre, résumé, sections, format des liens et taille.
Si votre site n'en a pas, activez Serve an llms.txt from this site. L'extension sert alors un court fichier qui liste vos pages et vos articles récents, mis à jour à chaque publication, en laissant de côté les articles que votre extension SEO marque en noindex et ceux protégés par mot de passe. Si un fichier présent sur votre serveur ou une autre extension, comme Yoast SEO ou Rank Math, fournit déjà un llms.txt, l'extension n'en sert pas un second.
Aucun grand moteur IA n'a indiqué officiellement lire le llms.txt : considérez-le comme facultatif. Votre robots.txt compte davantage, car c'est lui qui détermine si les crawlers IA peuvent accéder à votre site.
Agents IA
À partir de WordPress 6.9, l'extension enregistre des capacités en lecture seule que peuvent utiliser les agents IA connectés via l'Abilities API de WordPress et l'adaptateur MCP : lister les crawlers IA que l'extension connaît, consulter l'accès des crawlers IA à votre site et ce qui le détermine, et consulter l'état de votre llms.txt. Seuls les agents des administrateurs peuvent les utiliser, et aucune ne modifie quoi que ce soit sur votre site.
Ce que les outils gratuits envoient
Rien à Citlyze. Les vérifications s'exécutent dans votre administration WordPress et dans votre navigateur, et ne lisent que votre propre site. Les suggestions IA de l'éditeur envoient un intertitre et le texte qui le suit au fournisseur d'IA configuré dans WordPress, et uniquement lorsque vous cliquez. Des données ne sont envoyées à Citlyze que si vous connectez Citlyze pour le suivi.
Connecter Citlyze
Le robots.txt indique ce que les crawlers ont le droit de lire, pas ce qu'ils lisent réellement. Pour voir les visites vérifiées des crawlers IA et les réponses IA qui vous envoient des visiteurs, créez une clé de site dans Citlyze et saisissez-la dans Citlyze → Connect Citlyze. La marche à suivre est décrite dans Installer le suivi des robots d'IA. Pour vérifier chaque jour que les crawlers IA peuvent réellement récupérer vos pages, voir Accès des bots.
Brouillons depuis Citlyze
Une fois le site connecté, un brouillon de contenu passe de Citlyze à WordPress sans copier-coller. Ouvrez le brouillon dans Citlyze, choisissez Exporter → Envoyer vers WordPress, puis sélectionnez le site. Il arrive dans Articles sous forme de brouillon WordPress, avec son titre, son texte, son extrait et le slug proposé. Votre site vérifie une fois par heure si de nouveaux brouillons l'attendent ; Check for drafts now, dans Citlyze → Connect Citlyze, les récupère tout de suite.
Rien n'est publié : vous relisez et publiez dans WordPress. Renvoyer le même brouillon met à jour ce brouillon WordPress tant qu'il n'est pas publié, et WordPress conserve l'ancien texte comme révision. Un article publié n'est jamais modifié. Citlyze ne détient aucun mot de passe de votre site. Pour ne plus recevoir de brouillons, décochez Receive drafts from Citlyze sur le même écran.