Extension WordPress

AI Crawler Control by Citlyze est une extension WordPress gratuite en deux parties. Les outils gratuits fonctionnent sans compte : ils montrent quels crawlers IA votre robots.txt laisse passer, nomment ce qui bloque les autres et vous permettent de bloquer l'entraînement IA tout en restant dans la recherche IA. Connecter l'extension à Citlyze ajoute le suivi des visites des crawlers IA et des visites venant des réponses IA, décrit dans Installer le suivi des crawlers IA.

Installation

1. Dans l'admin WordPress, allez dans Extensions → Ajouter, cherchez AI Crawler Control by Citlyze, puis cliquez sur Installer maintenant et Activer.
2. Ouvrez Citlyze → AI crawler access dans le menu d'administration. La vérification démarre aussitôt.

Les outils gratuits ne demandent ni compte, ni clé, ni configuration.

Voir quels crawlers IA peuvent lire votre site

Citlyze → AI crawler access lit le robots.txt que vos visiteurs reçoivent réellement, y compris ce qu'un cache ou un CDN modifie, et l'évalue pour chaque crawler IA connu. Les crawlers sont regroupés selon ce que leur blocage change :

• Les crawlers de recherche IA construisent les index que citent la recherche ChatGPT, Perplexity, Claude et les autres réponses IA. Les bloquer vous retire de ces réponses.
• Les assistants IA récupèrent une page quand quelqu'un interroge un assistant à son sujet.
• Les crawlers d'entraînement IA collectent du contenu pour entraîner des modèles. Les bloquer écarte votre contenu des futurs entraînements ; cela ne vous retire pas des réponses IA.
• Les moteurs de recherche comme Googlebot et Bingbot sont affichés pour que vous les voyiez, mais l'extension ne les bloque jamais.

Pour chaque crawler bloqué, le tableau indique d'où vient la règle : WordPress, une extension ou un thème nommé, le fichier robots.txt de votre serveur, le robots.txt géré par Cloudflare, ou votre serveur ou CDN.

Au-dessus du tableau, la vérification liste ce qui fait obstacle :

• La visibilité pour les moteurs de recherche désactivée dans Réglages → Lecture.
• Un fichier robots.txt sur votre serveur, qui remplace celui que génère WordPress.
• Un robots.txt lent à charger, ou qui ne charge pas.
• Des moteurs de recherche ou des crawlers de recherche IA bloqués par une autre extension.
• Des hébergeurs et extensions de sécurité qui peuvent refouler les crawlers avant la lecture du robots.txt, comme Cloudflare, WP Engine ou Wordfence.

Choisir les règles pour les crawlers IA

Sous Your AI crawler rules, choisissez :

• Don't add rules (par défaut) : votre robots.txt reste tel quel.
• Block AI training, stay in AI search : bloque les crawlers d'entraînement comme GPTBot, ClaudeBot, Google-Extended et CCBot, et laisse passer OAI-SearchBot, PerplexityBot et les assistants.
• Block all AI crawlers : vous retire aussi des réponses IA.
• Custom : choisissez les crawlers un par un.

Avant d'enregistrer, l'aperçu montre les lignes exactes et le nombre de crawlers de chaque groupe qui restent autorisés. Les règles sont placées dans un bloc balisé à la fin de votre robots.txt, après ce qu'écrivent les autres extensions, et les crawlers que vous autorisez continuent de suivre vos règles existantes. Undo last change rétablit votre choix précédent.

Google-Extended contrôle si Gemini utilise votre contenu pour l'entraînement et pour ancrer ses réponses dans l'application Gemini et Vertex AI. Il n'a aucun effet sur Google Search, les AI Overviews ou AI Mode.

Activez Also declare my choice with a Content-Signal line pour ajouter une ligne Content-Signal qui déclare votre préférence aux crawlers qui la lisent. Elle exprime une préférence ; elle n'impose rien.

Si votre serveur a un fichier robots.txt, ou si WordPress tourne dans un sous-dossier, WordPress ne peut pas servir ces règles. L'écran les affiche avec un bouton Copy rules pour les coller dans le fichier.

Des règles pour certaines parties du site

Sous Parts of your site, après le choix pour tout le site, ajoutez un chemin comme /members/ ou /downloads/ et choisissez qui écarter :

• AI training crawlers : GPTBot, ClaudeBot, Google-Extended, CCBot et les autres crawlers d'entraînement.
• All AI crawlers : aussi les crawlers de recherche IA et les assistants, si bien que les pages de cette section disparaissent des réponses IA.

Les moteurs de recherche ne sont jamais concernés. Les chemins fonctionnent comme dans robots.txt : ils commencent par une barre oblique, * remplace n'importe quels caractères et un $ final marque la fin de l'adresse, donc /*.pdf$ couvre tous les PDF. Vous pouvez ajouter jusqu'à 20 sections.

Un crawler qui reçoit son propre groupe dans robots.txt cesse de suivre les règles écrites pour tous les crawlers (User-agent: *), donc l'extension répète ces règles dans son groupe. Hors de vos sections, rien ne change pour ce crawler. Sous Crawler by crawler, un crawler écarté d'une section apparaît comme Limited, avec les sections qu'il ne peut pas lire.

Préparation IA dans l'éditeur

Chaque article et chaque page reçoit un panneau AI readiness dans la barre latérale de l'éditeur de blocs, ou un encadré AI readiness dans l'éditeur classique. Il note la page pour les réponses IA de 0 à 100 avec les mêmes vérifications que l'extension Chrome de Citlyze et le correcteur AEO gratuit : une page publiée obtient donc la même note avec les trois.

• Pendant la rédaction, le panneau vérifie votre contenu : titres formulés en questions, réponse courte sous chaque titre, tableaux et listes.
• Après l'enregistrement, il note la page entière telle que les crawlers la reçoivent : accès des crawlers IA pour cette URL précise, indexabilité, un H1 clair, balisage schema, titre et méta-description. Les brouillons sont notés depuis leur aperçu, en ignorant le noindex que WordPress ajoute aux aperçus.

Chaque vérification insuffisante indique quoi changer. Avant la publication, le panneau de prépublication liste les vérifications de contenu encore en échec.

Suggestions IA

Avec WordPress 7.0 ou plus récent et un fournisseur d'IA configuré dans WordPress, le panneau peut aider pour deux vérifications. Sous Question-shaped headings, Suggest a question reformule un intertitre en question qu'un lecteur poserait. Sous Short answers under headings, Draft a short answer rédige une réponse de 40 à 60 mots à partir du texte sous l'intertitre. Vous lisez d'abord chaque suggestion : Insert l'ajoute à l'article en texte brut, et l'annulation de l'éditeur la retire.

Seulement quand vous cliquez, l'intertitre et jusqu'à environ 4 000 caractères du texte qui le suit partent vers le fournisseur d'IA configuré dans WordPress. Rien n'est envoyé à Citlyze. Sans fournisseur, le panneau n'affiche aucune suggestion.

Ce que les outils gratuits envoient

Rien vers Citlyze. Les vérifications tournent dans votre admin WordPress et votre navigateur, et ne lisent que votre propre site. Les suggestions IA de l'éditeur envoient un intertitre et le texte qui le suit au fournisseur d'IA configuré dans WordPress, et seulement quand vous cliquez. Des données ne partent vers Citlyze que si vous connectez Citlyze pour le suivi.

Connecter Citlyze

Le robots.txt indique ce que les crawlers peuvent lire, pas ce qu'ils lisent réellement. Pour voir les visites vérifiées des crawlers IA et les réponses IA qui vous envoient des visiteurs, créez une clé de site dans Citlyze et saisissez-la dans Citlyze → Connect Citlyze. Les étapes sont dans Installer le suivi des crawlers IA. Pour vérifier chaque jour que les crawlers IA peuvent réellement récupérer vos pages, voir Accès des bots.