WordPress-plugin

AI Crawler Control by Citlyze is een gratis WordPress-plugin met twee delen. De gratis tools werken zonder account: ze laten zien welke AI-crawlers je robots.txt doorlaat, noemen wat de rest blokkeert en laten je AI-training blokkeren terwijl je in AI-zoeken blijft. Koppel je de plugin aan Citlyze, dan komt tracking van AI-crawlerbezoeken en bezoeken vanuit AI-antwoorden erbij, zoals beschreven in AI-crawlertracking installeren.

Installeren

1. Ga in WordPress-admin naar Plugins → Nieuwe toevoegen, zoek naar AI Crawler Control by Citlyze en klik op Nu installeren en Activeren.
2. Open Citlyze → AI crawler access in het beheermenu. De controle start meteen.

De gratis tools hebben geen account, sleutel of instellingen nodig.

Controleren welke AI-crawlers je site kunnen lezen

Citlyze → AI crawler access leest de robots.txt die je bezoekers echt ontvangen, inclusief alles wat een cache of CDN verandert, en beoordeelt die voor elke bekende AI-crawler. De crawlers zijn gegroepeerd naar wat blokkeren verandert:

• AI-zoekcrawlers bouwen de indexen die ChatGPT-zoeken, Perplexity, Claude en andere AI-antwoorden citeren. Ze blokkeren haalt je uit die antwoorden.
• AI-assistenten halen een pagina op als iemand een assistent ernaar vraagt.
• AI-trainingscrawlers verzamelen content om modellen te trainen. Ze blokkeren houdt je content uit toekomstige training; uit AI-antwoorden verdwijn je er niet door.
• Zoekmachines zoals Googlebot en Bingbot staan erbij zodat je ze ziet, maar de plugin blokkeert ze nooit.

Voor elke geblokkeerde crawler noemt de tabel waar de regel vandaan komt: WordPress, een bepaalde plugin of een bepaald thema, het robots.txt-bestand op je server, de beheerde robots.txt van Cloudflare, of je server of CDN.

Boven de tabel somt de controle op wat in de weg zit:

• Zichtbaarheid voor zoekmachines uitgezet onder Instellingen → Lezen.
• Een robots.txt-bestand op je server, dat de robots.txt van WordPress vervangt.
• Een robots.txt die traag of helemaal niet laadt.
• Zoekmachines of AI-zoekcrawlers die een andere plugin blokkeert.
• Hosts en beveiligingsplugins die crawlers kunnen weigeren voordat robots.txt wordt gelezen, zoals Cloudflare, WP Engine of Wordfence.

Regels voor AI-crawlers kiezen

Kies onder Your AI crawler rules:

• Don't add rules (standaard): je robots.txt blijft zoals hij is.
• Block AI training, stay in AI search: blokkeert trainingscrawlers zoals GPTBot, ClaudeBot, Google-Extended en CCBot, en laat OAI-SearchBot, PerplexityBot en de assistenten door.
• Block all AI crawlers: haalt je ook uit AI-antwoorden.
• Custom: kies crawlers één voor één.

Voor je opslaat, toont het voorbeeld de exacte regels en hoeveel crawlers per groep toegestaan blijven. De regels komen in een gemarkeerd blok aan het einde van je robots.txt, na alles wat andere plugins schrijven, en toegestane crawlers blijven je bestaande regels volgen. Undo last change zet je vorige keuze terug.

Google-Extended bepaalt of Gemini je content gebruikt voor training en voor het onderbouwen van antwoorden in de Gemini-app en Vertex AI. Het heeft geen effect op Google Zoeken, AI Overviews of AI Mode.

Zet Also declare my choice with a Content-Signal line aan om een Content-Signal-regel toe te voegen die je voorkeur meldt aan crawlers die hem lezen. Hij geeft een voorkeur aan; afdwingen doet hij niets.

Staat er een robots.txt-bestand op je server, of draait WordPress in een submap, dan kan WordPress deze regels niet serveren. Het scherm toont ze dan met een knop Copy rules, zodat je ze in het bestand kunt plakken.

Regels voor delen van je site

Voeg onder Parts of your site, onder de keuze voor de hele site, een pad toe zoals /members/ of /downloads/ en kies wie je buiten houdt:

• AI training crawlers: GPTBot, ClaudeBot, Google-Extended, CCBot en de andere trainingscrawlers.
• All AI crawlers: ook AI-zoekcrawlers en assistenten, zodat pagina's in die sectie uit AI-antwoorden verdwijnen.

Zoekmachines vallen er nooit onder. Paden werken zoals in robots.txt: ze beginnen met een schuine streep, * staat voor willekeurige tekens en een $ aan het eind markeert het einde van het adres, dus /*.pdf$ dekt elke pdf. Je kunt tot 20 secties toevoegen.

Een crawler die een eigen groep in robots.txt krijgt, volgt de regels voor alle crawlers (User-agent: *) niet meer, dus de plugin herhaalt die regels in zijn groep. Buiten je secties verandert er voor die crawler niets. Onder Crawler by crawler staat een crawler die uit een sectie wordt geweerd als Limited, met de secties die hij niet kan lezen.

AI-gereedheid in de editor

Elk bericht en elke pagina krijgt een paneel AI readiness in de zijbalk van de blokeditor, of een vak AI readiness in de klassieke editor. Het beoordeelt de pagina voor AI-antwoorden van 0 tot 100 met dezelfde controles als de Chrome-extensie van Citlyze en de gratis AEO-grader, dus een gepubliceerde pagina krijgt overal dezelfde score.

• Terwijl je schrijft controleert het paneel je content: koppen in vraagvorm, een kort antwoord onder elke kop, en tabellen en lijsten.
• Na het opslaan beoordeelt het de hele pagina zoals crawlers die ontvangen: AI-crawlertoegang voor precies die URL, of de pagina geïndexeerd kan worden, één duidelijke H1, schema-markup, en de titel en metabeschrijving. Concepten worden beoordeeld via hun voorbeeld, waarbij de noindex die WordPress aan voorbeelden toevoegt wordt genegeerd.

Elke controle die tekortschiet, zegt wat je moet aanpassen. Voor je publiceert, somt het paneel vóór publicatie de contentcontroles op die nog falen.

AI-suggesties

Vanaf WordPress 7.0, met een AI-provider ingesteld in WordPress, helpt het paneel bij twee controles. Onder Question-shaped headings herschrijft Suggest a question een kop als de vraag die een lezer zou stellen. Onder Short answers under headings schrijft Draft a short answer een antwoord van 40 tot 60 woorden op basis van de tekst onder de kop. Je leest elke suggestie eerst: Insert zet hem als platte tekst in het bericht, en Ongedaan maken in de editor haalt hem weer weg.

Alleen als je klikt, gaan de kop en tot ongeveer 4.000 tekens van de tekst eronder naar de AI-provider die in WordPress is ingesteld. Er gaat niets naar Citlyze. Zonder provider toont het paneel geen suggesties.

Wat de gratis tools versturen

Niets naar Citlyze. De controles draaien in je WordPress-beheer en je browser, en lezen alleen je eigen site. AI-suggesties in de editor sturen een kop en de tekst eronder naar de AI-provider die in WordPress is ingesteld, en alleen als je klikt. Er gaan alleen gegevens naar Citlyze als je Citlyze koppelt voor tracking.

Citlyze koppelen

Robots.txt zegt wat crawlers mogen lezen, niet wat ze echt lezen. Om geverifieerde AI-crawlerbezoeken te zien en de AI-antwoorden die je bezoekers sturen, maak je in Citlyze een sitesleutel aan en vul je die in onder Citlyze → Connect Citlyze. De stappen staan in AI-crawlertracking installeren. Voor dagelijkse controles of AI-crawlers je pagina's echt kunnen ophalen, zie Bottoegang.