citlyze docs
Citlyze gebruiken

WordPress-plugin

Gratis controle over AI-crawlers voor WordPress, met optionele tracking in Citlyze.

AI Crawler Control by Citlyze is een gratis WordPress-plugin met twee delen. De gratis tools werken zonder account: ze laten zien welke AI-crawlers je robots.txt doorlaat, noemen wat de rest blokkeert en laten je AI-training blokkeren terwijl je in AI-zoeken blijft. Koppel je de plugin aan Citlyze, dan komt tracking van AI-crawlerbezoeken en bezoeken vanuit AI-antwoorden erbij, zoals beschreven in AI-crawlertracking installeren.

Installeren

  1. Ga in WordPress-admin naar Plugins → Nieuwe toevoegen, zoek naar AI Crawler Control by Citlyze en klik op Nu installeren en Activeren.
  2. Open Citlyze → AI crawler access in het beheermenu. De controle start meteen.

De gratis tools hebben geen account, sleutel of instellingen nodig.

Controleren welke AI-crawlers je site kunnen lezen

Citlyze → AI crawler access leest de robots.txt die je bezoekers echt ontvangen, inclusief alles wat een cache of CDN verandert, en beoordeelt die voor elke bekende AI-crawler. De crawlers zijn gegroepeerd naar wat blokkeren verandert:

  • AI-zoekcrawlers bouwen de indexen die ChatGPT-zoeken, Perplexity, Claude en andere AI-antwoorden citeren. Ze blokkeren haalt je uit die antwoorden.
  • AI-assistenten halen een pagina op als iemand een assistent ernaar vraagt.
  • AI-trainingscrawlers verzamelen content om modellen te trainen. Ze blokkeren houdt je content uit toekomstige training; uit AI-antwoorden verdwijn je er niet door.
  • Zoekmachines zoals Googlebot en Bingbot staan erbij zodat je ze ziet, maar de plugin blokkeert ze nooit.

Voor elke geblokkeerde crawler noemt de tabel waar de regel vandaan komt: WordPress, een bepaalde plugin of een bepaald thema, het robots.txt-bestand op je server, de beheerde robots.txt van Cloudflare, of je server of CDN.

Boven de tabel somt de controle op wat in de weg zit:

  • Zichtbaarheid voor zoekmachines uitgezet onder Instellingen → Lezen.
  • Een robots.txt-bestand op je server, dat de robots.txt van WordPress vervangt.
  • Een robots.txt die traag of helemaal niet laadt.
  • Zoekmachines of AI-zoekcrawlers die een andere plugin blokkeert.
  • Hosts en beveiligingsplugins die crawlers kunnen weigeren voordat robots.txt wordt gelezen, zoals Cloudflare, WP Engine of Wordfence.

Regels voor AI-crawlers kiezen

Kies onder Your AI crawler rules:

  • Don't add rules (standaard): je robots.txt blijft zoals hij is.
  • Block AI training, stay in AI search: blokkeert trainingscrawlers zoals GPTBot, ClaudeBot en CCBot, en laat OAI-SearchBot, PerplexityBot en de assistenten door. Google-Extended blijft toegestaan, tenzij je Also block Google-Extended aanvinkt.
  • Block all AI crawlers: haalt je ook uit AI-antwoorden.
  • Custom: kies crawlers één voor één.

Voor je opslaat, toont het voorbeeld de exacte regels en hoeveel crawlers per groep toegestaan blijven. De regels komen in een gemarkeerd blok aan het einde van je robots.txt, na alles wat andere plugins schrijven, en toegestane crawlers blijven je bestaande regels volgen. Undo last change zet je vorige keuze terug.

Google-Extended bepaalt of Gemini je content gebruikt voor training en voor het onderbouwen van antwoorden in de Gemini-app en Vertex AI. Daarom laat Block AI training, stay in AI search het door: blokkeer je het, dan verdwijnen je pagina's ook uit de antwoorden van de Gemini-app. Het heeft geen effect op Google Zoeken, AI Overviews of AI Mode.

Zet Also declare my choice with a Content-Signal line aan om een Content-Signal-regel toe te voegen die je voorkeur meldt aan crawlers die hem lezen. Hij geeft een voorkeur aan; afdwingen doet hij niets.

Staat er een robots.txt-bestand op je server, of draait WordPress in een submap, dan kan WordPress deze regels niet serveren. Het scherm toont ze dan met een knop Copy rules, zodat je ze in het bestand kunt plakken.

Regels voor delen van je site

Voeg onder Parts of your site, onder de keuze voor de hele site, een pad toe zoals /members/ of /downloads/ en kies wie je buiten houdt:

  • AI training crawlers: GPTBot, ClaudeBot, Google-Extended, CCBot en de andere trainingscrawlers.
  • All AI crawlers: ook AI-zoekcrawlers en assistenten, zodat pagina's in die sectie uit AI-antwoorden verdwijnen.

Zoekmachines vallen er nooit onder. Paden werken zoals in robots.txt: ze beginnen met een schuine streep, * staat voor willekeurige tekens en een $ aan het eind markeert het einde van het adres, dus /*.pdf$ dekt elke pdf. Je kunt tot 20 secties toevoegen.

Een crawler die een eigen groep in robots.txt krijgt, volgt de regels voor alle crawlers (User-agent: *) niet meer, dus de plugin herhaalt die regels in zijn groep. Buiten je secties verandert er voor die crawler niets. Onder Crawler by crawler staat een crawler die uit een sectie wordt geweerd als Limited, met de secties die hij niet kan lezen.

AI-gereedheid in de editor

Elk bericht en elke pagina krijgt een paneel AI readiness in de zijbalk van de blokeditor, of een vak AI readiness in de klassieke editor. Het beoordeelt de pagina voor AI-antwoorden van 0 tot 100 met dezelfde controles als de Chrome-extensie van Citlyze en de gratis AEO-grader, dus een gepubliceerde pagina krijgt overal dezelfde score.

  • Terwijl je schrijft controleert het paneel je content: koppen in vraagvorm, een kort antwoord onder elke kop, en tabellen en lijsten.
  • Na het opslaan beoordeelt het de hele pagina zoals crawlers die ontvangen: AI-crawlertoegang voor precies die URL, of de pagina geïndexeerd kan worden, één duidelijke H1, schema-markup, en de titel en metabeschrijving. Concepten worden beoordeeld via hun voorbeeld, waarbij de noindex die WordPress aan voorbeelden toevoegt wordt genegeerd.

Elke controle die tekortschiet, zegt wat je moet aanpassen. Voor je publiceert, somt het paneel vóór publicatie de contentcontroles op die nog falen.

AI-suggesties

Vanaf WordPress 7.0, met een AI-provider ingesteld in WordPress, helpt het paneel bij twee controles. Onder Question-shaped headings herschrijft Suggest a question een kop als de vraag die een lezer zou stellen. Onder Short answers under headings schrijft Draft a short answer een antwoord van 40 tot 60 woorden op basis van de tekst onder de kop. Je leest elke suggestie eerst: Insert zet hem als platte tekst in het bericht, en Ongedaan maken in de editor haalt hem weer weg.

Alleen als je klikt, gaan de kop en tot ongeveer 4.000 tekens van de tekst eronder naar de AI-provider die in WordPress is ingesteld. Er gaat niets naar Citlyze. Zonder provider toont het paneel geen suggesties.

In de gaten houden

Eén keer per dag controleert de plugin vanaf je server de robots.txt die crawlers krijgen. Als iets wat jij niet hebt gekozen AI-zoekcrawlers, AI-assistenten of zoekmachines begint te blokkeren, robots.txt niet meer laadt, of WordPress zoekmachines gaat vragen de site niet te indexeren, verschijnt er voor beheerders een melding op het Dashboard, het pluginscherm en de Citlyze-schermen, en meldt Gereedschap → Sitediagnose het. Regels die je onder Your AI crawler rules hebt gekozen, leveren nooit een melding op, en de melding verdwijnt zodra de wijziging ongedaan is gemaakt.

Wil je ook een e-mail, zet dan Also email me when that happens aan in de kaart Keep watching. Die gaat naar het beheerders-e-mailadres van de site, één keer per wijziging. Sitediagnose → Info heeft een sectie AI Crawler Control met de laatste resultaten, handig als je om hulp vraagt.

llms.txt

Citlyze → llms.txt vindt de llms.txt die je site serveert, wat hem ook maakt, en controleert hem aan de hand van het formaat van llmstxt.org: titel, samenvatting, secties, linkformaat en grootte.

Heeft je site er geen, zet dan Serve an llms.txt from this site aan. De plugin serveert dan een kort bestand met je pagina's en recente berichten, bijgewerkt wanneer je publiceert, zonder berichten die je SEO-plugin op noindex zet en zonder berichten met een wachtwoord. Levert een bestand op je server of een andere plugin, zoals Yoast SEO of Rank Math, al een llms.txt, dan serveert de plugin geen tweede.

Geen enkele grote AI-engine heeft gedocumenteerd dat hij llms.txt leest, dus zie het als optioneel. Je robots.txt telt zwaarder, want die bepaalt of AI-crawlers je site überhaupt kunnen lezen.

AI-agents

Vanaf WordPress 6.9 registreert de plugin functies die alleen gegevens lezen. AI-agents die via de Abilities API van WordPress en de MCP-adapter zijn gekoppeld, kunnen ze gebruiken: de AI-crawlers opsommen die de plugin kent, de toegang van AI-crawlers lezen en wat die bepaalt, en de status van llms.txt lezen. Alleen agents van beheerders kunnen ze gebruiken, en geen ervan verandert iets aan je site.

Wat de gratis tools versturen

Niets naar Citlyze. De controles draaien in je WordPress-beheer en je browser, en lezen alleen je eigen site. AI-suggesties in de editor sturen een kop en de tekst eronder naar de AI-provider die in WordPress is ingesteld, en alleen als je klikt. Er gaan alleen gegevens naar Citlyze als je Citlyze koppelt voor tracking.

Citlyze koppelen

Robots.txt zegt wat crawlers mogen lezen, niet wat ze echt lezen. Om geverifieerde AI-crawlerbezoeken te zien en de AI-antwoorden die je bezoekers sturen, maak je in Citlyze een sitesleutel aan en vul je die in onder Citlyze → Connect Citlyze. De stappen staan in AI-crawlertracking installeren. Voor dagelijkse controles of AI-crawlers je pagina's echt kunnen ophalen, zie Bottoegang.

Concepten uit Citlyze

Is de site gekoppeld, dan gaat een contentconcept zonder kopiëren en plakken van Citlyze naar WordPress. Open het concept in Citlyze, kies Exporteren → Naar WordPress sturen en selecteer de site. Het komt onder Berichten te staan als WordPress-concept, met titel, tekst, samenvatting en de voorgestelde slug. Je site kijkt één keer per uur of er nieuwe concepten zijn; met Check for drafts now onder Citlyze → Connect Citlyze haal je ze meteen op.

Er wordt niets gepubliceerd: jij controleert en publiceert in WordPress. Stuur je hetzelfde concept opnieuw, dan wordt dat WordPress-concept bijgewerkt zolang het nog niet gepubliceerd is, en WordPress bewaart de eerdere tekst als revisie. Een gepubliceerd bericht wordt nooit gewijzigd. Citlyze heeft geen wachtwoord van je site. Wil je geen concepten meer ontvangen, vink dan Receive drafts from Citlyze uit op hetzelfde scherm.

Op deze pagina