Welke AI-crawlers kunnen je site lezen?
Voer een URL in en wij lezen je robots.txt zoals crawlers dat doen, en geven het oordeel voor 44 gedocumenteerde AI-crawlers: toegelaten of geblokkeerd, de exacte regel die de doorslag gaf, en wat het blokkeren van elke categorie je kost. Geen account, er wordt niets bewaard.
Een URL erin, een oordeel per crawler eruit
Voer een pagina-URL in
We volgen eerst redirects, zodat we de origin controleren die je site echt levert, en halen daarna precies één keer de robots.txt op.
We beoordelen elke gedocumenteerde AI-crawler
De robots-tokens van elke crawler worden getoetst aan je regels volgens de semantiek van RFC 9309: de langste match wint, wildcards meegerekend. De winnende regel staat naast elk oordeel.
Lees het resultaat per categorie
Crawlers voor zoekindexen en voor het ophalen door assistenten bepalen of AI-antwoorden je kunnen zien en citeren; trainingscrawlers hebben alleen invloed op toekomstige modeltraining. De tool houdt die twee beslissingen gescheiden.
Wat een robots.txt-blokkade wel en niet doet
robots.txt is het gedocumenteerde contract tussen je site en crawlers die zich netjes gedragen. Blokkeer je een ophaalcrawler, dan verdwijnen je pagina's uit de antwoorden die die engine opbouwt; blokkeer je een trainingscrawler, dan sluit je je content alleen uit van toekomstige modeltraining. Het bestand houdt geen kwaadwillenden tegen, en dat hoeft ook niet: de crawlers die belangrijk zijn voor AI-zichtbaarheid publiceren allemaal hun tokens en houden zich aan de regels.
Waarom we je site niet testen met bot-user-agents
Verzoeken sturen die zich voordoen als GPTBot test hoe je site een neppe GPTBot behandelt, en dat is iets anders: CDN's herkennen echte crawlers aan hun gepubliceerde IP-reeksen, niet aan de user-agent-string. Een vervalste test geeft stellige maar foute antwoorden. Door de robots.txt te lezen, zie je het contract dat je zelf publiceert.
De blokkade die niemand zich herinnert
De meest voorkomende oorzaak van nul AI-zichtbaarheid is niet de kwaliteit van de content. Het is een algemene botregel die jaren geleden in het CDN of in de robots.txt is gezet, vaak uit angst voor scraping, en die vandaag nog elke nieuwe AI-crawler tegenhoudt. Toont deze tool geblokkeerde ophaalcrawlers en weet je niet meer dat je daarvoor hebt gekozen, dan heb je de verbetering met de meeste impact gevonden.
CDN- en firewallblokkades zie je hier niet
Deze tool leest de robots.txt, de laag die jij publiceert. Sommige sites blokkeren bots ook in het CDN of de firewall; dat zie je niet door alleen de robots.txt te lezen, en het kan een ruim robotsbeleid tenietdoen. Bottoegangsmonitoring van Citlyze vraagt je pagina's doorlopend op zoals elke bot dat zou doen, ziet die laag dus ook en stuurt je een alert zodra een crawler wordt geblokkeerd.
Toegang is stap nul. Zichtbaarheid is de meting.
Deze check vertelt je of AI-crawlers je site mogen lezen. Citlyze vertelt je wat AI-engines daarna over je merk zeggen: vermeldingen, bronvermeldingen en share of voice ten opzichte van concurrenten, volgens een vast schema gevolgd.
GPTBot verzamelt content voor modeltraining; OAI-SearchBot indexeert voor de zoekantwoorden van ChatGPT, en een aparte user-agent haalt live pagina's op waar een gebruiker naar vraagt. Blokkeer je de trainingsbot, dan blijft je zichtbaarheid in zoekantwoorden gewoon bestaan; blokkeer je de zoek- en ophaalagents, dan verdwijn je uit de antwoorden van ChatGPT. Andere aanbieders maken hetzelfde onderscheid, en daarom groepeert deze tool de oordelen per categorie.
Botbescherming in het CDN of de firewall kan crawlers blokkeren, wat er ook in de robots.txt staat. Door één keer de robots.txt te lezen, zie je die laag niet; met doorlopende checks die de pagina opvragen zoals elke bot dat zou doen, wel. Dat doet Bottoegangsmonitoring, met een alert en de oorzaak zodra de toegang wegvalt.
Het is een afweging. Als je trainingsbots blokkeert, blijft je content buiten toekomstige trainingsrondes, terwijl modellen die je merk uit trainingsdata kennen het ook noemen in antwoorden waarvoor niets live wordt opgehaald. Beslis dit per bedrijf, en houd die keuze los van de toegang voor ophaalcrawlers, want daar hangt je zichtbaarheid in AI-zoekmachines van af.
Nee. De twee ophaalacties gebeuren, de oordelen worden in het geheugen berekend en het resultaat gaat terug naar je browser. Na het antwoord blijft er niets van het verzoek bewaard.
Raadt AI jou aan als kopers ernaar vragen?
Volg hoe ChatGPT, Gemini, Perplexity, DeepSeek, Grok, Google AI Overview & AI Mode en Bing Copilot je merk noemen, citeren en rangschikken. Bekijk de gevolgde antwoorden en de gaten die je kunt dichten.
Geen creditcard nodig
