Welke AI-crawlers kunnen je site echt lezen?
Voer een URL in en wij lezen je robots.txt zoals crawlers dat doen, en geven het oordeel voor 44 gedocumenteerde AI-crawlers: toegelaten of geblokkeerd, de exacte regel die de doorslag gaf, en wat het blokkeren van elke categorie je kost. Geen account, er wordt niets bewaard.
Een URL erin, een oordeel per crawler eruit
Voer een pagina-URL in
We volgen eerst redirects, zodat de check draait tegen de origin die je site echt serveert, en halen daarna precies een keer de robots.txt op.
We beoordelen elke gedocumenteerde AI-crawler
De robots-tokens van elke crawler worden getoetst aan je regels volgens de semantiek van RFC 9309: de langste match wint, wildcards meegerekend. De winnende regel staat naast elk oordeel.
Lees het resultaat per categorie
Crawlers voor zoekindexen en assistent-ophaling bepalen of AI-antwoorden je kunnen zien en citeren; trainingscrawlers raken alleen toekomstige modeltraining. De tool houdt die twee beslissingen gescheiden.
Wat een robots.txt-blokkade wel en niet doet
robots.txt is het gedocumenteerde contract tussen je site en crawlers die zich netjes gedragen. Een ophaalcrawler blokkeren haalt je pagina's uit de antwoorden die die machine bouwt; een trainingscrawler blokkeren sluit je content alleen uit van toekomstige modeltraining. Het bestand kan een kwaadwillende niet tegenhouden, en dat hoeft ook niet: de crawlers die ertoe doen voor AI-zichtbaarheid publiceren allemaal hun tokens en respecteren de regels.
Waarom we je site niet testen met bot-user-agents
Verzoeken sturen die zich voordoen als GPTBot zou testen hoe je site een neppe GPTBot behandelt, en dat is iets anders: CDN's verifiëren echte crawlers via hun gepubliceerde IP-reeksen, niet via de user-agent-string. Een vervalste test zou stellige, foute antwoorden opleveren. De robots.txt lezen rapporteert het contract dat je daadwerkelijk publiceert.
De blokkade die niemand zich herinnert
De meest voorkomende oorzaak van nul AI-zichtbaarheid is niet de kwaliteit van de content. Het is een algemene botregel die jaren geleden bij de CDN of in de robots.txt is toegevoegd, vaak tijdens paniek over scraping, en die vandaag nog steeds elke nieuwe AI-crawler vangt. Laat deze tool geblokkeerde ophaalcrawlers zien en herinner je je niet dat je dat hebt besloten, dan heb je je meest waardevolle fix gevonden.
CDN- en firewall-blokkades zie je hier niet
Deze tool leest de robots.txt, de laag die jij publiceert. Sommige sites blokkeren bots ook op CDN- of firewall-niveau, wat van buitenaf onzichtbaar is en een tolerante robots.txt kan tegenspreken. Laat je robots.txt een crawler toe en kan de operator je site alsnog niet ophalen, kijk dan vervolgens naar de botbeheer-instellingen van je CDN.
Toegang is stap nul. Zichtbaarheid is de meting.
Deze check vertelt je of AI-crawlers je site mogen lezen. Citlyze vertelt je wat AI-machines daarna echt over je merk zeggen: vermeldingen, citaties en share of voice ten opzichte van concurrenten, volgens een vast schema gevolgd.
Crawler-toegang, uitgelegd
Wil je een demo van Citlyze? Demo boeken
GPTBot verzamelt content voor modeltraining; OAI-SearchBot indexeert voor de zoekantwoorden van ChatGPT, en een aparte user agent haalt live pagina's op waar een gebruiker naar vraagt. De trainingsbot blokkeren laat je zoekzichtbaarheid met rust; de zoek- en ophaalagents blokkeren haalt je uit de antwoorden van ChatGPT. Dezelfde splitsing bestaat bij andere leveranciers, en daarom groepeert deze tool oordelen per categorie.
Raadt AI jou aan wanneer kopers vragen?
Volg hoe ChatGPT, Gemini, Perplexity, DeepSeek, ByteDance en Grok je merk noemen, citeren en rangschikken. Lees gevolgde antwoorden terug en zie de gaten die je kunt dichten.
Geen creditcard nodig