Nieuw in Citlyze: Brand FactCheck, Ask Citlyze, AI-shopping en Advertenties in AI
AI-crawler-toegangscheck

Welke AI-crawlers kunnen je site lezen?

Voer een URL in en wij lezen je robots.txt zoals crawlers dat doen, en geven het oordeel voor 44 gedocumenteerde AI-crawlers: toegelaten of geblokkeerd, de exacte regel die de doorslag gaf, en wat het blokkeren van elke categorie je kost. Geen account, er wordt niets bewaard.

Hoe het werkt

Een URL erin, een oordeel per crawler eruit

01

Voer een pagina-URL in

We volgen eerst redirects, zodat we de origin controleren die je site echt levert, en halen daarna precies één keer de robots.txt op.

02

We beoordelen elke gedocumenteerde AI-crawler

De robots-tokens van elke crawler worden getoetst aan je regels volgens de semantiek van RFC 9309: de langste match wint, wildcards meegerekend. De winnende regel staat naast elk oordeel.

03

Lees het resultaat per categorie

Crawlers voor zoekindexen en voor het ophalen door assistenten bepalen of AI-antwoorden je kunnen zien en citeren; trainingscrawlers hebben alleen invloed op toekomstige modeltraining. De tool houdt die twee beslissingen gescheiden.

Wat een robots.txt-blokkade wel en niet doet

robots.txt is het gedocumenteerde contract tussen je site en crawlers die zich netjes gedragen. Blokkeer je een ophaalcrawler, dan verdwijnen je pagina's uit de antwoorden die die engine opbouwt; blokkeer je een trainingscrawler, dan sluit je je content alleen uit van toekomstige modeltraining. Het bestand houdt geen kwaadwillenden tegen, en dat hoeft ook niet: de crawlers die belangrijk zijn voor AI-zichtbaarheid publiceren allemaal hun tokens en houden zich aan de regels.

Waarom we je site niet testen met bot-user-agents

Verzoeken sturen die zich voordoen als GPTBot test hoe je site een neppe GPTBot behandelt, en dat is iets anders: CDN's herkennen echte crawlers aan hun gepubliceerde IP-reeksen, niet aan de user-agent-string. Een vervalste test geeft stellige maar foute antwoorden. Door de robots.txt te lezen, zie je het contract dat je zelf publiceert.

De blokkade die niemand zich herinnert

De meest voorkomende oorzaak van nul AI-zichtbaarheid is niet de kwaliteit van de content. Het is een algemene botregel die jaren geleden in het CDN of in de robots.txt is gezet, vaak uit angst voor scraping, en die vandaag nog elke nieuwe AI-crawler tegenhoudt. Toont deze tool geblokkeerde ophaalcrawlers en weet je niet meer dat je daarvoor hebt gekozen, dan heb je de verbetering met de meeste impact gevonden.

CDN- en firewallblokkades zie je hier niet

Deze tool leest de robots.txt, de laag die jij publiceert. Sommige sites blokkeren bots ook in het CDN of de firewall; dat zie je niet door alleen de robots.txt te lezen, en het kan een ruim robotsbeleid tenietdoen. Bottoegangsmonitoring van Citlyze vraagt je pagina's doorlopend op zoals elke bot dat zou doen, ziet die laag dus ook en stuurt je een alert zodra een crawler wordt geblokkeerd.

De volgende vraag

Toegang is stap nul. Zichtbaarheid is de meting.

Deze check vertelt je of AI-crawlers je site mogen lezen. Citlyze vertelt je wat AI-engines daarna over je merk zeggen: vermeldingen, bronvermeldingen en share of voice ten opzichte van concurrenten, volgens een vast schema gevolgd.

FAQ

Crawlertoegang, uitgelegd

Wil je een demo van Citlyze? Demo boeken

GPTBot verzamelt content voor modeltraining; OAI-SearchBot indexeert voor de zoekantwoorden van ChatGPT, en een aparte user-agent haalt live pagina's op waar een gebruiker naar vraagt. Blokkeer je de trainingsbot, dan blijft je zichtbaarheid in zoekantwoorden gewoon bestaan; blokkeer je de zoek- en ophaalagents, dan verdwijn je uit de antwoorden van ChatGPT. Andere aanbieders maken hetzelfde onderscheid, en daarom groepeert deze tool de oordelen per categorie.

Raadt AI jou aan als kopers ernaar vragen?

Volg hoe ChatGPT, Gemini, Perplexity, DeepSeek, Grok, Google AI Overview & AI Mode en Bing Copilot je merk noemen, citeren en rangschikken. Bekijk de gevolgde antwoorden en de gaten die je kunt dichten.

Geen creditcard nodig

Een marketinglead leest een AI-antwoord op een laptop aan een bureau bij het raam