Welke AI-crawlers lezen je site?
Plak regels uit het toegangslog van je server of CDN, of upload het bestand, en zie welke AI-crawlers welke pagina's opvroegen, hoe vaak en welke status ze kregen. Je log verlaat je browser nooit.
Voorbeeldresultaat uit een fictief log. Plak hierboven je eigen log om je eigen resultaat te zien.
74 van de 176 verzoeken kwamen van 7 AI-crawlers. Zoekmachinecrawlers deden nog 28 verzoeken.
Je site weigerde 3 verzoeken van AI-crawlers met 401, 403 of 429. Controleer je firewall, de botregels van je CDN en je rate limits.
Logregels van 16 nov 2026, 00:00 tot 18 nov 2026, 23:53 UTC.
De cijfers vertrouwen op de user agent die elk verzoek meestuurt, en iedereen kan er een vervalsen. Controleer belangrijk verkeer tegen de IP-ranges die elke partij publiceert.
20 verzoeken
Bouwen de index waar AI-zoekantwoorden uit putten.
OAI-SearchBot OpenAI
14
- /5
- /pricing4
- /blog/choosing-a-crm3
2 verzoeken naar /old-features gaven 404.
en 1 ander pad
- /old-features2
PerplexityBot Perplexity
6
- /blog/choosing-a-crm4
- /compare/acme-vs-globex2
24 verzoeken
Lezen een pagina omdat iemand een assistent ernaar vroeg.
ChatGPT-User OpenAI
18
- /pricing9
- /blog/choosing-a-crm6
- /integrations/slack3
Perplexity-User Perplexity
6
- /pricing4
- /docs/getting-started2
30 verzoeken
Verzamelen pagina's die kunnen dienen om toekomstige modellen te trainen.
GPTBot OpenAI
19
- /blog/choosing-a-crm7
- /docs/getting-started5
- /docs/api4
3 verzoeken naar /blog/archive gaven 503.
en 1 ander pad
- /blog/archive3
ClaudeBot Anthropic
9
- /docs/api4
- /pricing3
- /blog/choosing-a-crm2
3 verzoeken naar /pricing gaven 403.
CCBot Common Crawl
2
- /2
28 verzoeken
Klassieke zoekcrawlers. De AI-antwoorden van Google en Bing steunen op dezelfde index.
Googlebot Google
21
- /8
- /pricing6
- /blog/choosing-a-crm5
en 1 ander pad
- /docs/getting-started2
Bingbot Microsoft
7
- /4
- /pricing3
Hoe werkt de loganalyse?
Exporteer een stuk van je log
Download een toegangslog van je server, hostingpartij of CDN. Een dag of een week is genoeg. Platte tekst en .gz werken allebei, in combined-formaat of als JSON-regels.
Elk verzoek wordt aan een crawler gekoppeld
De tool leest elke regel in je browser en vergelijkt de user agent met het register van gedocumenteerde AI-crawlers dat onze andere tools ook gebruiken, van GPTBot tot PerplexityBot.
Lees het resultaat per doel
De bots zijn gegroepeerd op wat ze doen: indexeren voor zoeken, een pagina ophalen voor een gebruiker of trainen. Crawlers van zoekmachines krijgen een eigen groep, en fouten en geweigerde verzoeken worden per bot gemarkeerd.
Wat je log laat zien en robots.txt niet
robots.txt zegt wat je toestaat. Je toegangslog laat zien wat er gebeurde: welke bots kwamen, welke pagina's ze opvroegen en wat je server antwoordde. Een crawler die je toestaat kan toch een 403 krijgen van een firewallregel, en alleen het log laat dat zien.
Waarom ophaalverzoeken van assistenten het zwaarst wegen
Een verzoek van ChatGPT-User of Perplexity-User betekent dat iemand een assistent een vraag stelde en dat die je pagina opende om te antwoorden. Deze verzoeken komen het dichtst bij een bezoek vanuit AI-zoeken, en hun paden laten zien op welke van je pagina's AI-antwoorden steunen.
User agents zijn te vervalsen
De analyse vertrouwt op de user agent die elk verzoek meestuurt, en iedereen kan die van GPTBot sturen. Controleer voordat je op een getal reageert de IP-adressen van de verzoeken tegen de ranges die elke partij publiceert. De meeste grote partijen, waaronder OpenAI en Google, publiceren die van hen.
Van een eenmalige export naar een dagelijks overzicht
Een logexport beslaat de dag of week die je exporteerde. AI-crawlertracking van Citlyze registreert bezoeken van herkende AI-crawlers via een serverkoppeling voor Cloudflare, Vercel, WordPress of een Node-server en bewaart de geschiedenis, zodat je ziet wanneer een bot wegblijft.
Welke AI-antwoorden citeren die pagina's?
Je log laat zien welke bots je site lezen. Citlyze laat zien wat AI-engines daarna over je merk zeggen: vermeldingen, de pagina's die ze citeren en je share of voice tegenover concurrenten, volgens een vast schema gemeten.
Loganalyse, uitgelegd
Nee. De tool leest en analyseert het bestand in je browser en stuurt je log nooit naar Citlyze of iemand anders. Ook haalt hij querystrings uit de paden voordat hij ze toont, omdat die tokens of persoonsgegevens kunnen bevatten.
Toegangslogs van Apache en nginx in het combined-formaat, dat de meeste servers en hostingpartijen standaard schrijven, en JSON-regels met velden voor user agent, pad en status, zoals exports uit Cloudflare Logpush. Gzip-bestanden werken ook. Regels in andere formaten telt het resultaat als overgeslagen.
Het zijn klassieke zoekmachinecrawlers, dus als je ze als AI-crawlers telt, worden de cijfers te hoog. Voor AI-zoeken tellen ze wel mee: AI Overviews en AI Mode van Google en Copilot van Bing steunen op de indexen die deze crawlers opbouwen.
Tot 100 MB aan logtekst, ongeveer een half miljoen verzoeken. Een groter bestand leest de tool tot die grens en meldt waar hij stopte. Exporteer bij een drukke site één dag tegelijk.