AI-crawlers

AI-crawlertracking toont welke AI-engines je site daadwerkelijk bezoeken — GPTBot, ClaudeBot, PerplexityBot, Bingbot en meer. Het vult GEO-audits aan: audits vertellen of bots een pagina kunnen bereiken; crawlertracking vertelt of ze het doen.

Waarom server-side registratie

AI-trainingscrawlers draaien geen JavaScript, dus een Google Tag Manager- of JavaScript-pixel ziet GPTBot of ClaudeBot nooit. Citlyze registreert crawlerbezoeken server-side, waar de echte request-User-Agent zichtbaar is, zodat ook niet-JavaScript-crawlers worden geteld.

Tracking installeren

Ga naar AI-crawlers → Tracking installeren en genereer een sitesleutel. De sleutel heeft twee delen — een sleutel-ID en een signeergeheim — die eenmalig worden getoond; kopieer beide. Voeg daarna het passende snippet toe voor je platform:

• Cloudflare (aanbevolen) — plak het Worker-snippet vóór je site.
• Vercel / reverse proxy — voeg het middleware-snippet toe.
• WordPress — download de plugin, upload hem in wp-admin → Plugins en plak je sleutel-ID en signeergeheim in de instellingen.

Elk event wordt met je geheim gesigneerd zodat de tracker vervalste beacons kan weigeren. Shopify en Webflow (standaardplannen) kunnen geen server-side registratie draaien; zet Cloudflare voor die sites en gebruik het Cloudflare-snippet.

De analytics lezen

De pagina AI-crawlers → Analytics toont, voor het gekozen tijdvak:

• koptegels: totale crawlerhits, verschillende crawlers, topcrawler en trend
• crawlerbezoeken in de tijd (dagtotalen)
• crawlertrends in de tijd (één lijn per crawler)
• per crawler-uitsplitsing met organisatie, doel, hits en trend
• meest gecrawlde pagina's

Gebruik het tijdvak (7/30/90 dagen) en crawlerfilters om de weergave te verfijnen.

Data via API en MCP

Crawlerbezoeken zijn programmatisch beschikbaar zodra tracking is geïnstalleerd:

• REST: GET /api/v1/crawler-events — zie de AI Crawler Events-resource.
• MCP: de tool list_crawler_events — zie de MCP-toolsreferentie.

Beide zijn read-only, beperkt tot je werkruimte, en ondersteunen filteren op crawler_id en gevolgde site.