Logbronnen koppelen
Voer server- en CDN-logs in AI-crawlertracking in.
Het trackingsnippet rapporteert wat er in een browser of op je server draait, maar veel AI-bots halen pagina's op zonder ooit JavaScript uit te voeren. Logbronnen dichten dat gat: koppel je CDN- of serverlogs en elk AI-relevant verzoek wordt geteld, met een eigen bronlabel zodat je hits uit logs kunt onderscheiden van hits uit het snippet.
Alleen AI-relevante verzoeken worden opgeslagen. Bekende AI-crawlers, bot-achtige agents en bezoeken verwezen door AI-assistenten blijven bewaard; al het overige verkeer wordt bij binnenkomst weggegooid en nergens weggeschreven. Betrouwbaarheidsniveaus gelden voor hits uit logs precies zoals voor snippet-hits.
Alle logbronnen authenticeren met een log-ingest-sleutel. Die staat los van je sitesleutels voor het trackingsnippet en kan alleen logs indienen. Alles hieronder vind je onder AI-crawlers en dan Tracking installeren, in het paneel Logbronnen.
Cloudflare (één klik)
De snelste route voor sites achter de Cloudflare-proxy. Maak een API-token met precies drie rechten: Workers Scripts Edit, Zone Read en Workers Routes Edit. Plak het token en je domein, en Citlyze deployt een kleine Worker op je zone en koppelt die aan de route van je domein.
De Worker is strikt pass-through: hij leest of wijzigt nooit request- of responsebodies, en bij een interne fout laat hij het verzoek gewoon door, zodat je site nooit geraakt wordt. Hij rapporteert request-metadata (pad, status, user agent, IP, referrer, land) nadat de response is geserveerd. Het token wordt één keer gebruikt voor de installatie en nooit opgeslagen.
Twee aandachtspunten:
- De route werkt alleen op geproxyde (orange-cloud) DNS-records.
- Op het gratis Workers-plan delen verzoeken een dagelijks quotum. Met de pre-filteroptie rapporteert de Worker alleen AI-user-agents. Dat bespaart quotum, maar nieuw geregistreerde crawlers worden gemist tot je de Worker opnieuw deployt.
Liever geen token plakken? Kies de handmatige optie en Citlyze genereert dezelfde Worker-code, die je zelf in het Cloudflare-dashboard plakt.
Voor zones met erg veel verkeer past Cloudflare Logpush beter: maak een
HTTP-bestemming aan die naar je ingest-URL wijst met de sleutel als
key=-URL-parameter, en Citlyze filtert de gepushte batches op dezelfde
manier.
Vercel (log drain)
Plak een Vercel-token en Citlyze maakt een log drain aan die request-logs automatisch binnenstuurt. Beperk hem tot één project of laat het project leeg om het hele team te dekken. Het token wordt versleuteld bewaard voor één doel: de drain verwijderen wanneer je ontkoppelt. De ingestie zelf authenticeert met de log-ingest-sleutel die in de drain-URL zit.
Generieke webhook
Elk systeem dat JSON kan POSTen kan logs aanleveren. Stuur batches van
maximaal 500 regels naar het ingest-endpoint met je log-ingest-sleutel in
de X-API-Key-header. Elke regel bevat een timestamp, methode, URL, status
en user agent, plus optioneel client-IP, referrer en land. Het volledige
contract staat in de API-referentie voor
log-ingestie.
Bestandsupload
Voor een eenmalige backfill plak je een stuk van je accesslogs rechtstreeks in het tabblad Uploaden. Twee formaten worden ondersteund: CSV met een kopregel (veelvoorkomende CDN-exportkoppen worden automatisch herkend) en het Apache/Nginx combined-logformaat. Regels ouder dan 30 dagen worden overgeslagen, en de samenvatting vertelt je hoeveel regels er zijn geparst, opgeslagen en weggegooid.
Andere CDN's
Gebruikers van CloudFront en Akamai kunnen hetzelfde endpoint vandaag al bereiken via het generieke webhookcontract: richt een Lambda@Edge-functie, een DataStream-HTTPS-bestemming of elke andere log-shipper op de ingest-URL met je sleutel. Native één-klik-flows voor deze providers volgen op basis van vraag.
De resultaten lezen
Hits uit logs verschijnen in dezelfde AI-crawler- en AI-verkeerweergaven als snippet-hits. De publieke API toont de bron op elke rij, zodat exports kunnen scheiden wat het snippet zag van wat je logs zagen.