Logbronnen koppelen
Gebruik server- en CDN-logs voor de tracking van AI-crawlers.
Het trackingsnippet rapporteert wat er in een browser of op je server draait, maar veel AI-bots halen pagina's op zonder ooit JavaScript uit te voeren. Logbronnen dichten dat gat: koppel je CDN- of serverlogs en elk AI-relevant verzoek wordt geteld, met een eigen bronlabel zodat je hits uit logs kunt onderscheiden van hits uit het snippet.
Alleen AI-relevante verzoeken worden opgeslagen. Bekende AI-crawlers, bot-achtige agents en bezoeken via AI-assistenten blijven bewaard; al het overige verkeer wordt bij binnenkomst weggegooid en nergens weggeschreven. De verificatieniveaus gelden voor hits uit logs precies zoals voor hits uit het snippet.
Alle logbronnen melden zich aan met een log-ingest-sleutel. Die staat los van de sitesleutels voor je trackingsnippet en kan alleen logs aanleveren. Alles hieronder vind je onder Instellingen, dan Koppelingen, dan Websitetracking, op het tabblad Serverlogboeken.
Cloudflare (één klik)
De snelste route voor sites achter de Cloudflare-proxy. Maak een API-token met precies drie rechten: Workers Scripts Edit, Zone Read en Workers Routes Edit. Plak het token en je domein, en Citlyze deployt een kleine Worker op je zone en koppelt die aan de route van je domein.
De Worker stuurt alles ongewijzigd door: hij leest of wijzigt nooit de inhoud van verzoeken of antwoorden, en bij een interne fout laat hij het verzoek gewoon door, zodat je site er nooit last van heeft. Hij rapporteert de metadata van het verzoek (pad, status, user agent, IP, referrer, land) nadat het antwoord is verstuurd. Het token wordt één keer gebruikt voor de installatie en nooit opgeslagen.
Twee aandachtspunten:
- De route werkt alleen op geproxyde (orange-cloud) DNS-records.
- Op het gratis abonnement van Workers delen verzoeken een dagelijks quotum. Met de optie om vooraf te filteren rapporteert de Worker alleen AI-user-agents. Dat bespaart quotum, maar nieuw geregistreerde crawlers worden gemist tot je de Worker opnieuw deployt.
Liever geen token plakken? Kies de handmatige optie en Citlyze genereert dezelfde Worker-code, die je zelf in het Cloudflare-dashboard plakt.
Voor zones met erg veel verkeer past Cloudflare Logpush beter: maak een
HTTP-bestemming aan die naar je ingest-URL wijst met de sleutel als
key=-URL-parameter, en Citlyze filtert de gepushte batches op dezelfde
manier.
Vercel (log drain)
Plak een Vercel-token, dan maakt Citlyze een log drain aan die de logs van verzoeken automatisch doorstuurt. Beperk hem tot één project of laat het project leeg om het hele team te dekken. Het token wordt versleuteld bewaard voor één doel: de drain verwijderen wanneer je ontkoppelt. Voor het aanleveren zelf wordt de log-ingest-sleutel gebruikt die in de drain-URL zit.
Generieke webhook
Elk systeem dat JSON kan POSTen kan logs aanleveren. Stuur batches van
maximaal 500 regels naar het ingest-endpoint met je log-ingest-sleutel in
de X-API-Key-header. Elke regel bevat een timestamp, methode, URL, status
en user agent, plus optioneel client-IP, referrer en land. Het volledige
contract staat in de API-referentie voor
log-ingestie.
Bestandsupload
Wil je eenmalig oudere data aanvullen, plak dan een stuk van je accesslogs rechtstreeks in het tabblad Uploaden. Twee formaten worden ondersteund: CSV met een kopregel (veelvoorkomende CDN-exportkoppen worden automatisch herkend) en het Apache/Nginx combined-logformaat. Regels ouder dan 30 dagen worden overgeslagen, en de samenvatting vertelt je hoeveel regels er zijn geparst, opgeslagen en weggegooid.
Hetzelfde bestand twee keer uploaden wordt geweigerd, zodat een historische aanvulling nooit dubbel telt.
Andere CDN's
Gebruikers van CloudFront en Akamai kunnen hetzelfde endpoint vandaag al bereiken via het generieke webhookcontract: richt een Lambda@Edge-functie, een DataStream-HTTPS-bestemming of elke andere log-shipper op de ingest-URL met je sleutel. Ingebouwde koppelingen met één klik voor deze providers volgen als er genoeg vraag naar is.
De resultaten lezen
Hits uit logs verschijnen in dezelfde weergaven voor AI-crawlers en AI-verkeer als hits uit het snippet. De publieke API toont de bron op elke rij, zodat exports kunnen scheiden wat het snippet zag van wat je logs zagen.
Hits uit logs bevatten de echte HTTP-statuscode, dus ze worden ook gebruikt voor de inzichten over fouten en redirects op Gecrawlde pagina's. Gebruik één bron per site: melden een trackingsnippet en een logbron hetzelfde domein, dan wordt elk bezoek dubbel geteld; de installatiepagina waarschuwt je als dat gebeurt.