Connecter des sources de logs

L'extrait de suivi rapporte ce qui s'exécute dans un navigateur ou sur votre serveur, mais de nombreux bots IA récupèrent des pages sans jamais exécuter JavaScript. Les sources de logs comblent cette lacune : connectez vos logs CDN ou serveur et chaque requête pertinente pour l'IA est comptée, avec sa propre étiquette de source pour distinguer les hits issus des logs de ceux issus de l'extrait.

Seules les requêtes pertinentes pour l'IA sont stockées. Les robots d'IA connus, les agents au comportement de bot et les visites référées par des assistants IA sont conservés ; tout le reste du trafic est rejeté à l'arrivée et n'est jamais écrit nulle part. Les niveaux de vérification s'appliquent aux hits issus des logs exactement comme aux hits de l'extrait.

Toutes les sources de logs s'authentifient avec une clé d'ingestion de logs, distincte de vos clés d'extrait de suivi et qui ne peut que soumettre des logs. Tout se trouve sous Robots d'IA, puis Installer le suivi, dans le panneau Sources de logs.

Cloudflare (un clic)

Le chemin le plus rapide pour les sites proxifiés par Cloudflare. Créez un jeton API avec exactement trois permissions : Workers Scripts Edit, Zone Read et Workers Routes Edit. Collez le jeton et votre domaine, et Citlyze déploie un petit Worker sur votre zone et l'attache à la route de votre domaine.

Le Worker est strictement pass-through : il ne lit ni ne modifie jamais les corps de requête ou de réponse, et toute erreur interne laisse passer le trafic, votre site n'est donc jamais affecté. Il rapporte les métadonnées des requêtes (chemin, statut, user agent, IP, référent, pays) après que la réponse a été servie. Le jeton est utilisé une seule fois pour l'installation et n'est jamais stocké.

Deux remarques :

La route ne se déclenche que sur les enregistrements DNS proxifiés (nuage orange).
Sur le forfait Workers gratuit, les requêtes partagent un quota quotidien. L'option de pré-filtrage limite le Worker aux user agents IA, ce qui économise le quota mais signifie que les robots nouvellement enregistrés sont manqués jusqu'à ce que vous redéployiez le Worker.

Vous préférez ne pas coller de jeton ? Choisissez l'option manuelle et Citlyze génère le même code de Worker, que vous collez vous-même dans le tableau de bord Cloudflare.

Pour les zones à très fort trafic, Cloudflare Logpush convient mieux : créez une destination HTTP pointant vers votre URL d'ingestion avec la clé en paramètre d'URL key=, et Citlyze filtre les lots poussés de la même façon.

Vercel (log drain)

Collez un jeton Vercel et Citlyze crée un log drain qui streame automatiquement les logs de requêtes. Limitez-le à un projet ou laissez le projet vide pour couvrir toute l'équipe. Le jeton est conservé chiffré dans un seul but : supprimer le drain quand vous vous déconnectez. L'ingestion elle-même s'authentifie avec la clé d'ingestion de logs intégrée à l'URL du drain.

Webhook générique

Tout système capable d'envoyer du JSON en POST peut alimenter les logs. Envoyez des lots de 500 entrées maximum au point d'ingestion avec votre clé d'ingestion de logs dans l'en-tête X-API-Key. Chaque entrée porte un horodatage, une méthode, une URL, un statut et un user agent, plus en option l'IP du client, le référent et le pays. Le contrat complet se trouve dans la référence de l'API d'ingestion de logs.

Import de fichier

Pour un rattrapage ponctuel, collez un morceau de vos logs d'accès directement dans l'onglet Import. Deux formats sont pris en charge : le CSV avec ligne d'en-têtes (les en-têtes d'export courants des CDN sont reconnus automatiquement) et le format combiné Apache/Nginx. Les entrées de plus de 30 jours sont ignorées, et le résumé vous indique combien de lignes ont été analysées, stockées et rejetées.

Autres CDN

Les utilisateurs de CloudFront et d'Akamai peuvent atteindre le même point d'entrée dès aujourd'hui via le contrat du webhook générique : pointez une fonction Lambda@Edge, une destination HTTPS DataStream ou tout expéditeur de logs vers l'URL d'ingestion avec votre clé. Des parcours natifs en un clic pour ces fournisseurs suivront selon la demande.

Lire les résultats

Les hits issus des logs apparaissent dans les mêmes vues Robots d'IA et Trafic IA que les hits de l'extrait. L'API publique expose la source sur chaque ligne, les exports peuvent donc séparer ce que l'extrait a vu de ce que vos logs ont vu.