Connecter des sources de logs

L'extrait de suivi remonte ce qui se passe dans un navigateur ou sur votre serveur, mais de nombreux bots IA récupèrent des pages sans jamais exécuter JavaScript. Les sources de logs comblent cette lacune : connectez vos logs CDN ou serveur, et chaque requête pertinente pour l'IA est comptée, avec sa propre étiquette de source pour distinguer les requêtes issues des logs de celles remontées par l'extrait.

Seules les requêtes pertinentes pour l'IA sont stockées. Les robots d'IA connus, les agents qui se comportent comme des bots et les visites issues des assistants IA sont conservés ; tout le reste du trafic est écarté dès sa réception et n'est jamais enregistré. Les niveaux de vérification s'appliquent aux requêtes issues des logs exactement comme à celles de l'extrait.

Toutes les sources de logs s'authentifient avec une clé d'ingestion de logs, distincte de vos clés d'extrait de suivi et qui sert uniquement à envoyer des logs. Tout ce qui suit se trouve dans Paramètres, puis Connexions, puis Suivi du site web, onglet Logs serveur.

Cloudflare (un clic)Copy Anchor Link

La méthode la plus rapide pour les sites dont le trafic passe par le proxy Cloudflare. Créez un jeton API avec exactement trois autorisations : Workers Scripts Edit, Zone Read et Workers Routes Edit. Collez le jeton et votre domaine : Citlyze déploie un petit Worker sur votre zone et l'associe à la route de votre domaine.

Le Worker se contente de laisser passer le trafic : il ne lit ni ne modifie jamais le corps des requêtes ou des réponses, et en cas d'erreur interne, il laisse passer le trafic : votre site n'est donc jamais affecté. Il transmet les métadonnées des requêtes (chemin, statut, user agent, IP, référent, pays) une fois la réponse servie. Le jeton n'est utilisé qu'une fois, pour l'installation, et n'est jamais stocké.

Deux remarques :

• La route ne se déclenche que sur les enregistrements DNS qui passent par le proxy (nuage orange).
• Avec le forfait gratuit de Workers, les requêtes se partagent un quota quotidien. L'option de préfiltrage limite les envois du Worker aux user agents IA, ce qui économise le quota, mais les robots ajoutés depuis ne sont pas détectés tant que vous n'avez pas redéployé le Worker.

Vous préférez ne pas coller de jeton ? Choisissez l'option manuelle : Citlyze génère le même code de Worker, que vous collez vous-même dans le tableau de bord Cloudflare.

Pour les zones à très fort trafic, Cloudflare Logpush est plus adapté : créez une destination HTTP qui pointe vers votre URL d'ingestion, avec la clé dans le paramètre d'URL key=, et Citlyze filtre les lots envoyés de la même façon.

Vercel (log drain)Copy Anchor Link

Collez un jeton Vercel : Citlyze crée un log drain qui transmet automatiquement et en continu les logs de requêtes. Limitez-le à un projet, ou laissez le champ du projet vide pour couvrir toute l'équipe. Le jeton est conservé sous forme chiffrée dans un seul but : supprimer le drain lorsque vous vous déconnectez. L'ingestion elle-même s'authentifie avec la clé d'ingestion de logs intégrée à l'URL du drain.

Webhook génériqueCopy Anchor Link

Tout système capable d'envoyer du JSON en POST peut envoyer des logs. Envoyez des lots de 500 entrées au maximum au point d'ingestion, avec votre clé d'ingestion de logs dans l'en-tête X-API-Key. Chaque entrée comporte un horodatage, une méthode, une URL, un statut et un user agent, ainsi que, en option, l'IP du client, le référent et le pays. Le format complet est décrit dans la référence de l'API d'ingestion de logs.

Import de fichierCopy Anchor Link

Pour importer ponctuellement un historique, collez un extrait de vos logs d'accès directement dans l'onglet Import. Deux formats sont pris en charge : le CSV avec une ligne d'en-têtes (les en-têtes d'export courants des CDN sont reconnus automatiquement) et le format combiné Apache/Nginx. Les entrées de plus de 30 jours sont ignorées, et le résumé vous indique combien de lignes ont été analysées, stockées et écartées.

Un même fichier ne peut pas être importé deux fois : un historique n'est donc jamais compté en double.

Autres CDNCopy Anchor Link

Les utilisateurs de CloudFront et d'Akamai peuvent dès aujourd'hui envoyer leurs logs au même point d'entrée, au format du webhook générique : faites pointer une fonction Lambda@Edge, une destination HTTPS DataStream ou tout autre outil d'expédition de logs vers l'URL d'ingestion, avec votre clé. Des connexions natives en un clic pour ces fournisseurs seront ajoutées en fonction de la demande.

Lire les résultatsCopy Anchor Link

Les requêtes issues des logs apparaissent dans les mêmes vues Robots d'IA et Trafic IA que celles de l'extrait. L'API publique indique la source de chaque ligne : les exports peuvent donc distinguer ce qu'a vu l'extrait de ce qu'ont vu vos logs.

Les visites issues des logs comportent le vrai code de statut HTTP : elles alimentent donc aussi les analyses d'erreurs et de redirections de la page Pages explorées. Utilisez une seule source par site : si un extrait de suivi et une source de logs remontent le même domaine, chaque visite est comptée deux fois ; la page d'installation vous prévient dans ce cas.