Quels crawlers IA lisent votre site ?
Collez des lignes du log d'accès de votre serveur ou de votre CDN, ou importez le fichier, et voyez quels crawlers IA ont demandé quelles pages, à quelle fréquence et avec quel statut. Votre log ne quitte jamais votre navigateur.
Exemple de résultat à partir d'un log fictif. Collez votre log ci-dessus pour voir vos propres résultats.
74 requêtes sur 176 proviennent de 7 crawlers IA. Les crawlers des moteurs de recherche en ont fait 28 de plus.
Votre site a refusé 3 requêtes de crawlers IA avec un code 401, 403 ou 429. Vérifiez votre pare-feu, les règles anti-bots de votre CDN et vos limites de débit.
Lignes de log du 16 nov. 2026, 00:00 au 18 nov. 2026, 23:53 UTC.
Les chiffres se fient au user agent envoyé par chaque requête, et n'importe qui peut le falsifier. Vérifiez le trafic important avec les plages d'IP que publie chaque opérateur.
20 requêtes
Construisent l'index dont se servent les réponses de recherche IA.
OAI-SearchBot OpenAI
14
- /5
- /pricing4
- /blog/choosing-a-crm3
2 requêtes vers /old-features ont renvoyé 404.
et 1 autre chemin
- /old-features2
PerplexityBot Perplexity
6
- /blog/choosing-a-crm4
- /compare/acme-vs-globex2
24 requêtes
Lisent une page parce que quelqu'un a interrogé un assistant à son sujet.
ChatGPT-User OpenAI
18
- /pricing9
- /blog/choosing-a-crm6
- /integrations/slack3
Perplexity-User Perplexity
6
- /pricing4
- /docs/getting-started2
30 requêtes
Collectent des pages qui peuvent servir à entraîner de futurs modèles.
GPTBot OpenAI
19
- /blog/choosing-a-crm7
- /docs/getting-started5
- /docs/api4
3 requêtes vers /blog/archive ont renvoyé 503.
et 1 autre chemin
- /blog/archive3
ClaudeBot Anthropic
9
- /docs/api4
- /pricing3
- /blog/choosing-a-crm2
3 requêtes vers /pricing ont renvoyé 403.
CCBot Common Crawl
2
- /2
28 requêtes
Crawlers de recherche classiques. Les réponses IA de Google et de Bing s'appuient sur le même index.
Googlebot Google
21
- /8
- /pricing6
- /blog/choosing-a-crm5
et 1 autre chemin
- /docs/getting-started2
Bingbot Microsoft
7
- /4
- /pricing3
Comment fonctionne l'analyseur ?
Exportez un extrait de votre log
Téléchargez un log d'accès depuis votre serveur, votre hébergeur ou votre CDN. Une journée ou une semaine suffit. Texte brut ou .gz, au format combined ou en lignes JSON.
Chaque requête est rattachée à un crawler
L'outil lit chaque ligne dans votre navigateur et compare son user agent au registre des crawlers IA documentés qu'utilisent nos autres outils, de GPTBot à PerplexityBot.
Lisez le résultat par usage
Les bots sont regroupés selon ce qu'ils font : indexation pour la recherche, consultation d'une page pour un utilisateur ou entraînement. Les crawlers des moteurs de recherche ont leur propre groupe, et les erreurs comme les requêtes refusées sont signalées pour chaque bot.
Ce que votre log montre et que robots.txt ne dit pas
robots.txt dit ce que vous autorisez. Votre log d'accès montre ce qui s'est passé : quels bots sont venus, quelles pages ils ont demandées et ce que votre serveur a répondu. Un crawler autorisé peut quand même recevoir un 403 d'une règle de pare-feu, et seul le log le montre.
Pourquoi les consultations par assistant comptent le plus
Une requête de ChatGPT-User ou de Perplexity-User signifie que quelqu'un a posé une question à un assistant et que celui-ci a ouvert votre page pour y répondre. Ce sont les requêtes les plus proches d'une visite venue de la recherche IA, et leurs chemins montrent sur quelles pages s'appuient les réponses IA.
Un user agent peut être falsifié
L'analyse se fie au user agent envoyé par chaque requête, et n'importe qui peut envoyer celui de GPTBot. Avant d'agir sur un chiffre, comparez les IP des requêtes aux plages que publie chaque opérateur. La plupart des grands opérateurs, dont OpenAI et Google, publient les leurs.
D'un export ponctuel à un suivi quotidien
Un export de log couvre la journée ou la semaine exportée. Le Suivi des crawlers IA de Citlyze enregistre les visites des crawlers IA reconnus grâce à une intégration côté serveur pour Cloudflare, Vercel, WordPress ou un serveur Node, et conserve l'historique : vous voyez quand un bot cesse de venir.
Quelles réponses IA citent ces pages ?
Votre log montre quels bots lisent votre site. Citlyze montre ce que les moteurs IA disent ensuite de votre marque : mentions, pages citées et part de voix face à vos concurrents, suivies dans la durée.
L'analyse de logs, expliquée
Non. L'outil lit et analyse le fichier dans votre navigateur, et n'envoie jamais votre log à Citlyze ni à personne d'autre. Il retire aussi les paramètres d'URL des chemins avant de les afficher, car ils peuvent contenir des jetons ou des données personnelles.
Les logs d'accès Apache et nginx au format combined, celui que la plupart des serveurs et hébergeurs écrivent par défaut, et les lignes JSON avec des champs user agent, chemin et statut, comme les exports Cloudflare Logpush. Les fichiers .gz fonctionnent aussi. Les lignes dans d'autres formats sont comptées comme ignorées.
Ce sont des crawlers de moteurs de recherche classiques : les compter comme crawlers IA gonflerait les chiffres. Ils comptent tout de même pour la recherche IA, car les AI Overviews et AI Mode de Google, comme Copilot chez Bing, s'appuient sur les index que ces crawlers construisent.
Jusqu'à 100 Mo de texte de log, soit environ un demi-million de requêtes. Au-delà, l'outil lit le fichier jusqu'à cette limite et indique où il s'est arrêté. Pour un site très fréquenté, exportez une journée à la fois.