Welche KI-Crawler lesen Ihre Website?
Fügen Sie Zeilen aus dem Zugriffslog Ihres Servers oder CDN ein oder laden Sie die Datei hoch. Sie sehen, welche KI-Crawler welche Seiten abgerufen haben, wie oft und mit welchem Status. Ihr Log verlässt den Browser nicht.
Beispielergebnis aus einem Muster-Log. Fügen Sie oben Ihr eigenes Log ein, um Ihr Ergebnis zu sehen.
74 von 176 Anfragen kamen von 7 KI-Crawlern. Dazu kommen 28 Anfragen von Suchmaschinen-Crawlern.
Ihre Website hat 3 Anfragen von KI-Crawlern mit 401, 403 oder 429 abgewiesen. Prüfen Sie Ihre Firewall, die Bot-Regeln Ihres CDN und Ihre Rate Limits.
Log-Zeilen vom 16.11.2026, 00:00 bis 18.11.2026, 23:53 UTC.
Die Zahlen vertrauen dem User-Agent, den jede Anfrage mitschickt, und jeder kann einen fälschen. Prüfen Sie wichtigen Traffic gegen die IP-Bereiche, die der jeweilige Betreiber veröffentlicht.
20 Anfragen
Bauen den Index auf, aus dem KI-Suchantworten schöpfen.
OAI-SearchBot OpenAI
14
- /5
- /pricing4
- /blog/choosing-a-crm3
2 Anfragen an /old-features lieferten 404.
und 1 weiterer Pfad
- /old-features2
PerplexityBot Perplexity
6
- /blog/choosing-a-crm4
- /compare/acme-vs-globex2
24 Anfragen
Lesen eine Seite, weil jemand einen Assistenten danach gefragt hat.
ChatGPT-User OpenAI
18
- /pricing9
- /blog/choosing-a-crm6
- /integrations/slack3
Perplexity-User Perplexity
6
- /pricing4
- /docs/getting-started2
30 Anfragen
Sammeln Seiten, die zum Training künftiger Modelle dienen können.
GPTBot OpenAI
19
- /blog/choosing-a-crm7
- /docs/getting-started5
- /docs/api4
3 Anfragen an /blog/archive lieferten 503.
und 1 weiterer Pfad
- /blog/archive3
ClaudeBot Anthropic
9
- /docs/api4
- /pricing3
- /blog/choosing-a-crm2
3 Anfragen an /pricing lieferten 403.
CCBot Common Crawl
2
- /2
28 Anfragen
Klassische Such-Crawler. Die KI-Antworten von Google und Bing stützen sich auf denselben Index.
Googlebot Google
21
- /8
- /pricing6
- /blog/choosing-a-crm5
und 1 weiterer Pfad
- /docs/getting-started2
Bingbot Microsoft
7
- /4
- /pricing3
Wie funktioniert die Logfile-Analyse?
Einen Ausschnitt des Logs exportieren
Laden Sie ein Zugriffslog von Ihrem Server, Hoster oder CDN herunter. Ein Tag oder eine Woche reicht. Klartext und .gz funktionieren, im Combined-Format oder als JSON-Zeilen.
Jede Anfrage einem Crawler zuordnen
Das Tool liest jede Zeile in Ihrem Browser und gleicht ihren User-Agent mit dem Verzeichnis dokumentierter KI-Crawler ab, das auch unsere anderen Tools nutzen, von GPTBot bis PerplexityBot.
Das Ergebnis nach Zweck lesen
Die Bots sind danach gruppiert, was sie tun: Indexierung für die Suche, Abruf einer Seite für einen Nutzer oder Training. Suchmaschinen-Crawler bekommen eine eigene Gruppe, und Fehler sowie abgewiesene Anfragen werden pro Bot markiert.
Was Ihr Log zeigt und die robots.txt nicht
Die robots.txt sagt, was Sie erlauben. Ihr Zugriffslog zeigt, was passiert ist: welche Bots kamen, welche Seiten sie anfragten und was Ihr Server antwortete. Auch ein erlaubter Crawler kann von einer Firewall-Regel ein 403 bekommen, und nur das Log zeigt das.
Warum Abrufe durch Assistenten am meisten zählen
Eine Anfrage von ChatGPT-User oder Perplexity-User heißt: Jemand hat einem Assistenten eine Frage gestellt, und der hat Ihre Seite geöffnet, um sie zu beantworten. Diese Anfragen kommen einem Besuch aus der KI-Suche am nächsten, und ihre Pfade zeigen, auf welche Ihrer Seiten sich KI-Antworten stützen.
User-Agents lassen sich fälschen
Die Analyse vertraut dem User-Agent, den jede Anfrage mitschickt, und jeder kann den von GPTBot senden. Bevor Sie auf eine Zahl reagieren, prüfen Sie die IPs der Anfragen gegen die Bereiche, die der jeweilige Betreiber veröffentlicht. Die meisten großen Betreiber, darunter OpenAI und Google, veröffentlichen ihre.
Vom einmaligen Export zur täglichen Übersicht
Ein Log-Export deckt den Tag oder die Woche ab, die Sie exportiert haben. Das KI-Crawler-Tracking von Citlyze erfasst Besuche erkannter KI-Crawler über eine serverseitige Integration für Cloudflare, Vercel, WordPress oder einen Node-Server und speichert den Verlauf, sodass Sie sehen, wann ein Bot nicht mehr kommt.
Welche KI-Antworten zitieren diese Seiten?
Ihr Log zeigt, welche Bots Ihre Website lesen. Citlyze zeigt, was KI-Engines danach über Ihre Marke sagen: Erwähnungen, zitierte Seiten und Ihr Share of Voice gegenüber Wettbewerbern, regelmäßig gemessen.
Häufige Fragen zur Logfile-Analyse
Nein. Das Tool liest und analysiert die Datei in Ihrem Browser und schickt Ihr Log nie an Citlyze oder sonst jemanden. Außerdem entfernt es Query-Strings aus den Pfaden, bevor es sie anzeigt, denn sie können Tokens oder personenbezogene Daten enthalten.
Apache- und nginx-Zugriffslogs im Combined-Format, das die meisten Server und Hoster standardmäßig schreiben, und JSON-Zeilen mit Feldern für User-Agent, Pfad und Status, etwa Exporte aus Cloudflare Logpush. Gzip-Dateien funktionieren auch. Zeilen in anderen Formaten zählt das Ergebnis als übersprungen.
Sie sind klassische Suchmaschinen-Crawler. Sie als KI-Crawler zu zählen, würde die Zahlen aufblähen. Für die KI-Suche zählen sie trotzdem: Googles AI Overviews und AI Mode sowie Copilot von Bing stützen sich auf die Indizes, die diese Crawler aufbauen.
Bis zu 100 MB Logtext, etwa eine halbe Million Anfragen. Eine größere Datei liest das Tool bis zu dieser Grenze und sagt, wo es aufgehört hat. Exportieren Sie bei einer stark besuchten Website einen Tag nach dem anderen.