Neu: Suchnachfrage, Claude-Tracking, WordPress-Entwürfe, alle Workspaces auf einer Seite

Welche KI-Crawler lesen Ihre Website?

Fügen Sie Zeilen aus dem Zugriffslog Ihres Servers oder CDN ein oder laden Sie die Datei hoch. Sie sehen, welche KI-Crawler welche Seiten abgerufen haben, wie oft und mit welchem Status. Ihr Log verlässt den Browser nicht.

Klartext oder .gz, im Combined-Format oder als JSON-Zeilen mit Feldern für User-Agent, Pfad und Status. Bis zu 100 MB Logtext. Die Analyse läuft in Ihrem Browser, und Ihre Logs werden nirgendwohin gesendet.

Beispielergebnis aus einem Muster-Log. Fügen Sie oben Ihr eigenes Log ein, um Ihr Ergebnis zu sehen.

74 von 176 Anfragen kamen von 7 KI-Crawlern. Dazu kommen 28 Anfragen von Suchmaschinen-Crawlern.

Ihre Website hat 3 Anfragen von KI-Crawlern mit 401, 403 oder 429 abgewiesen. Prüfen Sie Ihre Firewall, die Bot-Regeln Ihres CDN und Ihre Rate Limits.

Log-Zeilen vom 16.11.2026, 00:00 bis 18.11.2026, 23:53 UTC.

Die Zahlen vertrauen dem User-Agent, den jede Anfrage mitschickt, und jeder kann einen fälschen. Prüfen Sie wichtigen Traffic gegen die IP-Bereiche, die der jeweilige Betreiber veröffentlicht.

Suchindex

20 Anfragen

Bauen den Index auf, aus dem KI-Suchantworten schöpfen.

  • OAI-SearchBot OpenAI

    14

    • /5
    • /pricing4
    • /blog/choosing-a-crm3

    2 Anfragen an /old-features lieferten 404.

    und 1 weiterer Pfad
    • /old-features2
  • PerplexityBot Perplexity

    6

    • /blog/choosing-a-crm4
    • /compare/acme-vs-globex2
Assistenten-Abruf

24 Anfragen

Lesen eine Seite, weil jemand einen Assistenten danach gefragt hat.

  • ChatGPT-User OpenAI

    18

    • /pricing9
    • /blog/choosing-a-crm6
    • /integrations/slack3
  • Perplexity-User Perplexity

    6

    • /pricing4
    • /docs/getting-started2
Training

30 Anfragen

Sammeln Seiten, die zum Training künftiger Modelle dienen können.

  • GPTBot OpenAI

    19

    • /blog/choosing-a-crm7
    • /docs/getting-started5
    • /docs/api4

    3 Anfragen an /blog/archive lieferten 503.

    und 1 weiterer Pfad
    • /blog/archive3
  • ClaudeBot Anthropic

    9

    • /docs/api4
    • /pricing3
    • /blog/choosing-a-crm2

    3 Anfragen an /pricing lieferten 403.

  • CCBot Common Crawl

    2

    • /2
Suchmaschinen

28 Anfragen

Klassische Such-Crawler. Die KI-Antworten von Google und Bing stützen sich auf denselben Index.

  • Googlebot Google

    21

    • /8
    • /pricing6
    • /blog/choosing-a-crm5
    und 1 weiterer Pfad
    • /docs/getting-started2
  • Bingbot Microsoft

    7

    • /4
    • /pricing3

Wie funktioniert die Logfile-Analyse?

  1. Einen Ausschnitt des Logs exportieren

    Laden Sie ein Zugriffslog von Ihrem Server, Hoster oder CDN herunter. Ein Tag oder eine Woche reicht. Klartext und .gz funktionieren, im Combined-Format oder als JSON-Zeilen.

  2. Jede Anfrage einem Crawler zuordnen

    Das Tool liest jede Zeile in Ihrem Browser und gleicht ihren User-Agent mit dem Verzeichnis dokumentierter KI-Crawler ab, das auch unsere anderen Tools nutzen, von GPTBot bis PerplexityBot.

  3. Das Ergebnis nach Zweck lesen

    Die Bots sind danach gruppiert, was sie tun: Indexierung für die Suche, Abruf einer Seite für einen Nutzer oder Training. Suchmaschinen-Crawler bekommen eine eigene Gruppe, und Fehler sowie abgewiesene Anfragen werden pro Bot markiert.

  • Was Ihr Log zeigt und die robots.txt nicht

    Die robots.txt sagt, was Sie erlauben. Ihr Zugriffslog zeigt, was passiert ist: welche Bots kamen, welche Seiten sie anfragten und was Ihr Server antwortete. Auch ein erlaubter Crawler kann von einer Firewall-Regel ein 403 bekommen, und nur das Log zeigt das.

  • Warum Abrufe durch Assistenten am meisten zählen

    Eine Anfrage von ChatGPT-User oder Perplexity-User heißt: Jemand hat einem Assistenten eine Frage gestellt, und der hat Ihre Seite geöffnet, um sie zu beantworten. Diese Anfragen kommen einem Besuch aus der KI-Suche am nächsten, und ihre Pfade zeigen, auf welche Ihrer Seiten sich KI-Antworten stützen.

  • User-Agents lassen sich fälschen

    Die Analyse vertraut dem User-Agent, den jede Anfrage mitschickt, und jeder kann den von GPTBot senden. Bevor Sie auf eine Zahl reagieren, prüfen Sie die IPs der Anfragen gegen die Bereiche, die der jeweilige Betreiber veröffentlicht. Die meisten großen Betreiber, darunter OpenAI und Google, veröffentlichen ihre.

  • Vom einmaligen Export zur täglichen Übersicht

    Ein Log-Export deckt den Tag oder die Woche ab, die Sie exportiert haben. Das KI-Crawler-Tracking von Citlyze erfasst Besuche erkannter KI-Crawler über eine serverseitige Integration für Cloudflare, Vercel, WordPress oder einen Node-Server und speichert den Verlauf, sodass Sie sehen, wann ein Bot nicht mehr kommt.

Welche KI-Antworten zitieren diese Seiten?

Ihr Log zeigt, welche Bots Ihre Website lesen. Citlyze zeigt, was KI-Engines danach über Ihre Marke sagen: Erwähnungen, zitierte Seiten und Ihr Share of Voice gegenüber Wettbewerbern, regelmäßig gemessen.

Häufige Fragen zur Logfile-Analyse

Nein. Das Tool liest und analysiert die Datei in Ihrem Browser und schickt Ihr Log nie an Citlyze oder sonst jemanden. Außerdem entfernt es Query-Strings aus den Pfaden, bevor es sie anzeigt, denn sie können Tokens oder personenbezogene Daten enthalten.

Soll das dauerhaft verfolgt werden?

Keine Kreditkarte erforderlich