KI-Crawler
Sehen Sie, welche KI-Crawler Ihre Website wirklich besuchen, und erfahren Sie, wie Sie das Tracking installieren.
KI-Crawler-Tracking zeigt, welche KI-Engines Ihre Website wirklich besuchen: GPTBot, ClaudeBot, PerplexityBot, Bingbot und weitere. Es ergänzt die GEO-Audits: Audits sagen Ihnen, ob Bots eine Seite erreichen können; das Crawler-Tracking zeigt, ob sie es tun.
Warum serverseitige Erfassung
KI-Trainings-Crawler führen kein JavaScript aus. Ein Google-Tag-Manager- oder JavaScript-Pixel sieht GPTBot oder ClaudeBot daher nie. Citlyze erfasst Crawler-Besuche serverseitig, wo der echte User-Agent der Anfrage sichtbar ist, sodass auch Crawler ohne JavaScript gezählt werden.
Bei den menschlichen Besuchen ist es anders: Besucher aus KI-Antworten führen JavaScript aus, daher genügt für KI-Traffic ein Browser-Snippet oder eine Installation über den Tag Manager (siehe KI-Traffic-Tracking installieren). Die serverseitigen Installationen auf dieser Seite erfassen beides gleichzeitig.
Tracking installieren
Gehen Sie zu Einstellungen → Verbindungen → Website-Tracking und erzeugen Sie einen Site-Schlüssel. Der Schlüssel besteht aus zwei Teilen, der Schlüssel-ID und dem Signatur-Secret, die nur einmal angezeigt werden; kopieren Sie beide. Fügen Sie dann das passende Snippet für Ihre Plattform hinzu (Klick-für-Klick-Anleitungen zu jeder Option finden Sie unter KI-Crawler-Tracking installieren):
- Cloudflare (empfohlen): Setzen Sie das Worker-Snippet vor Ihre Website.
- Vercel / Reverse Proxy: Fügen Sie das Middleware-Snippet hinzu.
- WordPress: Laden Sie AI Crawler Control by Citlyze herunter, laden
Sie es in wp-admin unter Plugins hoch und füllen Sie dann in den
Einstellungen alle drei Felder aus: Tracker base URL
(
https://app.citlyze.com), Key ID und Signing secret. Prüfen Sie die Zustellung mit Send test event. Das Plugin meldet nichts, solange die Basis-URL des Trackers leer ist. - Eigener Server / Node: für selbst gehostete Websites (AWS, GCP, Azure,
Bare Metal, Container). Fügen Sie das Middleware-Snippet im Express-Stil
hinzu (Node 20+). Es lässt sich an Fastify, Koa oder das reine
httpanpassen, und in anderen Sprachen können Sie das Protokoll für signierte Beacons direkt implementieren.
Die Snippets für Cloudflare, Vercel und eigene Server lesen das
Signatur-Secret aus der Umgebungsvariable CITLYZE_SIGNING_SECRET (bei
Cloudflare ein verschlüsseltes Worker-Secret), sodass das Secret nie in Code
steht, den Sie committen oder weitergeben. Das WordPress-Plugin speichert es
stattdessen in seinen Einstellungen.
Jedes Ereignis wird mit Ihrem Secret signiert, damit der Tracker gefälschte Beacons ablehnen kann. Diese Signatur belegt, dass die Meldung von Ihrer Website stammt; über den Besucher sagt sie nichts aus. Ob ein Besucher wirklich GPTBot war, wird in einem eigenen Schritt geprüft, siehe So funktioniert die Verifizierung.
Standard-Shopify-Shops können keine serverseitige Erfassung ausführen, und Shopify erlaubt es nicht, einen Proxy (etwa Cloudflare) vor einen Shop zu schalten. Vollständiges Crawler-Tracking ist mit Standard-Shopify daher nicht möglich. Headless-Storefronts mit Hydrogen oder Oxygen führen serverseitigen Code aus und können das Snippet für eigene Server nutzen. Auch das Hosting von Webflow kann keinen Servercode ausführen; mit Webflow Enterprise kann ein selbst verwalteter Reverse Proxy den Cloudflare Worker oder das Snippet für eigene Server auf Proxy-Ebene ausführen.
Die Collectors melden, was mit jeder Anfrage passiert ist:
- Der Cloudflare Worker, die Middleware für eigene Server und das WordPress-Plugin senden den genauen HTTP-Status (200, 301, 404, 410, 500 usw.), auf dem die Hinweise zu Fehlern und Weiterleitungen weiter unten beruhen. Die Vercel-Middleware läuft, bevor die Antwort existiert, und kann ihn daher nicht senden. Für Statuscodes auf Vercel nutzen Sie statt der Middleware den Vercel-Log-Drain unter Website-Tracking → Server-Logs.
- Bei einer Weiterleitung senden dieselben drei Collectors auch das Ziel: bei einer Seite Ihrer eigenen Website den Pfad, bei jeder anderen Website nur die Domain.
- Bei Crawler-Besuchen wird auch der Query-String gesendet (zum Beispiel
?page=2). Der Query-String menschlicher Besucher verlässt Ihre Website nie.
Ereignisse werden in signierten Batches übertragen. Ist Citlyze kurzzeitig nicht erreichbar, versuchen es der Cloudflare Worker und die Middleware für eigene Server einmal erneut. Das WordPress-Plugin bewahrt nicht zugestellte Ereignisse bis zu einen Tag in Ihrer WordPress-Datenbank auf und versucht es weiter. Eine Wiederholung wird nie doppelt gezählt. Jeder installierte Collector aktualisiert außerdem mindestens einmal täglich seine Liste bekannter Crawler, sodass neue Crawler erkannt werden, ohne dass Sie das Snippet oder Plugin aktualisieren müssen. Die Seite Website-Tracking zeigt an, wenn eine neuere Version Ihres Snippets oder Plugins verfügbar ist.
Das WordPress-Plugin sieht jede Anfrage, die WordPress erreicht, auch Anfragen, die ein anderes Plugin weiterleitet, bevor die Seite gerendert wird. Nicht sehen kann es, was WordPress nie erreicht: Seiten aus einem Full-Page-Cache, Weiterleitungen Ihres Webservers oder CDNs und Anfragen, die eine Firewall blockiert, bevor WordPress lädt. Die Einstellungsseite des Plugins zeigt an, wenn es einen Seiten-Cache erkennt. Für stark gecachte Websites nutzen Sie den Cloudflare Worker oder laden Ihre Server-Logs hoch. Läuft WordPress hinter einem anderen Proxy oder Load Balancer als Cloudflare, tragen Sie in den Plugin-Einstellungen den Client-IP-Header und die Adressen des Proxys ein, damit Crawler anhand ihrer echten Adresse verifiziert werden können.
Verwenden Sie einen Collector pro Website. Melden ein Website-Collector und eine Server-Log-Quelle dieselbe Domain, wird jeder Besuch doppelt gezählt; die Seite Tracking installieren warnt Sie in diesem Fall.
Eigene Server und andere Sprachen
Der Tab für eigene Server enthält eine Node-Middleware, aber jeder Stack kann
Ereignisse melden: Senden Sie signierte HTTPS-POST-Anfragen an
https://app.citlyze.com/api/track mit einem JSON-Body (höchstens 256 KB) und
Content-Type: application/json. Jede Anfrage enthält einen Batch mit 1 bis
50 Ereignissen.
Erforderliche Header:
| Header | Wert |
|---|---|
x-aeo-schema | Die Zeichenkette 3. |
x-aeo-key-id | Ihre Schlüssel-ID (die UUID, die beim Erzeugen des Site-Schlüssels angezeigt wurde). |
x-aeo-ts | Unix-Zeitstempel in Sekunden; darf höchstens 5 Minuten von der Uhr des Trackers abweichen. |
x-aeo-nonce | Eindeutig pro Batch: 16 bis 64 Zeichen aus Hex-Ziffern und Bindestrichen. Eine UUID ohne Bindestriche funktioniert. |
x-aeo-signature | HMAC als Hexwert in Kleinbuchstaben, berechnet wie unten beschrieben. |
Signatur berechnen:
- Leiten Sie den Signaturschlüssel ab: den 64-stelligen SHA-256-Hexwert Ihres
Signatur-Secrets (die vollständige Zeichenkette
ctk_...) in Kleinbuchstaben. Verwenden Sie die UTF-8-Bytes dieser Hex-Zeichenkette als HMAC-Schlüssel; dekodieren Sie sie nicht als Hex. - Bauen Sie die Nachricht:
"3\n" + timestamp + "\n" + nonce + "\n" + bodyDigest, wobeibodyDigestder SHA-256-Hexwert der exakt gesendeten Body-Bytes in Kleinbuchstaben ist. Wird der Body nach dem Signieren erneut serialisiert, ist die Signatur ungültig. x-aeo-signatureist der HMAC-SHA256 dieser Nachricht als Hexwert in Kleinbuchstaben, berechnet mit dem Signaturschlüssel aus Schritt 1.
Bewahren Sie das Signatur-Secret in einer Umgebungsvariable oder im Secret-Speicher Ihrer Plattform auf, nie im Quellcode.
Body-Felder:
collector: ein kurzer Name für Ihre Integration, zum Beispielmy-app/1.0(Buchstaben, Ziffern,.,_,/und-, bis zu 64 Zeichen).events: die Liste der Ereignisse. Jedes Ereignis hat diese Felder (Pflichtfelder, sofern nicht anders angegeben):occurredAt: Zeitpunkt der Anfrage in Millisekunden seit der Unix-Epoche. Ereignisse, die älter als 48 Stunden sind, werden ignoriert.host: der Hostname der Anfrage ohne Port oder eine leere Zeichenkette. Ereignisse für einen Host, der weder die Domain Ihres Site-Schlüssels noch eine ihrer Subdomains ist, werden ignoriert.userAgent: der User-Agent des Besuchers, bis zu 1024 Zeichen.path: der Anfragepfad mit führendem/, ohne Query-String oder Fragment, bis zu 2048 Zeichen.query(optional): der Query-String ohne?, nur für Crawler-Anfragen.visitorIp: die Client-IP, wie Ihr Server sie sieht. Hinter einem Load Balancer oder Reverse Proxy nehmen Sie sie aus dem Forwarding-Header, den Ihr eigener Proxy setzt; dieses Feld prüft die Verifizierung der Crawler-Identität.referrer: eine leere Zeichenkette oder einehttps://-Referrer-URL ohne Query und Fragment. Nur relevant für menschliche Besuche aus KI-Antworten.utmSource(optional): der Wert vonutm_source, wenn ein Besuch aus einer KI-Antwort ohne Referrer ankommt.status: der dreistellige HTTP-Status der Antwort oderunknown, wenn Sie melden, bevor die Antwort existiert.method: die HTTP-Methode in Großbuchstaben.redirectTarget(optional): bei einer 3xx-Antwort dieLocation, auf die sie verwies.
Melden Sie nur Anfragen, deren User-Agent automatisiert wirkt oder deren
Referrer eine KI-Suchmaschine ist, und senden Sie Batches erst nach der
Antwort, nie während ein Besucher wartet. Scheitert ein Batch mit einem
Netzwerkfehler, einem 429 oder einem 5xx, wiederholen Sie ihn mit
derselben Nonce und demselben Body und einem neuen Zeitstempel: Ein
bereits angekommener Batch wird an seiner Nonce erkannt und nur einmal
gezählt. Ein 429 enthält einen Retry-After-Header. Jeder andere 4xx
bedeutet, dass der Batch selbst ungültig ist; wiederholen Sie ihn nicht.
Optional können Sie einmal täglich die aktuelle Liste bekannter
Crawler-Kennungen und KI-Referrer-Hosts von
GET https://app.citlyze.com/api/track/registry abrufen, mit Ihrer
Schlüssel-ID im Header x-aeo-key-id. Der Antwort-Header
x-aeo-registry-signature ist der HMAC-SHA256 von
"citlyze-registry-1\n" + bodyDigest als Hexwert in Kleinbuchstaben,
berechnet mit dem Signaturschlüssel aus Schritt 1; verwenden Sie die Liste
nur, wenn er übereinstimmt.
Um Ihre Integration zu prüfen, senden Sie einen Batch mit "test": true und
einem einzigen Ereignis, dessen userAgent mit citlyze-connection-test/
beginnt und dessen path /citlyze-test ist. Ein korrekt signierter Test
liefert HTTP 200 und speichert nichts; echte Batches liefern 204, unabhängig
davon, ob die Besuche später in Ihren Berichten erscheinen.
Schlüssel erneuern oder widerrufen
Wenn ein Signatur-Secret an die Öffentlichkeit gelangt sein könnte (etwa weil
es in ein Repository committet oder in einem Screenshot geteilt wurde),
nutzen Sie Erneuern neben dem Schlüssel. Dabei erhält derselbe Schlüssel
ein neues Secret: Schlüssel-ID, Name, Domain und der gesamte bisherige
Verlauf bleiben erhalten, aber das alte Secret funktioniert sofort nicht
mehr. Aktualisieren Sie daher umgehend CITLYZE_SIGNING_SECRET (oder die
Plugin-Einstellung) mit dem neuen Secret. Widerrufen ist etwas anderes:
Der Schlüssel wird dauerhaft deaktiviert, und das Tracking für diese Website
endet.
Auswertungen lesen
Die Seite Analysieren → KI-Crawler-Aktivität → Überblick zeigt für den gewählten Zeitraum:
- Kacheln oben: Crawler-Zugriffe gesamt, Anzahl verschiedener Crawler, häufigster Crawler und Trend
- Crawler-Besuche im Zeitverlauf (Tagessummen)
- Wann Crawler kommen: Zugriffe nach Tageszeit
- Crawler-Trends im Zeitverlauf (eine Linie je Crawler)
- Nach Crawler: Aufschlüsselung mit Organisation, Zweck, Zugriffen und Trend
- Am häufigsten gecrawlte Seiten (Top 10, mit Link zur vollständigen Liste)
- Nicht erkannte Bots: botartige User-Agents, die keinem bekannten KI-Crawler zugeordnet werden konnten, gruppiert unter „Unbekannter Bot“, damit neue Crawler früh auffallen
Tage und Stunden richten sich nach der Zeitzone Ihres Browsers: Ein Besuch um 21 Uhr in New York zählt zu diesem Tag, nicht zum nächsten. Die Tabelle der einzelnen Seiten verwendet UTC-Tage.
Trends vergleichen nur vollständige Tage. Solange der heutige Tag läuft, bleibt er beim Vergleich außen vor, und jeder vollständige Tag wird mit dem entsprechenden Tag einen Zeitraum früher verglichen. Ein Crawler ohne Besuche im früheren Zeitraum zeigt Neu statt eines Prozentwerts, und wenn das Tracking erst nach Beginn des früheren Zeitraums startete, wird noch kein Trend angezeigt.
Mit den Voreinstellungen (7/30/90 Tage), einem eigenen Datumsbereich und dem Crawler-Filter grenzen Sie die Ansicht ein. Workspaces, die mehrere Websites erfassen, erhalten zusätzlich einen Website-Filter. Menschen, die über KI-Antworten kamen, finden Sie unter KI-Traffic.
So funktioniert die Verifizierung
Jeder Client kann GPTBot in seinen User-Agent schreiben. Ein User-Agent ist
daher eine Behauptung, kein Beweis, und Citlyze behandelt ihn so: In die
Crawler-Kennzahlen fließt nur Traffic ein, den wir unabhängig bestätigen
konnten.
Jeder Besuch erhält eine von drei Konfidenzstufen:
- Verifiziert: Wir haben die Netzwerkidentität des Besuchers anhand von Angaben bestätigt, die der Betreiber veröffentlicht. Nur diese Besuche zählen zu Ihren Crawler-Summen.
- Wahrscheinlich: Es gibt stützende Hinweise, etwa dass Ihr CDN die Anfrage als bekannten Bot markiert, aber keine unabhängige Bestätigung.
- Nicht verifiziert: Der User-Agent nannte einen Crawler und nichts sprach dagegen, wir konnten es aber nicht bestätigen. Solche Besuche werden separat ausgewiesen und nie zu Ihren Summen addiert.
Die Verifizierung nutzt jeweils das, was der Betreiber unterstützt:
| Methode | Was sie belegt |
|---|---|
| Signierte Anfrage | Die Anfrage trug eine kryptografische Signatur, die wir mit den veröffentlichten Schlüsseln des Betreibers geprüft haben. Der stärkste verfügbare Nachweis. |
| Veröffentlichter IP-Bereich | Die Quelladresse liegt in einem Bereich, den der Betreiber für seine Crawler veröffentlicht. |
| Reverse-DNS | Die Quelladresse löst auf die Domain des Betreibers auf, und dieser Name löst wieder auf dieselbe Adresse auf. |
| Bekannter IP-Bereich | Die Quelladresse liegt in einem festen Bereich, den der Betreiber dokumentiert hat. |
| CDN-Bestätigung | Ihr CDN hat die Anfrage als bekannten Bot erkannt. Ein stützender Hinweis, kein Beweis. |
| Nur User-Agent | Nichts außer dem selbst angegebenen Namen. Immer nicht verifiziert. |
Betreiber, die nichts Prüfbares veröffentlichen, kommen nie über nicht verifiziert hinaus. Das liegt am Crawler, nicht an Ihrer Einrichtung, und genau deshalb gibt es getrennte Ansichten statt einer vermischten Zahl.
Zwei Dinge sollten Sie wissen:
- Agent-Traffic wird getrennt gezählt. Werkzeuge, die Menschen selbst steuern, etwa ChatGPT Agent, erscheinen unter Agent-Aktivität statt in den Crawler-Summen: Ein Mensch, der klickt, ist nicht dasselbe Signal wie ein Crawler, der Ihre Website indexiert.
- Gelegentlich können wir eine Prüfung nicht ausführen: Die IP-Liste eines Betreibers kann vorübergehend nicht erreichbar sein. Solche Besuche bleiben nicht verifiziert, statt gezählt zu werden. So enthalten Ihre Summen nie etwas, das wir nicht bestätigt haben.
Gecrawlte Seiten
Analysieren → KI-Crawler-Aktivität → Gecrawlte Seiten ist die vollständige Detailansicht: jede Seite, die KI-Crawler im gewählten Zeitraum abgerufen haben, mit Suche, Sortierung und Paginierung. Jede Zeile zeigt Zugriffe, den Anteil am gesamten Crawler-Traffic, den Trend gegenüber dem vorherigen Zeitraum, Fehler, Weiterleitungen, den häufigsten Crawler und das Datum des letzten Besuchs. Klappen Sie eine Zeile auf, um die Aufteilung nach Crawler und die genauen Statuscodes zu sehen, die Crawler erhalten haben.
Über der Tabelle erscheinen bei Bedarf Hinweise:
- Gecrawlt, aber nie zitiert: Seiten, die KI-Engines abrufen, aber in Ihren verfolgten Antworten nie zitieren; Kandidaten für klarere, besser zitierfähige Inhalte.
- Seiten mit Fehlern: Seiten, die Crawlern mit 4xx/5xx geantwortet haben. Fehlerhafte Seiten können weder gelesen noch zitiert werden.
- Weiterleitende Seiten: alte URLs, die Crawler weiterhin anfragen und von denen sie weitergeleitet werden. Lassen Sie interne Links und Ihre Sitemap auf die endgültigen URLs verweisen.
- Zum ersten Mal abgerufene Seiten: Seiten, die seit Beginn des Trackings vor diesem Zeitraum kein KI-Crawler abgerufen hatte. Tauchen hier neue Inhalte auf, haben Crawler sie gefunden.
Statuscodes und Weiterleitungen setzen einen Collector voraus, der sie meldet: den Cloudflare Worker, die Middleware für eigene Server, das WordPress-Plugin oder Server-Logs.
Die Tabelle lässt sich in Tarifen mit Datenexport als CSV herunterladen.
Crawl-Protokoll
Analysieren → KI-Crawler-Aktivität → Crawl-Protokoll listet jede Anfrage verifizierter KI-Crawler und signierter Agents an Ihre Website auf, Tag für Tag und in zeitlicher Reihenfolge, gruppiert in Crawl-Sitzungen (die Anfragen eines Crawlers ohne Pause von mehr als 30 Minuten). Zu jeder Anfrage sehen Sie Uhrzeit, Seite und Query-String, den Statuscode und bei Weiterleitungen das Ziel sowie, ob der Crawler der Weiterleitung in derselben Sitzung gefolgt ist. Seiten, die in einer Sitzung mehrfach abgerufen wurden, sind markiert.
Das Crawl-Protokoll enthält nur Anfragen verifizierter Crawler und
signierter Agents, nie andere Besucher, und speichert nie eine IP-Adresse
oder einen User-Agent. Werte von Query-Parametern, die Zugangsdaten oder
personenbezogene Daten enthalten könnten (etwa token oder email), werden
durch redacted ersetzt. Wie viele Tage Sie zurückblicken können, hängt von
Ihrem Tarif ab; siehe Tarife und Limits.
Das Protokoll eines Tages lässt sich in Tarifen mit Datenexport als CSV
herunterladen.
Daten über API und MCP abrufen
Sobald das Tracking installiert ist, lassen sich Crawler-Besuche programmatisch abrufen:
- REST:
GET /api/v1/crawler-events; siehe die AI-Crawler-Events-Ressource. - MCP: das Tool
list_crawler_events; siehe die MCP-Tool-Referenz.
Beide bieten nur Lesezugriff und sind auf Ihren Workspace beschränkt. Die
REST-Ressource lässt sich nach crawler_id, erfasster Website und exaktem
path filtern; menschliche Besuche aus KI-Antworten liefert
GET /api/v1/ai-referrals.