citlyze docs
Citlyze verwenden

Logquellen verbinden

Speisen Sie Server- und CDN-Logs in das KI-Crawler-Tracking ein.

Das Tracking-Snippet meldet, was im Browser oder auf Ihrem Server läuft, doch viele KI-Bots rufen Seiten ab, ohne je JavaScript auszuführen. Logquellen schließen diese Lücke: Verbinden Sie Ihre CDN- oder Server-Logs, und jede für KI relevante Anfrage wird gezählt, mit eigener Quellenkennzeichnung, sodass Sie Zugriffe aus Logs von Zugriffen aus dem Snippet unterscheiden können.

Gespeichert werden nur für KI relevante Anfragen. Bekannte KI-Crawler, botartige Agents und Besuche, die über KI-Assistenten kommen, bleiben erhalten; aller übrige Traffic wird beim Eintreffen verworfen und nirgends gespeichert. Die Verifizierungsstufen gelten für Zugriffe aus Logs genauso wie für Zugriffe aus dem Snippet.

Alle Logquellen authentifizieren sich mit einem Log-Ingest-Schlüssel. Er ist von den Schlüsseln Ihres Tracking-Snippets getrennt und kann ausschließlich Logs übermitteln. Alles Folgende finden Sie unter Einstellungen, dann Verbindungen, dann Website-Tracking, im Tab Server-Logs.

Cloudflare (ein Klick)

Der schnellste Weg für Websites hinter dem Cloudflare-Proxy. Erstellen Sie ein API-Token mit genau drei Berechtigungen: Workers Scripts Edit, Zone Read und Workers Routes Edit. Fügen Sie Token und Domain ein, und Citlyze deployt einen kleinen Worker in Ihrer Zone und verknüpft ihn mit der Route Ihrer Domain.

Der Worker reicht Anfragen ausschließlich durch: Er liest oder verändert nie den Inhalt von Anfragen oder Antworten, und bei einem internen Fehler wird die Anfrage einfach durchgereicht, sodass Ihre Website nie beeinträchtigt wird. Er meldet Metadaten der Anfrage (Pfad, Status, User-Agent, IP, Referrer, Land), nachdem die Antwort ausgeliefert wurde. Das Token wird einmalig für die Einrichtung verwendet und nie gespeichert.

Zwei Hinweise:

  • Die Route greift nur bei DNS-Einträgen mit aktiviertem Proxy (orangefarbene Wolke).
  • Im kostenlosen Workers-Tarif teilen sich Anfragen ein Tageskontingent. Mit der Vorfilter-Option meldet der Worker nur KI-User-Agents; das spart Kontingent, bedeutet aber, dass neu registrierte Crawler erst erfasst werden, wenn Sie den Worker erneut deployen.

Sie möchten lieber kein Token einfügen? Wählen Sie die manuelle Option, und Citlyze generiert denselben Worker-Code, den Sie dann selbst im Cloudflare-Dashboard einfügen.

Für Zonen mit sehr viel Traffic ist Cloudflare Logpush die bessere Wahl: Legen Sie ein HTTP-Ziel an, das auf Ihre Ingest-URL zeigt, mit dem Schlüssel als URL-Parameter key=, und Citlyze filtert die übermittelten Batches auf dieselbe Weise.

Vercel (Log-Drain)

Fügen Sie ein Vercel-Token ein, und Citlyze erstellt einen Log-Drain, der die Request-Logs automatisch überträgt. Beschränken Sie ihn auf ein Projekt oder lassen Sie das Projekt leer, um das gesamte Team abzudecken. Das Token wird verschlüsselt gespeichert und nur für einen einzigen Zweck verwendet: den Drain zu entfernen, wenn Sie die Verbindung trennen. Die Übertragung der Logs selbst authentifiziert sich über den Log-Ingest-Schlüssel, der in die Drain-URL eingebettet ist.

Generischer Webhook

Jedes System, das JSON per POST senden kann, kann Logs einspeisen. Senden Sie Batches mit bis zu 500 Einträgen an den Ingest-Endpunkt, mit Ihrem Log-Ingest-Schlüssel im Header X-API-Key. Jeder Eintrag enthält Zeitstempel, Methode, URL, Status und User-Agent, optional außerdem Client-IP, Referrer und Land. Die vollständige Spezifikation finden Sie in der API-Referenz zur Log-Ingestion.

Datei-Upload

Für einen einmaligen nachträglichen Import fügen Sie einen Ausschnitt Ihrer Access-Logs direkt im Tab Upload ein. Zwei Formate werden unterstützt: CSV mit Kopfzeile (gängige Spaltennamen aus CDN-Exporten werden automatisch erkannt) und das Combined-Logformat von Apache/Nginx. Einträge, die älter als 30 Tage sind, werden übersprungen, und die Zusammenfassung zeigt, wie viele Zeilen eingelesen, gespeichert und verworfen wurden.

Wird dieselbe Datei ein zweites Mal hochgeladen, wird sie abgelehnt, damit nachträglich importierte Daten nie doppelt zählen.

Weitere CDNs

Nutzer von CloudFront und Akamai erreichen denselben Endpunkt schon heute über die generische Webhook-Schnittstelle: Richten Sie eine Lambda@Edge-Funktion, ein HTTPS-Ziel für DataStream oder einen beliebigen Log-Shipper mit Ihrem Schlüssel auf die Ingest-URL aus. Native Ein-Klick-Anbindungen für diese Anbieter folgen je nach Nachfrage.

Ergebnisse lesen

Zugriffe aus Logs erscheinen in denselben Ansichten für KI-Crawler und KI-Traffic wie Zugriffe aus dem Snippet. Die öffentliche API weist die Quelle in jeder Zeile aus, sodass Sie in Exporten trennen können, was das Snippet und was Ihre Logs erfasst haben.

Zugriffe aus Logs enthalten den echten HTTP-Statuscode und liefern daher auch die Daten für die Hinweise zu Fehlern und Weiterleitungen unter Gecrawlte Seiten. Verwenden Sie eine Quelle pro Website: Melden ein Tracking-Snippet und eine Logquelle dieselbe Domain, wird jeder Besuch doppelt gezählt; die Installationsseite warnt Sie in diesem Fall.

Auf dieser Seite