KI-Crawler-Tracking installieren

Diese Seite führt Klick für Klick durch jeden Installationsweg. Was Crawler-Tracking misst und wie die Verifizierung funktioniert, steht unter KI-Crawler.

Wählen Sie die Anleitung, die zu Ihrer Site passt:

Bevor Sie starten: einen Site-Key erzeugen

Jede Installation braucht einen Site-Key, egal welche Plattform Sie nutzen:

1. Gehen Sie in der App zu KI-Crawler → Tracking installieren.
2. Klicken Sie auf Site-Schlüssel generieren. Geben Sie dem Key einen Namen und idealerweise die Domain, für die er melden soll; die Domain stärkt zusätzlich die Verifizierung signierter Crawler für diese Site.
3. Kopieren Sie beide Werte aus dem Bestätigungsdialog: die Key-ID und das Signiergeheimnis (es beginnt mit ctk_). Das Geheimnis wird einmal angezeigt; falls Sie es verlieren, nutzen Sie Erneuern am Key, um ein Ersatzgeheimnis zu erzeugen.

Halten Sie das Signiergeheimnis privat: Wer es besitzt, kann gefälschte Traffic-Meldungen für Ihre Site einreichen. Committen Sie es nicht in ein öffentliches Repository und fügen Sie es nicht in clientseitigen Code ein.

Cloudflare Worker

Nutzen Sie diesen Weg, wenn Ihr DNS bei Cloudflare liegt und die Site über den Proxy läuft (der Orange-Cloud-Schalter). Es ist die vollständigste Option: Sie sieht jede Anfrage an der Edge, meldet echte HTTP-Statuscodes und funktioniert unabhängig davon, was hinter Cloudflare läuft.

1. Öffnen Sie unter KI-Crawler → Tracking installieren den Tab Cloudflare und kopieren Sie das Snippet.
2. Ersetzen Sie SITE_KEY_ID und ctk_SITE_KEY_SECRET im Snippet durch Ihre Key-ID und Ihr Signiergeheimnis.
3. Gehen Sie im Cloudflare-Dashboard zu Workers & Pages → Create → Create Worker. Geben Sie einen Namen ein (zum Beispiel ai-crawler-tracker) und klicken Sie auf Deploy, um den leeren Worker anzulegen.
4. Klicken Sie auf Edit code, ersetzen Sie das generierte Beispiel durch Ihr Snippet und klicken Sie erneut auf Deploy.
5. Verbinden Sie den Worker mit Ihrer Site: Öffnen Sie in den Einstellungen des Workers Settings → Domains & Routes → Add → Route, wählen Sie Ihre Zone und fügen Sie die Route example.com/* hinzu. Wird Ihre Site auch über www.example.com ausgeliefert, ergänzen Sie eine zweite Route für www.example.com/*.
6. Fertig: keine Codeänderungen an Ihrer Site. Der Worker reicht jede Anfrage unverändert an Ihren Origin durch und meldet passende Besuche im Hintergrund.

Zwei Dinge sollten Sie prüfen:

• Die Route muss alle Pfade abdecken (/*), sonst bleiben Crawler-Besuche auf nicht gerouteten Seiten unsichtbar.
• Läuft auf diesen Routen bereits ein Worker, führt Cloudflare nur einen Worker pro Route aus; integrieren Sie die Logik des Snippets in Ihren bestehenden Worker, statt einen zweiten hinzuzufügen.

Vercel / Next.js-Middleware

Nutzen Sie diesen Weg für eine Next.js-App auf Vercel. Dieselbe Datei funktioniert auch bei selbst gehostetem Next.js.

1. Öffnen Sie unter KI-Crawler → Tracking installieren den Tab Vercel / Proxy und kopieren Sie das Snippet.
2. Erstellen Sie in Ihrem Next.js-Repository die Datei middleware.ts im Projektstamm (oder in src/, falls Ihre App dort liegt) und fügen Sie das Snippet ein.
3. Ersetzen Sie SITE_KEY_ID und ctk_SITE_KEY_SECRET durch Ihre Key-ID und Ihr Signiergeheimnis.
4. Haben Sie bereits eine middleware.ts, legen Sie keine zweite Datei an; Next.js führt nur eine aus. Kopieren Sie den Hilfsblock des Snippets in Ihre bestehende Datei, rufen Sie dessen Meldelogik am Anfang Ihrer Middleware-Funktion auf und stellen Sie sicher, dass Ihre matcher-Konfiguration weiterhin alle Pfade abdeckt.
5. Committen und deployen.

Hinweise:

• Die Middleware läuft, bevor die Antwort existiert, daher melden Ereignisse ihren HTTP-Status als unknown. Das ist erwartet; Fehler-Insights erfordern die Installation über Cloudflare oder einen eigenen Server.
• Auf Vercel stammt die Besucher-IP aus einem von der Plattform gesetzten Header und ist vertrauenswürdig. Hosten Sie Next.js selbst hinter Ihrem eigenen Proxy, stellen Sie sicher, dass der Forwarded-IP-Header, den das Snippet liest, von Ihrem Proxy gesetzt wird und nicht vom Client durchgereicht ist.

WordPress-Plugin

Nutzen Sie diesen Weg für jede WordPress-Site, auf der Sie Plugins installieren können.

1. Öffnen Sie unter KI-Crawler → Tracking installieren den Tab WordPress und klicken Sie auf WordPress-Plugin herunterladen.
2. Gehen Sie in der WordPress-Verwaltung zu Plugins → Installieren → Plugin hochladen, wählen Sie die heruntergeladene Zip-Datei, klicken Sie auf Jetzt installieren und dann auf Aktivieren.
3. Gehen Sie zu Einstellungen → AI Crawler Tracker und füllen Sie alle drei Felder aus:
   • Tracker base URL: https://app.citlyze.com
   • Key ID: Ihre Key-ID
   • Signing secret: Ihr ctk_...-Geheimnis Das Plugin meldet nichts, solange die Basis-URL leer ist.
4. Klicken Sie auf Send test event. Sie sollten eine „connected“-Bestätigung sehen; das belegt Zugangsdaten und Verbindung Ende-zu-Ende.

Einschränkung: Ganzseiten-Caches und CDNs können Anfragen beantworten, ohne WordPress überhaupt auszuführen, wodurch Crawler-Besuche untererfasst werden. Ist Ihre Site stark hinter Cloudflare gecacht, bevorzugen Sie die Cloudflare-Worker-Installation.

Eigener Server / Node

Nutzen Sie diesen Weg für selbst entwickelte Sites, die Sie selbst hosten: AWS, Google Cloud, Azure, ein VPS oder Container. Das Snippet ist eine Express-artige Middleware für Node 20 oder neuer (sie läuft auch auf Bun und Deno).

1. Öffnen Sie unter KI-Crawler → Tracking installieren den Tab Eigener Server / Node und kopieren Sie das Snippet.
2. Speichern Sie es als aeo-tracker.mjs neben Ihrem Server-Einstiegspunkt.
3. Ersetzen Sie SITE_KEY_ID und ctk_SITE_KEY_SECRET durch Ihre Key-ID und Ihr Signiergeheimnis. Bevorzugt Ihr Team Umgebungsvariablen, lesen Sie sie in die beiden Konstanten am Dateianfang ein; halten Sie das Geheimnis nur aus der Versionskontrolle heraus.
4. Registrieren Sie die Middleware vor Ihren Routen:

   import { aeoCrawlerTracker } from "./aeo-tracker.mjs";
   app.use(aeoCrawlerTracker());

5. Sitzt Ihr Server hinter einem Load Balancer oder Reverse Proxy (nginx, ALB), konfigurieren Sie Express so, dass es ihm vertraut (zum Beispiel app.set("trust proxy", 1)), damit die Middleware die echte Client-IP statt der des Proxys meldet. Die Verifizierung der Crawler-Identität prüft genau diese IP.
6. Deployen. Die Middleware meldet, nachdem die jeweilige Antwort abgeschlossen ist, fügt also keine Latenz hinzu und liefert echte HTTP-Statuscodes.

Kein Express? Der zurückgegebene Handler nimmt einfache (req, res, next)-Argumente entgegen und passt sich an Fastify, Koa oder Nodes http-Server an. Für ganz andere Sprachen (Python, Go, PHP, Ruby, ...) implementieren Sie das Signed-Beacon-Protokoll; das ist ein einzelner signierter HTTPS-POST pro passender Anfrage.

Webflow

Webflows eigenes Hosting kann keinen serverseitigen Code ausführen, und browserseitige Skripte sehen KI-Trainings-Crawler nicht. Das Tracking wird daher auf einer Proxy-Ebene vor Webflow installiert:

1. Webflow unterstützt selbst verwaltete Reverse Proxies auf Enterprise-Plänen; klären Sie das mit Ihrem Webflow-Kontakt und leiten Sie Ihre Domain über Ihren Proxy (Cloudflare, CloudFront, Fastly oder Ihr eigenes nginx).
2. Installieren Sie den Tracker auf dieser Proxy-Ebene:
   • Proxy auf Cloudflare → folgen Sie der Anleitung Cloudflare Worker.
   • Eigener Node-Proxy → folgen Sie der Anleitung Eigener Server / Node.
   • Alles andere → implementieren Sie das Signed-Beacon-Protokoll in Ihrem Proxy.
3. Überprüfen Sie die Installation wie unten beschrieben.

Webflow-Cloud-Apps sind kein Weg zu Site-weitem Tracking: Sie bedienen nur Anfragen unter ihrem Mount-Pfad und sehen daher nie Crawler-Besuche auf Ihren regulären Seiten.

Shopify

Standard-Shopify-Storefronts können diesen Tracker nicht ausführen: Shopify lässt Händler keinen serverseitigen Code auf Storefront-Anfragen ausführen und unterstützt es nicht, einen Proxy (etwa Cloudflare) vor einen Shop zu setzen. Browserseitige Skripte sind kein Ausweg: KI-Trainings-Crawler führen nie JavaScript aus, und ein Browser-Skript würde Ihr Signiergeheimnis offenlegen.

Was Sie tun können:

• Headless-Storefronts auf Basis von Hydrogen und gehostet auf Oxygen (oder jedes selbst gehostete Setup) führen serverseitigen Code aus; verdrahten Sie die Logik des Snippets Eigener Server / Node im Server-Request-Handler Ihrer Storefront.
• Für Standard-Shops funktionieren Ihre übrigen Citlyze-Messungen (Prompt-Tracking, Zitate, GEO-Audits) unabhängig davon, wo der Shop gehostet ist.

Installation verifizieren

• Unter KI-Crawler → Tracking installieren hat die Site-Key-Tabelle eine Spalte Letztes Ereignis. Sie aktualisiert sich, sobald Ihre Installation die erste akzeptierte Meldung liefert; Crawler-Besuche und KI-Referral-Klicks zählen beide.
• WordPress-Nutzer können die Zustellung sofort mit Send test event bestätigen (Testereignisse prüfen Zugangsdaten und Verbindung, aktualisieren aber nicht Letztes Ereignis).
• Geben Sie der Sache Zeit: Auf Sites mit wenig Traffic kann der erste echte Crawler-Besuch Stunden oder ein paar Tage dauern. Sobald Ereignisse eintreffen, füllt sich KI-Crawler → Analytics.
• Kommt nach ein paar Tagen nichts an, prüfen Sie erneut, ob Key-ID und Signiergeheimnis in Ihrer Installation zu einem aktiven (nicht widerrufenen) Key gehören und ob Ihre Route oder Middleware alle Pfade abdeckt.