citlyze docs
Citlyze verwenden

Bot-Zugriff

Laufende Prüfungen, ob KI-Bots Ihre Seiten erreichen, mit Benachrichtigungen bei Vorfällen und deren Ursachen.

Eine Seite, die KI-Bots nicht abrufen können, können KI-Antworten nicht zitieren. Analysieren → KI-Crawler-Aktivität → Bot-Zugriff prüft laufend, ob KI-Bots Ihre wichtigsten Seiten tatsächlich erreichen, vergleicht Ihre robots.txt-Regeln mit den echten Antworten Ihres Servers und legt einen Vorfall an, wenn ein Bot den Zugriff verliert.

Das ist etwas anderes als ein einmaliges Audit: Firewall-Regeln, Bot-Schutz im CDN und robots.txt-Dateien ändern sich, und eine Seite, die letzten Monat die Prüfung bestanden hat, kann heute unbemerkt blockiert sein.

Überwachte Seiten

Ihre Startseite und Ihre meistzitierten Seiten werden automatisch hinzugefügt; mit Seite hinzufügen überwachen Sie weitere, im Rahmen Ihres Tariflimits (5 Seiten in Starter, 25 in Growth, 100 ab Pro). Jede Seitenzeile lässt sich aufklappen und zeigt Details je Bot: das HTTP-Ergebnis, was robots.txt für diesen Bot vorgibt, und das Ergebnis der Prüfung.

Die Prüfungen laufen von Citlyze-Servern aus, die sich jeweils mit dem User-Agent des Bots melden. Websites, die verifizierte IP-Bereiche von Bots per Allowlist freigeben, können hier daher als blockiert erscheinen, obwohl der echte Bot durchkommt. Nutzen Sie diese Seite deshalb zusammen mit der Auswertung der KI-Crawler, um zu bestätigen, wer tatsächlich zugreift.

Vorfälle und Ursachen

Wenn ein Bot eine Seite, die er bisher erreicht hat, nicht mehr erreicht, wird ein Vorfall mit der Ursache angelegt:

  • Sperre durch robots.txt: Ihre robots.txt sperrt den Bot aus. Ist das beabsichtigt, müssen Sie nichts tun; bewusste Regeln werden respektiert, und für reine Trainings-Bots gibt es keine Benachrichtigungen.
  • Sperre durch Firewall/CDN: Die Anfrage wurde abgewiesen, bevor Ihre Website geantwortet hat. Der Anbieter wird genannt, wenn er sich erkennen lässt (zum Beispiel Cloudflare), damit Sie wissen, welches Dashboard Sie öffnen müssen.
  • Zeitüberschreitung oder Fehler: Die Seite hat nicht brauchbar geantwortet.

Vorfälle werden automatisch geschlossen, sobald der Zugriff wieder funktioniert. Nutzen Sie Jetzt erneut prüfen, nachdem Sie robots.txt oder Firewall-Regeln geändert haben, statt auf die nächste geplante Prüfung zu warten.

Benachrichtigungen

Die Benachrichtigungsregel Bot-Zugriffsvorfall informiert Sie, wenn ein Vorfall angelegt wird, einmal pro Vorfall. Siehe Benachrichtigungsregeln.

Exportieren

Prüfergebnisse und Vorfälle sind über die API verfügbar: bot-access-results und bot-access-incidents.

Auf dieser Seite