Bot-Zugriff
Laufende Prüfungen, ob KI-Bots Ihre Seiten erreichen, mit Benachrichtigungen bei Vorfällen und deren Ursachen.
Eine Seite, die KI-Bots nicht abrufen können, können KI-Antworten nicht zitieren. Analysieren → KI-Crawler-Aktivität → Bot-Zugriff prüft laufend, ob KI-Bots Ihre wichtigsten Seiten tatsächlich erreichen, vergleicht Ihre robots.txt-Regeln mit den echten Antworten Ihres Servers und legt einen Vorfall an, wenn ein Bot den Zugriff verliert.
Das ist etwas anderes als ein einmaliges Audit: Firewall-Regeln, Bot-Schutz im CDN und robots.txt-Dateien ändern sich, und eine Seite, die letzten Monat die Prüfung bestanden hat, kann heute unbemerkt blockiert sein.
Überwachte Seiten
Ihre Startseite und Ihre meistzitierten Seiten werden automatisch hinzugefügt; mit Seite hinzufügen überwachen Sie weitere, im Rahmen Ihres Tariflimits (5 Seiten in Starter, 25 in Growth, 100 ab Pro). Jede Seitenzeile lässt sich aufklappen und zeigt Details je Bot: das HTTP-Ergebnis, was robots.txt für diesen Bot vorgibt, und das Ergebnis der Prüfung.
Die Prüfungen laufen von Citlyze-Servern aus, die sich jeweils mit dem User-Agent des Bots melden. Websites, die verifizierte IP-Bereiche von Bots per Allowlist freigeben, können hier daher als blockiert erscheinen, obwohl der echte Bot durchkommt. Nutzen Sie diese Seite deshalb zusammen mit der Auswertung der KI-Crawler, um zu bestätigen, wer tatsächlich zugreift.
Vorfälle und Ursachen
Wenn ein Bot eine Seite, die er bisher erreicht hat, nicht mehr erreicht, wird ein Vorfall mit der Ursache angelegt:
- Sperre durch robots.txt: Ihre robots.txt sperrt den Bot aus. Ist das beabsichtigt, müssen Sie nichts tun; bewusste Regeln werden respektiert, und für reine Trainings-Bots gibt es keine Benachrichtigungen.
- Sperre durch Firewall/CDN: Die Anfrage wurde abgewiesen, bevor Ihre Website geantwortet hat. Der Anbieter wird genannt, wenn er sich erkennen lässt (zum Beispiel Cloudflare), damit Sie wissen, welches Dashboard Sie öffnen müssen.
- Zeitüberschreitung oder Fehler: Die Seite hat nicht brauchbar geantwortet.
Vorfälle werden automatisch geschlossen, sobald der Zugriff wieder funktioniert. Nutzen Sie Jetzt erneut prüfen, nachdem Sie robots.txt oder Firewall-Regeln geändert haben, statt auf die nächste geplante Prüfung zu warten.
Benachrichtigungen
Die Benachrichtigungsregel Bot-Zugriffsvorfall informiert Sie, wenn ein Vorfall angelegt wird, einmal pro Vorfall. Siehe Benachrichtigungsregeln.
Exportieren
Prüfergebnisse und Vorfälle sind über die API verfügbar: bot-access-results und bot-access-incidents.