Bot-Zugriff
Kontinuierliche Prüfungen, ob KI-Bots Ihre Seiten erreichen, mit Vorfall-Alerts und Ursachen.
Eine Seite, die KI-Bots nicht abrufen können, ist eine Seite, die KI-Antworten nicht zitieren können. KI-Crawler → Bot-Zugriff testet kontinuierlich, ob KI-Bots Ihre wichtigsten Seiten wirklich erreichen, vergleicht Ihre robots.txt-Richtlinie mit Live-Antworten und öffnet einen Vorfall, wenn ein Bot den Zugriff verliert.
Das ist etwas anderes als ein einmaliges Audit: Firewall-Regeln, CDN-Bot-Schutz und robots.txt-Dateien ändern sich, und eine Seite, die letzten Monat bestanden hat, kann heute stillschweigend blockiert sein.
Überwachte Seiten
Ihre Startseite und Ihre meistzitierten Seiten werden automatisch angelegt; mit Seite hinzufügen überwachen Sie weitere, im Rahmen Ihres Plan-Limits (5 Seiten auf Starter, 25 auf Growth, 100 auf Pro und höher). Jede Seitenzeile lässt sich zu Details je Bot aufklappen: das HTTP-Ergebnis, was robots.txt für diesen Bot sagt und das Ergebnis der Prüfung.
Die Prüfungen laufen von Citlyze-Servern aus und präsentieren den User-Agent des jeweiligen Bots. Sites, die verifizierte Bot-IP-Bereiche per Allowlist freigeben, können hier daher als blockiert erscheinen, obwohl der echte Bot durchkommt; kombinieren Sie diese Seite mit den KI-Crawler-Analytics, um zu bestätigen, was tatsächlich vorbeikommt.
Vorfälle und Ursachen
Wenn ein Bot, der eine Seite erreichen konnte, sie nicht mehr erreicht, öffnet sich ein Vorfall mit der Ursache:
- robots.txt-Block: Ihre robots.txt verbietet den Bot. Ist das beabsichtigt, ist nichts zu tun; bewusste Richtlinien werden respektiert, und bei reinen Trainings-Bots wird nicht alarmiert.
- Firewall/CDN-Block: Die Anfrage wurde abgewiesen, bevor Ihre Site geantwortet hat. Der Anbieter wird genannt, wenn er identifizierbar ist (zum Beispiel Cloudflare), damit Sie wissen, welches Dashboard Sie öffnen müssen.
- Zeitüberschreitung oder Fehler: Die Seite hat nicht brauchbar geantwortet.
Vorfälle lösen sich automatisch auf, wenn der Zugriff zurückkehrt. Nutzen Sie Jetzt erneut prüfen, nachdem Sie robots.txt oder Firewall-Regeln geändert haben, statt auf die nächste geplante Prüfung zu warten.
Alerts
Die Alert-Regel Bot-Zugriffsvorfall benachrichtigt Sie, wenn ein Vorfall geöffnet wird, einmal pro Vorfall. Siehe Alerts.
Exportieren
Prüfergebnisse und Vorfälle sind über die API verfügbar: bot-access-results und bot-access-incidents.