Erfahren Sie, wann KI-Crawler den Zugriff auf Ihre Website verlieren
Das Bot-Zugriffs-Monitoring prüft laufend, ob KI-Crawler Ihre wichtigsten Seiten erreichen. Eine robots.txt-Prüfung vom letzten Monat sagt nichts über heute, deshalb testet Citlyze jeden Crawler erneut an Ihren Seiten und meldet sofort, wenn einer gesperrt wird und auf welcher Ebene.
14-tägige kostenlose Testphase · Keine Kreditkarte erforderlich
Bot access
Robots policy vs live responses · checked continuously
Marketing-, SEO- und Agenturteams vertrauen auf Citlyze.
- ChatGPT
- Gemini
- Perplexity
- DeepSeek
- Grok
- Google AI Overview & AI Mode
- Bing Copilot
Bot access
Robots policy vs live responses · checked continuously
Jede überwachte Seite, je Bot geprüft
Ihre Startseite und Ihre meistzitierten Seiten werden automatisch überwacht. Fügen Sie die übrigen Seiten hinzu, die auf keinen Fall unsichtbar sein dürfen.
- robots.txt-Regeln im Vergleich mit den echten Antworten des Servers
- Status je Bot für die KI-Crawler, auf die es ankommt
- Überwachte Seiten, ausgewählt anhand Ihrer meistzitierten URLs
Open incident
PerplexityBot · /pricing
Firewall/CDN block · cloudflare
The request was rejected before your app answered. Check your bot rules and allow this crawler.
Aug 15
first seen
2h ago
last check
Email + Slack
alerted
Resolves automatically when access recovers.
Auto-resolveEine Benachrichtigung, die die Ursache nennt
Verliert ein Bot den Zugriff, nennt der Vorfall die Ebene, die ihn blockiert hat, damit Sie wissen, welches Dashboard Sie öffnen müssen.
- robots.txt-Sperren getrennt von Firewall- und CDN-Sperren
- Sperrender Anbieter wird genannt, sofern erkennbar
- Vorfälle werden automatisch geschlossen, sobald der Zugriff wieder funktioniert
AI crawler traffic
Signed server-side requests · last 30 days
2,442
crawler hits
86
URLs requested
GPTBot
top crawler
Daily hits
+22%Bot breakdown
Monitoring, das Ihre Regeln respektiert
Bots, die Sie absichtlich sperren, lösen keine Meldung aus. Ein Vorfall entsteht nur, wenn sich der Zugriff verschlechtert.
- Bewusste robots.txt-Regeln werden nicht als Vorfall markiert
- 5 bis 100 Seiten überwachen, je nach Tarif
- Ergänzt KI-Crawler-Tracking, um die Rückkehr der Bots zu bestätigen
Die robots.txt legt nur die Regeln fest. Firewalls und der Bot-Schutz von CDNs greifen, bevor Ihre Website antwortet, und ihre Standardregeln erwischen oft auch KI-Crawler. Eine solche Sperre ist beim reinen Lesen der robots.txt unsichtbar; sie zeigt sich erst, wenn jemand die Seite so abruft, wie ein Bot es tun würde.
Ja, und das ist der häufigste unbemerkte Fehler. Eine Bot-Management-Regel, die gegen Scraper verschärft wurde, kann KI-Crawler gleich mit aussperren, und auf Ihrer Website sieht nichts anders aus. Fortlaufende Prüfungen erkennen das Problem, sobald es auftritt, statt Monate später.
Eine robots.txt-Sperre ist Ihre veröffentlichte Regel: Die Lösung ist, eine Disallow-Regel zu bearbeiten. Eine Firewall- oder CDN-Sperre entsteht in der Infrastruktur, bevor die Seite antwortet: Die Lösung liegt in den Bot-Einstellungen Ihres Anbieters. Vorfälle in Citlyze nennen, welcher der beiden Fälle vorliegt, und den Anbieter, sofern er erkennbar ist.
Für den Bot und die Seite wird ein Vorfall mit der Ursache angelegt, und die Benachrichtigungsregel „Bot-Zugriffsvorfall“ kann Sie per E-Mail, Slack oder Teams benachrichtigen. Ist der Zugriff wiederhergestellt, wird der Vorfall automatisch geschlossen. Nachdem Sie robots.txt oder Firewall-Regeln geändert haben, bestätigt „Jetzt erneut prüfen“ die Korrektur sofort.
Das Bot-Zugriffs-Monitoring umfasst 5 Seiten bei Starter, 25 bei Growth und 100 ab Pro. Ihre Startseite und Ihre meistzitierten Seiten werden automatisch aufgenommen, und Sie können bis zum Limit Ihres Tarifs weitere hinzufügen.
Das Bot-Zugriffs-Monitoring beantwortet mit aktiven Prüfungen die Frage, ob Bots Ihre Seiten erreichen können. KI-Crawler-Tracking beantwortet, ob sie es wirklich tun, indem es echte Crawler-Besuche protokolliert. Nutzen Sie beides, zeigt sich ein neues Zugriffsproblem an beiden Stellen: Der Vorfall sagt Ihnen, warum, und die Besuchsdaten bestätigen, wann die Bots zurückkehren.
Der kostenlose Check liest die robots.txt einer Seite einmal und sagt das auch: CDN- oder Firewall-Sperren kann er beim einmaligen Lesen der robots.txt nicht sehen. Das Monitoring ruft Ihre Seiten nach Zeitplan so ab, wie es jeder Bot tun würde, sieht also auch die Infrastruktur-Ebene und benachrichtigt Sie, wenn sich etwas ändert.
Ja. Die Prüfungen rufen Ihre Seiten von außen ab, genau wie ein Bot, sodass Cloudflare und ähnliche Schutzschichten mitgetestet werden. Eine Einschränkung: Die Prüfungen senden den User-Agent des jeweiligen Bots von Citlyze-Servern aus. Websites, die nur verifizierte IP-Bereiche von Bots per Allowlist freigeben, können hier daher als blockiert erscheinen, obwohl der echte Bot durchkommt.
Nein. Eine bewusst gesetzte robots.txt-Regel gilt als gewollt, nicht als Problem, und reine Trainings-Bots sind von Vorfallwarnungen ausgenommen, da man sie meist absichtlich blockiert. Warnungen gibt es nur bei Verschlechterungen: wenn ein Bot eine Seite erreichen konnte und es plötzlich nicht mehr kann.
Empfiehlt die KI Sie, wenn Käufer fragen?
Sehen Sie, wie ChatGPT, Gemini, Perplexity, DeepSeek, Grok, Google AI Overview & AI Mode und Bing Copilot Ihre Marke erwähnen, zitieren und einordnen. Prüfen Sie erfasste Antworten und die Lücken, die Sie schließen sollten.
Keine Kreditkarte erforderlich
