Neu in Citlyze: Brand FactCheck, Ask Citlyze, KI-Shopping und Anzeigen in KI
KI-Crawler-Zugriffscheck

Welche KI-Crawler können Ihre Website lesen?

Geben Sie eine URL ein: Wir lesen Ihre robots.txt so, wie Crawler es tun, und liefern das Urteil für 44 dokumentierte KI-Crawler: zugelassen oder gesperrt, die genaue Regel, die den Ausschlag gab, und was Sie das Sperren der jeweiligen Kategorie kostet. Kein Konto, nichts wird gespeichert.

So funktioniert es

Eine URL hinein, ein Urteil pro Crawler heraus

01

Beliebige Seiten-URL eingeben

Wir lösen zuerst Weiterleitungen auf, damit die Prüfung beim Origin-Server läuft, der Ihre Website ausliefert, und rufen dessen robots.txt genau einmal ab.

02

Wir bewerten jeden dokumentierten KI-Crawler

Die robots.txt-Tokens jedes Crawlers werden nach der Semantik von RFC 9309 mit Ihren Regeln abgeglichen: Der längste Treffer gewinnt, Wildcards eingeschlossen. Die entscheidende Regel steht neben jedem Urteil.

03

Ergebnis nach Kategorie lesen

Crawler für Suchindizes und Assistenten-Abrufe entscheiden, ob KI-Antworten Sie sehen und zitieren können; Trainings-Crawler betreffen nur das künftige Modelltraining. Das Tool hält beide Entscheidungen getrennt.

Was eine robots.txt-Sperre bewirkt und was nicht

robots.txt ist der dokumentierte Vertrag zwischen Ihrer Website und regelkonformen Crawlern. Einen Retrieval-Crawler zu sperren, entfernt Ihre Seiten aus den Antworten, die diese Engine erstellt; einen Trainings-Crawler zu sperren, nimmt Ihre Inhalte nur aus künftigem Modelltraining heraus. Die Datei kann keinen böswilligen Akteur stoppen, und das muss sie auch nicht: Die für KI-Sichtbarkeit relevanten Crawler veröffentlichen alle ihre Tokens und halten sich an die Regeln.

Warum wir Ihre Website nicht mit Bot-User-Agents abrufen

Anfragen, die sich als GPTBot ausgeben, würden testen, wie Ihre Website einen falschen GPTBot behandelt, und das ist etwas anderes: CDNs verifizieren echte Crawler über deren veröffentlichte IP-Bereiche, nicht über den User-Agent-String. Eine gefälschte Anfrage würde scheinbar eindeutige, aber falsche Ergebnisse liefern. Die robots.txt zu lesen, zeigt den Vertrag, den Sie veröffentlichen.

Die Sperre, an die sich niemand erinnert

Die häufigste Ursache für null KI-Sichtbarkeit ist nicht die Qualität der Inhalte. Es ist eine pauschale Bot-Regel, die vor Jahren im CDN oder in der robots.txt ergänzt wurde, oft aus Angst vor Scraping, und bis heute jeden neuen KI-Crawler erfasst. Zeigt dieses Tool gesperrte Retrieval-Crawler und Sie erinnern sich nicht an diese Entscheidung, haben Sie Ihren wirkungsvollsten Hebel gefunden.

CDN- und Firewall-Sperren erscheinen hier nicht

Dieses Tool liest die robots.txt, also die Ebene, die Sie veröffentlichen. Manche Websites sperren Bots zusätzlich im CDN oder in der Firewall, was beim reinen Lesen der robots.txt unsichtbar ist und einer großzügigen robots.txt widersprechen kann. Das Bot-Zugriffs-Monitoring von Citlyze ruft Ihre Seiten fortlaufend so ab, wie jeder Bot es tun würde, sieht also auch diese Ebene und benachrichtigt Sie, wenn ein Crawler gesperrt wird.

Die nächste Frage

Zugriff ist die Voraussetzung. Gemessen wird die Sichtbarkeit.

Dieser Check sagt Ihnen, ob KI-Crawler Ihre Website lesen dürfen. Citlyze sagt Ihnen, was KI-Engines danach über Ihre Marke sagen: Erwähnungen, Zitierungen und Share of Voice im Vergleich zu Wettbewerbern, regelmäßig erfasst.

FAQ

Häufige Fragen zum Crawler-Zugriff

Lust auf eine Citlyze-Demo? Demo buchen

GPTBot sammelt Inhalte für das Modelltraining; OAI-SearchBot indexiert für die Suchantworten von ChatGPT, und ein separater User-Agent ruft live Seiten ab, nach denen ein Nutzer fragt. Den Trainings-Bot zu sperren, lässt Ihre Sichtbarkeit in der Suche unberührt; die Such- und Abruf-Agenten zu sperren, entfernt Sie aus den Antworten von ChatGPT. Dieselbe Trennung gibt es bei anderen Anbietern, weshalb dieses Tool die Urteile nach Kategorie gruppiert.

Empfiehlt die KI Sie, wenn Käufer fragen?

Sehen Sie, wie ChatGPT, Gemini, Perplexity, DeepSeek, Grok, Google AI Overview & AI Mode und Bing Copilot Ihre Marke erwähnen, zitieren und einordnen. Prüfen Sie erfasste Antworten und die Lücken, die Sie schließen sollten.

Keine Kreditkarte erforderlich

Eine Marketingleiterin liest an einem Fensterplatz eine KI-Antwort auf dem Laptop