Welche KI-Crawler können Ihre Website lesen?
Geben Sie eine URL ein: Wir lesen Ihre robots.txt so, wie Crawler es tun, und liefern das Urteil für 44 dokumentierte KI-Crawler: zugelassen oder gesperrt, die genaue Regel, die den Ausschlag gab, und was Sie das Sperren der jeweiligen Kategorie kostet. Kein Konto, nichts wird gespeichert.
Eine URL hinein, ein Urteil pro Crawler heraus
Beliebige Seiten-URL eingeben
Wir lösen zuerst Weiterleitungen auf, damit die Prüfung beim Origin-Server läuft, der Ihre Website ausliefert, und rufen dessen robots.txt genau einmal ab.
Wir bewerten jeden dokumentierten KI-Crawler
Die robots.txt-Tokens jedes Crawlers werden nach der Semantik von RFC 9309 mit Ihren Regeln abgeglichen: Der längste Treffer gewinnt, Wildcards eingeschlossen. Die entscheidende Regel steht neben jedem Urteil.
Ergebnis nach Kategorie lesen
Crawler für Suchindizes und Assistenten-Abrufe entscheiden, ob KI-Antworten Sie sehen und zitieren können; Trainings-Crawler betreffen nur das künftige Modelltraining. Das Tool hält beide Entscheidungen getrennt.
Was eine robots.txt-Sperre bewirkt und was nicht
robots.txt ist der dokumentierte Vertrag zwischen Ihrer Website und regelkonformen Crawlern. Einen Retrieval-Crawler zu sperren, entfernt Ihre Seiten aus den Antworten, die diese Engine erstellt; einen Trainings-Crawler zu sperren, nimmt Ihre Inhalte nur aus künftigem Modelltraining heraus. Die Datei kann keinen böswilligen Akteur stoppen, und das muss sie auch nicht: Die für KI-Sichtbarkeit relevanten Crawler veröffentlichen alle ihre Tokens und halten sich an die Regeln.
Warum wir Ihre Website nicht mit Bot-User-Agents abrufen
Anfragen, die sich als GPTBot ausgeben, würden testen, wie Ihre Website einen falschen GPTBot behandelt, und das ist etwas anderes: CDNs verifizieren echte Crawler über deren veröffentlichte IP-Bereiche, nicht über den User-Agent-String. Eine gefälschte Anfrage würde scheinbar eindeutige, aber falsche Ergebnisse liefern. Die robots.txt zu lesen, zeigt den Vertrag, den Sie veröffentlichen.
Die Sperre, an die sich niemand erinnert
Die häufigste Ursache für null KI-Sichtbarkeit ist nicht die Qualität der Inhalte. Es ist eine pauschale Bot-Regel, die vor Jahren im CDN oder in der robots.txt ergänzt wurde, oft aus Angst vor Scraping, und bis heute jeden neuen KI-Crawler erfasst. Zeigt dieses Tool gesperrte Retrieval-Crawler und Sie erinnern sich nicht an diese Entscheidung, haben Sie Ihren wirkungsvollsten Hebel gefunden.
CDN- und Firewall-Sperren erscheinen hier nicht
Dieses Tool liest die robots.txt, also die Ebene, die Sie veröffentlichen. Manche Websites sperren Bots zusätzlich im CDN oder in der Firewall, was beim reinen Lesen der robots.txt unsichtbar ist und einer großzügigen robots.txt widersprechen kann. Das Bot-Zugriffs-Monitoring von Citlyze ruft Ihre Seiten fortlaufend so ab, wie jeder Bot es tun würde, sieht also auch diese Ebene und benachrichtigt Sie, wenn ein Crawler gesperrt wird.
Zugriff ist die Voraussetzung. Gemessen wird die Sichtbarkeit.
Dieser Check sagt Ihnen, ob KI-Crawler Ihre Website lesen dürfen. Citlyze sagt Ihnen, was KI-Engines danach über Ihre Marke sagen: Erwähnungen, Zitierungen und Share of Voice im Vergleich zu Wettbewerbern, regelmäßig erfasst.
GPTBot sammelt Inhalte für das Modelltraining; OAI-SearchBot indexiert für die Suchantworten von ChatGPT, und ein separater User-Agent ruft live Seiten ab, nach denen ein Nutzer fragt. Den Trainings-Bot zu sperren, lässt Ihre Sichtbarkeit in der Suche unberührt; die Such- und Abruf-Agenten zu sperren, entfernt Sie aus den Antworten von ChatGPT. Dieselbe Trennung gibt es bei anderen Anbietern, weshalb dieses Tool die Urteile nach Kategorie gruppiert.
Bot-Schutz im CDN oder in der Firewall kann Crawler unabhängig von der robots.txt sperren. Ein einmaliges Lesen der robots.txt sieht diese Ebene nicht; fortlaufende Prüfungen, die die Seite so abrufen, wie jeder Bot es tun würde, schon. Genau das leistet das Bot-Zugriffs-Monitoring, mit einer Benachrichtigung samt Ursache, wenn der Zugriff verloren geht.
Das ist eine Abwägung. Trainings-Bots zu sperren, hält Ihre Inhalte aus künftigen Trainingsläufen heraus, doch Modelle, die Ihre Marke aus Trainingsdaten kennen, erwähnen sie auch in Antworten, die ganz ohne Live-Abruf entstehen. Entscheiden Sie je nach Geschäftsmodell, und trennen Sie die Entscheidung vom Retrieval-Zugriff, von dem die Sichtbarkeit in der KI-Suche abhängt.
Nein. Die beiden Abrufe finden statt, die Urteile werden im Arbeitsspeicher berechnet und das Ergebnis geht an Ihren Browser zurück. Nach der Antwort bleibt nichts von der Anfrage erhalten.
Empfiehlt die KI Sie, wenn Käufer fragen?
Sehen Sie, wie ChatGPT, Gemini, Perplexity, DeepSeek, Grok, Google AI Overview & AI Mode und Bing Copilot Ihre Marke erwähnen, zitieren und einordnen. Prüfen Sie erfasste Antworten und die Lücken, die Sie schließen sollten.
Keine Kreditkarte erforderlich
