Welche KI-Crawler können Ihre Website wirklich lesen?
Geben Sie eine URL ein: Wir lesen Ihre robots.txt so, wie Crawler es tun, und liefern das Urteil für 44 dokumentierte KI-Crawler: zugelassen oder blockiert, die exakte Regel, die entschieden hat, und was die Blockade jeder Kategorie Sie kostet. Kein Konto, nichts wird gespeichert.
Eine URL hinein, ein Urteil pro Crawler heraus
Beliebige Seiten-URL eingeben
Wir lösen zuerst Weiterleitungen auf, damit die Prüfung gegen die Origin läuft, die Ihre Website tatsächlich ausliefert, und rufen deren robots.txt genau einmal ab.
Wir bewerten jeden dokumentierten KI-Crawler
Die Robots-Tokens jedes Crawlers werden nach der Semantik von RFC 9309 mit Ihren Regeln abgeglichen: Der längste Treffer gewinnt, Wildcards eingeschlossen. Die entscheidende Regel steht neben jedem Urteil.
Ergebnis nach Kategorie lesen
Crawler für Suchindizes und Assistenten-Abrufe entscheiden, ob KI-Antworten Sie sehen und zitieren können; Trainings-Crawler betreffen nur das künftige Modelltraining. Das Tool hält beide Entscheidungen getrennt.
Was eine robots.txt-Blockade bewirkt und was nicht
robots.txt ist der dokumentierte Vertrag zwischen Ihrer Website und regelkonformen Crawlern. Einen Retrieval-Crawler zu blockieren entfernt Ihre Seiten aus den Antworten, die diese Engine baut; einen Trainings-Crawler zu blockieren nimmt Ihre Inhalte nur aus künftigem Modelltraining heraus. Die Datei kann keinen böswilligen Akteur stoppen, und das muss sie auch nicht: Die für KI-Sichtbarkeit relevanten Crawler veröffentlichen alle ihre Tokens und halten sich an die Regeln.
Warum wir Ihre Website nicht mit Bot-User-Agents anfragen
Anfragen, die sich als GPTBot ausgeben, würden testen, wie Ihre Website einen falschen GPTBot behandelt, und das ist etwas anderes: CDNs verifizieren echte Crawler über deren veröffentlichte IP-Bereiche, nicht über den User-Agent-String. Eine gefälschte Anfrage würde selbstbewusste, aber falsche Antworten liefern. Das Lesen der robots.txt zeigt den Vertrag, den Sie tatsächlich veröffentlichen.
Die Blockade, an die sich niemand erinnert
Die häufigste Ursache für null KI-Sichtbarkeit ist nicht die Qualität der Inhalte. Es ist eine pauschale Bot-Regel, vor Jahren im CDN oder in der robots.txt ergänzt, oft während einer Scraping-Panik, die bis heute jeden neuen KI-Crawler erfasst. Zeigt dieses Tool blockierte Retrieval-Crawler und Sie erinnern sich nicht an diese Entscheidung, haben Sie Ihren wirkungsvollsten Fix gefunden.
CDN- und Firewall-Blockaden erscheinen hier nicht
Dieses Tool liest die robots.txt, also die Ebene, die Sie veröffentlichen. Manche Websites blockieren Bots zusätzlich im CDN oder in der Firewall, was von außen unsichtbar ist und einer freizügigen robots.txt widersprechen kann. Wenn Ihre robots.txt einen Crawler zulässt und sein Betreiber Sie trotzdem nicht abrufen kann, prüfen Sie als Nächstes das Bot-Management Ihres CDN.
Zugriff ist Schritt null. Sichtbarkeit ist die Messung.
Dieser Check sagt Ihnen, ob KI-Crawler Ihre Website lesen dürfen. Citlyze sagt Ihnen, was KI-Engines danach tatsächlich über Ihre Marke sagen: Erwähnungen, Zitate und der Share of Voice gegenüber Wettbewerbern, regelmäßig getrackt.
Crawler-Zugriff, erklärt
Lust auf eine Citlyze-Demo? Demo buchen
GPTBot sammelt Inhalte für das Modelltraining; OAI-SearchBot indexiert für die Suchantworten von ChatGPT, und ein separater User-Agent ruft live Seiten ab, nach denen ein Nutzer fragt. Den Trainings-Bot zu blockieren lässt Ihre Such-Sichtbarkeit unberührt; die Such- und Abruf-Agenten zu blockieren entfernt Sie aus den Antworten von ChatGPT. Dieselbe Trennung gibt es bei anderen Anbietern, weshalb dieses Tool die Urteile nach Kategorie gruppiert.
Empfiehlt die KI Sie, wenn Käufer fragen?
Verfolgen Sie, wie ChatGPT, Gemini, Perplexity, DeepSeek, ByteDance und Grok Ihre Marke erwähnen, zitieren und einordnen. Lesen Sie erfasste Antworten und die Lücken, die zu schließen sind.
Keine Kreditkarte erforderlich