WordPress-Plugin

AI Crawler Control by Citlyze ist ein kostenloses WordPress-Plugin aus zwei Teilen. Die kostenlosen Werkzeuge funktionieren ohne Konto: Sie zeigen, welche KI-Crawler Ihre robots.txt durchlässt, nennen, was die übrigen blockiert, und lassen Sie KI-Training sperren, während Sie in der KI-Suche bleiben. Wenn Sie das Plugin mit Citlyze verbinden, kommt das Tracking von KI-Crawler-Besuchen und Besuchen aus KI-Antworten hinzu; das beschreibt KI-Crawler-Tracking installieren.

Installation

1. Gehen Sie in der WordPress-Verwaltung zu Plugins → Installieren, suchen Sie nach AI Crawler Control by Citlyze und klicken Sie auf Jetzt installieren und Aktivieren.
2. Öffnen Sie Citlyze → AI crawler access im Verwaltungsmenü. Die Prüfung startet sofort.

Die kostenlosen Werkzeuge brauchen kein Konto, keinen Schlüssel und keine Einrichtung.

Prüfen, welche KI-Crawler Ihre Website lesen können

Citlyze → AI crawler access liest die robots.txt, die Ihre Besucher tatsächlich erhalten, einschließlich allem, was ein Cache oder CDN ändert, und wertet sie für jeden bekannten KI-Crawler aus. Die Crawler sind danach gruppiert, was ihre Sperre verändert:

• KI-Such-Crawler bauen die Indizes auf, die die ChatGPT-Suche, Perplexity, Claude und andere KI-Antworten zitieren. Sie zu sperren nimmt Sie aus diesen Antworten.
• KI-Assistenten rufen eine Seite ab, wenn jemand einen Assistenten danach fragt.
• KI-Trainings-Crawler sammeln Inhalte, um Modelle zu trainieren. Sie zu sperren hält Ihre Inhalte aus künftigem Training heraus; aus KI-Antworten verschwinden Sie dadurch nicht.
• Suchmaschinen wie Googlebot und Bingbot werden angezeigt, damit Sie sie sehen, doch das Plugin sperrt sie nie.

Für jeden gesperrten Crawler nennt die Tabelle die Herkunft der Regel: WordPress, ein benanntes Plugin oder Theme, die robots.txt-Datei auf Ihrem Server, die verwaltete robots.txt von Cloudflare oder Ihr Server bzw. CDN.

Über der Tabelle listet die Prüfung auf, was im Weg steht:

• Die Sichtbarkeit für Suchmaschinen ist unter Einstellungen → Lesen abgeschaltet.
• Eine robots.txt-Datei auf Ihrem Server ersetzt die von WordPress erzeugte.
• Eine robots.txt, die langsam oder gar nicht lädt.
• Suchmaschinen oder KI-Such-Crawler, die ein anderes Plugin sperrt.
• Hoster und Sicherheits-Plugins, die Crawler abweisen können, bevor die robots.txt gelesen wird, etwa Cloudflare, WP Engine oder Wordfence.

KI-Crawler-Regeln wählen

Wählen Sie unter Your AI crawler rules:

• Don't add rules (Standard): Ihre robots.txt bleibt, wie sie ist.
• Block AI training, stay in AI search: sperrt Trainings-Crawler wie GPTBot, ClaudeBot, Google-Extended und CCBot und lässt OAI-SearchBot, PerplexityBot und die Assistenten durch.
• Block all AI crawlers: nimmt Sie auch aus KI-Antworten.
• Custom: Crawler einzeln wählen.

Vor dem Speichern zeigt die Vorschau die genauen Zeilen und wie viele Crawler jeder Gruppe erlaubt bleiben. Die Regeln stehen in einem gekennzeichneten Block am Ende Ihrer robots.txt, nach allem, was andere Plugins schreiben, und erlaubte Crawler folgen weiter Ihren bestehenden Regeln. Undo last change stellt Ihre vorherige Wahl wieder her.

Google-Extended steuert, ob Gemini Ihre Inhalte für das Training und für die Fundierung von Antworten in der Gemini-App und in Vertex AI nutzt. Auf die Google-Suche, AI Overviews oder AI Mode wirkt es sich nicht aus.

Aktivieren Sie Also declare my choice with a Content-Signal line, um eine Content-Signal-Zeile hinzuzufügen, die Crawlern, die sie lesen, Ihre Präferenz mitteilt. Sie äußert eine Präferenz; durchsetzen kann sie nichts.

Liegt auf Ihrem Server eine robots.txt-Datei oder läuft WordPress in einem Unterordner, kann WordPress diese Regeln nicht ausliefern. Die Seite zeigt sie dann mit einer Schaltfläche Copy rules, damit Sie sie in die Datei einfügen können.

Regeln für Teile Ihrer Website

Fügen Sie unter Parts of your site, unterhalb der Auswahl für die ganze Website, einen Pfad wie /members/ oder /downloads/ hinzu und wählen Sie, wen Sie aussperren:

• AI training crawlers: GPTBot, ClaudeBot, Google-Extended, CCBot und die anderen Trainings-Crawler.
• All AI crawlers: auch KI-Such-Crawler und Assistenten, sodass Seiten in diesem Bereich aus KI-Antworten verschwinden.

Suchmaschinen sind nie betroffen. Pfade funktionieren wie in robots.txt: Sie beginnen mit einem Schrägstrich, * steht für beliebige Zeichen, und ein $ am Ende markiert das Ende der Adresse, sodass /*.pdf$ jede PDF-Datei erfasst. Sie können bis zu 20 Bereiche anlegen.

Ein Crawler mit einer eigenen Gruppe in robots.txt folgt den Regeln für alle Crawler (User-agent: *) nicht mehr. Das Plugin wiederholt diese Regeln deshalb in seiner Gruppe; außerhalb Ihrer Bereiche ändert sich für diesen Crawler nichts. Unter Crawler by crawler erscheint ein Crawler, der aus einem Bereich ausgesperrt ist, als Limited, zusammen mit den Bereichen, die er nicht lesen kann.

KI-Tauglichkeit im Editor

Jeder Beitrag und jede Seite erhält im Block-Editor ein Panel AI readiness in der Seitenleiste, im klassischen Editor eine Box AI readiness. Es bewertet die Seite für KI-Antworten von 0 bis 100 mit denselben Prüfungen wie die Chrome-Erweiterung von Citlyze und der kostenlose AEO-Grader, sodass eine veröffentlichte Seite überall dieselbe Punktzahl erhält.

• Beim Schreiben prüft das Panel Ihre Inhalte: als Fragen formulierte Überschriften, eine kurze Antwort unter jeder Überschrift sowie Tabellen und Listen.
• Nach dem Speichern bewertet es die ganze Seite so, wie Crawler sie erhalten: KI-Crawler-Zugriff für genau diese URL, Indexierbarkeit, eine klare H1, Schema-Markup sowie Titel und Meta-Beschreibung. Entwürfe werden über ihre Vorschau bewertet; das noindex, das WordPress Vorschauen hinzufügt, wird dabei ignoriert.

Jede Prüfung, die nicht besteht, sagt, was zu ändern ist. Vor dem Veröffentlichen listet das Vorab-Panel die Inhaltsprüfungen auf, die noch fehlschlagen.

KI-Vorschläge

Ab WordPress 7.0 und mit einem in WordPress eingerichteten KI-Anbieter hilft das Panel bei zwei Prüfungen. Unter Question-shaped headings formuliert Suggest a question eine Überschrift als die Frage, die Leser stellen würden. Unter Short answers under headings schreibt Draft a short answer aus dem Text unter der Überschrift eine Antwort mit 40 bis 60 Wörtern. Sie lesen jeden Vorschlag zuerst: Insert fügt ihn als einfachen Text in den Beitrag ein, und Rückgängig im Editor nimmt ihn wieder heraus.

Nur wenn Sie klicken, gehen die Überschrift und bis zu etwa 4.000 Zeichen des Textes darunter an den in WordPress eingerichteten KI-Anbieter. An Citlyze geht nichts. Ohne Anbieter zeigt das Panel keine Vorschläge.

Was die kostenlosen Werkzeuge senden

Nichts an Citlyze. Die Prüfungen laufen in Ihrer WordPress-Verwaltung und Ihrem Browser und lesen nur Ihre eigene Website. KI-Vorschläge im Editor senden eine Überschrift und den Text darunter an den in WordPress eingerichteten KI-Anbieter, und nur, wenn Sie klicken. Daten gehen nur an Citlyze, wenn Sie Citlyze für das Tracking verbinden.

Citlyze verbinden

Die robots.txt sagt, was Crawler lesen dürfen, nicht, was sie tatsächlich lesen. Um verifizierte KI-Crawler-Besuche und die KI-Antworten zu sehen, die Ihnen Besucher schicken, erstellen Sie in Citlyze einen Site-Key und tragen ihn unter Citlyze → Connect Citlyze ein. Die Schritte stehen in KI-Crawler-Tracking installieren. Für tägliche Prüfungen, ob KI-Crawler Ihre Seiten tatsächlich abrufen können, siehe Bot-Zugriff.