Weet wanneer AI-crawlers toegang verliezen tot je site
Bottoegangsmonitoring controleert doorlopend of AI-crawlers je belangrijkste pagina's kunnen bereiken. Een robots.txt-controle van vorige maand zegt niets over vandaag, dus Citlyze test steeds opnieuw of elke crawler je pagina's bereikt en meldt direct wanneer er een wordt geblokkeerd, en in welke laag.
Gratis proefperiode van 14 dagen · Geen creditcard nodig
Bot access
Robots policy vs live responses · checked continuously
Vertrouwd door marketing-, SEO- en bureauteams.
- ChatGPT
- Gemini
- Perplexity
- DeepSeek
- Grok
- Google AI Overview & AI Mode
- Bing Copilot
Bot access
Robots policy vs live responses · checked continuously
Elke gemonitorde pagina, per bot gecheckt
Je homepage en meest geciteerde pagina's worden automatisch gemonitord. Voeg zelf de pagina's toe waarvan je je niet kunt veroorloven dat ze onzichtbaar zijn.
- Robots.txt-beleid vergeleken met live serverantwoorden
- Status per bot voor de AI-crawlers die belangrijk zijn
- Gemonitorde pagina's automatisch gekozen uit je meest geciteerde URL's
Open incident
PerplexityBot · /pricing
Firewall/CDN block · cloudflare
The request was rejected before your app answered. Check your bot rules and allow this crawler.
Aug 15
first seen
2h ago
last check
Email + Slack
alerted
Resolves automatically when access recovers.
Auto-resolveEen melding die de oorzaak noemt
Wanneer een bot toegang verliest, benoemt het incident de laag die blokkeerde, zodat je weet welk dashboard je moet openen.
- Robots.txt-blokkades gescheiden van firewall- en CDN-blokkades
- Blokkerende leverancier benoemd wanneer identificeerbaar
- Incidenten worden automatisch gesloten zodra de toegang hersteld is
AI crawler traffic
Signed server-side requests · last 30 days
2,442
crawler hits
86
URLs requested
GPTBot
top crawler
Daily hits
+22%Bot breakdown
Monitoring die je regels respecteert
Bots die je bewust blokkeert, blijven stil. Alleen een terugval levert een incident op.
- Bewuste robots.txt-regels worden niet als incident gemarkeerd
- Monitor 5 tot 100 pagina's, afhankelijk van je abonnement
- Werkt samen met AI-crawlertracking om te bevestigen dat bots terugkomen
Robots.txt is alleen de beleidslaag. Firewalls en botbescherming van je CDN grijpen in voordat je site antwoordt, en hun standaardregels houden vaak ook AI-crawlers tegen. Zo'n blokkade zie je niet als je alleen de robots.txt leest; die wordt pas zichtbaar als iemand de pagina opvraagt zoals een bot dat zou doen.
Ja, en dat is de meest voorkomende stille fout. Een botmanagementregel die tegen scrapers is aangescherpt, kan AI-crawlers ook treffen, terwijl er op je site niets verandert. Doorlopende checks signaleren zo'n terugval meteen in plaats van maanden later.
Een robots.txt-blokkade is je gepubliceerde beleid: de oplossing is een Disallow-regel aanpassen. Een firewall- of CDN-blokkade gebeurt in de infrastructuur voordat de pagina antwoordt: de oplossing zit in de botinstellingen van je provider. Incidenten in Citlyze noemen welke van de twee het was, en de leverancier als die te achterhalen is.
Er wordt een incident geopend voor die bot en pagina, met de oorzaak erbij, en de meldingsregel Bot-toegangsincident kan je waarschuwen via e-mail, Slack of Teams. Zodra de toegang hersteld is, wordt het incident automatisch gesloten. Pas je robots.txt of firewallregels aan, dan bevestig je met Nu opnieuw controleren meteen of de oplossing werkt.
Bottoegangsmonitoring dekt 5 pagina's in Starter, 25 in Growth en 100 in Pro en hoger. Je homepage en meest geciteerde pagina's worden automatisch toegevoegd, en je kunt er meer toevoegen tot de limiet van je abonnement.
Bottoegangsmonitoring beantwoordt met actieve checks de vraag of bots je pagina's kunnen bereiken. AI-crawlertracking beantwoordt of ze dat ook echt doen, door echte crawlerbezoeken te registreren. Gebruik je ze samen, dan zie je een toegangsprobleem in allebei terug: het incident vertelt je waarom, en de bezoekdata bevestigt wanneer bots terugkomen.
De gratis check leest de robots.txt van een pagina één keer, en zegt dat er ook bij: door alleen robots.txt te lezen, ziet hij geen CDN- of firewallblokkades. Monitoring vraagt je pagina's volgens een schema op zoals elke bot dat zou doen, ziet daardoor ook de infrastructuurlaag en waarschuwt je wanneer er iets verandert.
Ja. Checks vragen je pagina's van buitenaf op, precies zoals een bot dat zou doen, dus Cloudflare en vergelijkbare lagen worden meegetest. Eén kanttekening: checks gebruiken de user-agent van elke bot vanaf servers van Citlyze, dus sites die alleen geverifieerde IP-ranges van bots toelaten, kunnen hier als geblokkeerd verschijnen terwijl de echte bot wel doorkomt.
Nee. Een bewuste robots.txt-regel geldt als beleid, niet als probleem, en bots die alleen voor training crawlen vallen buiten de incidentmeldingen, omdat je die meestal bewust blokkeert. Meldingen zijn er voor terugval: een bot die een pagina kon bereiken en dat plots niet meer kan.
Blijf ontdekken
Raadt AI jou aan als kopers ernaar vragen?
Volg hoe ChatGPT, Gemini, Perplexity, DeepSeek, Grok, Google AI Overview & AI Mode en Bing Copilot je merk noemen, citeren en rangschikken. Bekijk de gevolgde antwoorden en de gaten die je kunt dichten.
Geen creditcard nodig
