Bottoegang
Doorlopende controles of AI-bots je pagina's kunnen bereiken, met incidentalerts en de oorzaak.
Een pagina die AI-bots niet kunnen ophalen, kunnen AI-antwoorden ook niet als bron noemen. Diagnosticeren → AI-crawleractiviteit → Bottoegang test doorlopend of AI-bots je belangrijkste pagina's echt kunnen bereiken, vergelijkt je robots.txt-beleid met de antwoorden die je server werkelijk geeft, en opent een incident wanneer een bot de toegang verliest.
Dit is iets anders dan een eenmalige audit: firewallregels, botbescherming in je CDN en robots.txt-bestanden veranderen, en een pagina die vorige maand nog goed was, kan vandaag ongemerkt geblokkeerd zijn.
Bewaakte pagina's
Je homepage en je meest geciteerde pagina's worden automatisch toegevoegd. Met Pagina toevoegen bewaak je er meer, binnen de limiet van je abonnement (5 pagina's bij Starter, 25 bij Growth, 100 bij Pro en hoger). Klap een pagina open voor de details per bot: het HTTP-resultaat, wat robots.txt voor die bot zegt en de uitkomst van de controle.
De controles draaien vanaf servers van Citlyze en gebruiken de user agent van elke bot. Sites die alleen de geverifieerde IP-reeksen van bots toelaten, kunnen hier daarom als geblokkeerd verschijnen terwijl de echte bot wel binnenkomt. Combineer deze pagina met de analyses bij AI-crawlers om te bevestigen wat je site echt bezoekt.
Incidenten en oorzaken
Kan een bot een pagina die hij eerst wel kon bereiken niet meer bereiken, dan wordt er een incident geopend met de oorzaak:
- robots.txt-blokkade: je robots.txt verbiedt de bot. Is dat bewust, dan hoef je niets te doen. Bewust beleid wordt gerespecteerd, en voor bots die alleen voor training crawlen krijg je geen alert.
- Firewall/CDN-blokkade: het verzoek werd geweigerd voordat je site kon antwoorden. Als de leverancier herkenbaar is (bijvoorbeeld Cloudflare), wordt die genoemd, zodat je weet welk dashboard je moet openen.
- Time-out of fout: de pagina gaf geen bruikbaar antwoord.
Incidenten worden automatisch gesloten zodra de toegang hersteld is. Gebruik Nu opnieuw controleren nadat je robots.txt of je firewallregels hebt gewijzigd, in plaats van te wachten op de volgende geplande controle.
Alerts
De alertregel Bot-toegangsincident stuurt je een melding wanneer er een incident wordt geopend, één keer per incident. Zie Alerts.
Exporteren
Controleresultaten en incidenten zijn beschikbaar via de API: bot-access-results en bot-access-incidents.