Bottoegang

Een pagina die AI-bots niet kunnen ophalen is een pagina die AI-antwoorden niet kunnen citeren. AI-crawlers → Bottoegang test continu of AI-bots je belangrijkste pagina's echt kunnen bereiken, vergelijkt je robots.txt-beleid met live antwoorden en opent een incident wanneer een bot de toegang verliest.

Dit is iets anders dan een eenmalige audit: firewallregels, CDN-botbescherming en robots.txt-bestanden veranderen, en een pagina die vorige maand slaagde kan vandaag stilletjes geblokkeerd zijn.

Bewaakte pagina's

Je homepage en meest geciteerde pagina's worden automatisch toegevoegd; gebruik Pagina toevoegen om er meer te bewaken, binnen de limiet van je plan (5 pagina's op Starter, 25 op Growth, 100 op Pro en hoger). Elke paginarij klapt uit naar detail per bot: het HTTP-resultaat, wat robots.txt voor die bot zegt en de uitkomst van de controle.

Controles draaien vanaf Citlyze-servers die de user agent van elke bot presenteren. Sites die geverifieerde bot-IP-reeksen allowlisten kunnen hier daarom als geblokkeerd verschijnen terwijl de echte bot doorkomt; combineer deze pagina met de analytics van AI-crawlers om te bevestigen wat je site daadwerkelijk bezoekt.

Incidenten en oorzaken

Wanneer een bot die een pagina kon bereiken dat niet meer kan, opent er een incident met de oorzaak:

• robots.txt-blokkade: je robots.txt verbiedt de bot. Is dat bewust, dan is er geen actie nodig; bewust beleid wordt gerespecteerd en op training-only bots wordt niet gealarmeerd.
• Firewall/CDN-blokkade: het verzoek werd geweigerd voordat je site antwoordde. De leverancier wordt genoemd wanneer die herkenbaar is (bijvoorbeeld Cloudflare), zodat je weet welk dashboard je moet openen.
• Time-out of fout: de pagina gaf geen bruikbaar antwoord.

Incidenten worden automatisch opgelost zodra de toegang herstelt. Gebruik Nu opnieuw controleren na het wijzigen van robots.txt of firewallregels in plaats van te wachten op de volgende geplande controle.

Alerts

De alertregel Bot-toegangsincident stuurt je een melding wanneer een incident opent, één keer per incident. Zie Alerts.

Exporteren

Controleresultaten en incidenten zijn beschikbaar via de API: bot-access-results en bot-access-incidents.