Zie wat elke AI-crawler krijgt van je pagina's, en houd het zo
ai-readable is een open-source commandoregeltool en GitHub Action. Eén commando toont het robots.txt-oordeel voor elke gedocumenteerde AI-crawler, hoeveel van de pagina bestaat voordat JavaScript draait, en negen leesbaarheidscontroles met een score op 100. In CI vergelijkt het elke pull request met een basislijn en faalt het wanneer een pagina achteruitgaat.
npx ai-readable example.com/pricing --renderrobots.txt-oordelen per crawler
Negentien gedocumenteerde AI-crawlers, gegroepeerd naar wat blokkeren je kost, met de exacte robots.txt-regel die elk oordeel bepaalde.
Initiële HTML versus gerenderd
Laadt de pagina in headless Chromium en rapporteert hoeveel van de inhoud pas na JavaScript bestaat, kop voor kop.
Een poort, geen eenmalige audit
Leg een basislijn vast voor je belangrijkste pagina's. Elke pull request wordt ertegen gecontroleerd en faalt bij een regressie, met het bewijs in een opmerking.
Geen API-sleutel, niets wordt verzonden
Deterministische controles op de HTML en robots.txt die je server serveert. De enige verzoeken zijn de pagina zelf, robots.txt en llms.txt.
Eén keer controleren, dan elke deploy bewaken
Voer het uit op een pagina
Het commando haalt de pagina, robots.txt en llms.txt op, scoort de negen controles en toont elke AI-crawler als toegestaan of geblokkeerd voor precies dat pad. Voeg de render-optie toe om het JavaScript-gat te zien.
Los het op met je agent
De repository is ook een Agent Skill. Claude Code, Codex en Cursor voeren de controle uit, kiezen een recept voor je framework, passen de kleinste fix toe en herhalen tot alles groen is.
Voeg de Action toe
Eén init-commando schrijft de configuratie en een workflow. Vanaf dan kleurt een pas geblokkeerde zoekbot, een noindex dat uit staging is gelekt of inhoud die achter JavaScript is verplaatst de pull request rood.
Waarom de initiële HTML telt
De meeste AI-ophaalcrawlers voeren geen JavaScript uit. Een prijspagina die volledig aan de clientzijde wordt gerenderd, is voor hen een titel en een lege container, en kan dus niet worden geciteerd, hoe goed die er in een browser ook uitziet. ai-readable vergelijkt de HTML die een crawler downloadt met de pagina nadat JavaScript heeft gedraaid en toont het verschil, inclusief de koppen die pas na het renderen verschijnen.
Een trainingsbot blokkeren is niet zoeken blokkeren
robots.txt-regels die uit een blokkeer-alle-AI-snippet zijn gekopieerd, sluiten vaak OAI-SearchBot en ChatGPT-User uit samen met GPTBot. De eerste twee voeden live antwoorden en het lezen van links; de derde voedt alleen modeltraining. De tabel per crawler scheidt de drie groepen en citeert de regel, zodat je training kunt weigeren zonder uit de antwoorden te verdwijnen.
Regressies zijn het echte probleem
Een eenmalige audit vindt een fout één keer. Sites die met code-agents zijn gebouwd en herbouwd, brengen elke week dezelfde fouten terug: een lay-outwijziging verplaatst de H1 naar een clientcomponent, een preview-instelling stuurt noindex naar productie. De poort vangt dat op in de pull request, vóór de deploy, en linkt naar het recept dat elk probleem oplost.
Wat het bewust niet doet
Het stuurt nooit verzoeken met een bot-user-agent, omdat CDN's echte crawlers verifiëren op IP-adres en een vervalst verzoek het CDN zou beschrijven, niet de crawler. Het vraagt ook nooit aan een AI-engine wat die van je merk vindt. Een groene controle betekent dat de engines de pagina kunnen lezen. Of ze je noemen en citeren, is wat Citlyze in de tijd meet.
Leesbaar is de eerste stap. Aanbevolen is het doel.
ai-readable vertelt je of AI-engines een pagina kunnen lezen. Citlyze vertelt je of ze je noemen en citeren voor de vragen die je kopers stellen, gemeten over ChatGPT, Gemini, Perplexity en de AI-oppervlakken van Google, met het aantal runs achter elk percentage.
Ja, op dezelfde checklist: negen controles met dezelfde gewichten. De twee kunnen verschillen op zeer grote pagina's, omdat de gehoste grader de eerste 256 KB HTML leest en de commandoregeltool tot 2 MB.
Raadt AI jou aan wanneer kopers vragen?
Volg hoe ChatGPT, Gemini, Perplexity, DeepSeek, ByteDance, Grok, Google AI Overview & AI Mode en Bing Copilot je merk noemen, citeren en rangschikken. Lees gevolgde antwoorden terug en zie de gaten die je kunt dichten.
Geen creditcard nodig
