AI crawler blokkeren: verzoek of slot?
De nieuwe trainingsregel laat je server open. Vergelijk zelf je robots.txt-regels.
AI crawler blokkeren klinkt als één knop. Het voorstel van 30 oktober voor een gezamenlijke trainingsvoorkeur laat de toegang tot je website juist ongemoeid. Test hieronder welke van je regels over crawlen gaan en welke over gebruik voor training.
De trainingsvoorkeur sluit je server niet af
De nieuwe tekst is een individueel Internet-Draft, geen vastgestelde IETF-standaard. In het voorstel van 30 oktober 2026 staat het token __usage_ai-training. De regels daarbij drukken uit of je inhoud voor generatieve AI-training gebruikt mag worden. Een gewone crawlergroep blijft apart gelden.
Google kondigde op 30 oktober aan het gezamenlijke signaal in 2027 te willen ondersteunen. Bestaande Google-Extended-regels blijven werken en kunnen je algemene voorkeur verfijnen. Google zegt bovendien een algemene weigering zonder expliciete Google-Extended-regel te willen behandelen als een weigering voor Google-Extended. Dat kan ook grounding in Gemini raken. Bron: Google Search Central, 30 oktober 2026.
AI crawler blokkeren: probeer je regels
Plak publieke of fictieve regels. Kies een crawler en een pad. De proef rekent lokaal: er gaat geen invoer naar een server en je website verandert niet. De uitkomst voorspelt geen naleving door een aanbieder.
Druk op ‘Vergelijk de regels’ voor de uitkomst.
Deze afgebakende proef ondersteunt letterlijke paden, procentcodering, meerdere groepen, de langste passende regel en Allow bij gelijke lengte. Paden zijn hoofdlettergevoelig. Wildcards in paden (* en $) worden met een melding geweigerd. Andere opdrachten, zoals Sitemap, tellen niet mee. Dit is geen volledige robots.txt-validator.
Een specifieke bot erft het sterretje niet
Een valkuil in de bestaande robots.txt-standaard, RFC 9309: een passende eigen crawlergroep gaat vóór de algemene groep. Combineer dus niet gedachteloos een algemene blokkade met een aparte botgroep die alleen één map weigert. Het overige deel kan voor die bot weer toegankelijk zijn.
De nieuwe trainingsvoorkeur kent nog een verschil: een groep met alleen User-agent: * telt niet als trainingsvoorkeur. Ontbreekt het eigen trainingstoken, dan meldt onze analyser ‘geen voorkeur’. Dat zegt niets over afzonderlijke aanbiederregels of bestaande afspraken.
| Regels | Uitkomst voor /nieuws/ |
|---|---|
User-agent: * | Crawlen afgewezen; geen trainingsvoorkeur via het nieuwe token. |
User-agent: __usage_ai-training | Crawlen toegestaan; trainingsvoorkeur afgewezen. |
User-agent: * | GPTBot mag /nieuws/ ophalen; de eigen groep gaat voor. |
Behandel een voorkeur nooit als beveiliging
Robots.txt is een afspraak voor meewerkende crawlers. Het protocol geeft geen toegangsrechten. Gebruik een toegangscontrole als inhoud besloten moet blijven. Een botnaam in een verzoek bewijst bovendien niet wie het verzoek werkelijk verstuurt.
De gezamenlijke voorkeur kan beheer wel eenvoudiger maken: minder aparte regels om bij te houden. Dat is een bruikbare verbetering, ook zonder technisch slot. Alleen is ‘training weigeren’ daarmee nog geen bewijs dat niemand je pagina heeft opgehaald.
Bij WordPress beheren horen deze keuzes apart van het account waarmee je AI-assistent werkt. Onze uitleg over veiligheid gaat over die connectorrechten. WordPress SEO met AI gebruikt zoekgegevens om pagina’s te beoordelen; de lokale proef hier meet geen vindbaarheid.
Welke controle hoort bij je volgende wijziging?
Bewaar bij de volgende controle eerst je bestaande robots.txt. Test een publiek pad én een pad met een uitzondering. Controleer daarna afzonderlijk of je server echte verzoeken weigert, als je dat bedoelde. De installatiehulp en voorbeeldopdrachten betreffen de WordPress-connector, niet het automatisch aanpassen van je firewall.
- Vergelijk de crawlregel met de trainingsvoorkeur.
- Bewaar het oorspronkelijke bestand vóór je iets wijzigt.
- Controleer de implementatiedatum van je aanbieder opnieuw.
Voor Google telt de aangekondigde ondersteuning in 2027 als volgend controlemoment. Een nieuwe provideruitleg moet duidelijk maken wanneer het gezamenlijke signaal werkelijk wordt verwerkt. Tot die tijd blijft een aankondiging een aankondiging.
Een regel gekozen? Controleer ook het andere doel.
Vergelijk crawlen en training opnieuw met hetzelfde pad.
Terug naar de regelcheck