AI-crawlers toelaten of blokkeren: GPTBot, ClaudeBot, PerplexityBot en de rest

Wil je genoemd worden in AI-antwoorden, dan moet je de crawlers van die systemen toelaten in je robots.txt. Blokkeer je GPTBot, PerplexityBot of OAI-SearchBot, dan kunnen ze je pagina's niet lezen en kun je dus niet in hun antwoorden staan. Het belangrijkste onderscheid dat bijna iedereen mist: sommige crawlers verzamelen trainingsmateriaal, andere bouwen een zoekindex. Je kunt die twee apart regelen, en dat is meestal precies wat je wilt.

Ik loop dit bij elke site die ik oplever na, en ik kom het bij overnames van andere bureaus regelmatig fout tegen. Meestal omdat er ooit een plugin is geïnstalleerd die alle AI-bots op slot zette, met de beste bedoelingen. Het gevolg is dat zo'n bedrijf structureel buiten AI-antwoorden valt zonder dat iemand het doorheeft, want je krijgt er geen melding van.

De drie soorten AI-crawlers, en waarom dat onderscheid alles bepaalt

Een trainingscrawler haalt tekst op om er een model mee te trainen. Wat hij meeneemt, verdwijnt in het geheugen van dat model en komt daar mogelijk jaren later nog uit, zonder bronvermelding en zonder link naar jou. Daar krijg je niets voor terug.

Een zoekcrawler bouwt een index waaruit het systeem live put wanneer iemand een vraag stelt. Word je daaruit geciteerd, dan staat je naam in het antwoord en meestal ook een link. Dit is de crawler waar je bij wilt zitten.

En dan is er de ophaler die pas langskomt op het moment dat een gebruiker iets vraagt waarvoor jouw pagina relevant lijkt. Die leest één pagina, gebruikt hem voor dat ene antwoord en gaat weer weg. Ook die wil je toelaten, want anders krijgt de gebruiker een antwoord waarin jij ontbreekt terwijl je pagina de vraag perfect had beantwoord.

Alle AI-crawlers op een rij: wie stuurt ze en wat doen ze

Google-Extended blokkeren haalt je niet uit AI Overviews

Dit is het hardnekkigste misverstand dat ik tegenkom, en het kost bedrijven zichtbaarheid. Google-Extended regelt of je content gebruikt mag worden om Gemini te trainen en te voeden. Het regelt niet of je in AI Overviews verschijnt. Die worden gebouwd op de gewone Google-index, en die wordt gevuld door Googlebot.

Praktisch betekent dat: wil je uit AI Overviews blijven, dan moet je uit Google Zoeken blijven. Dat wil vrijwel niemand. En omgekeerd: heb je Google-Extended geblokkeerd omdat je dacht daarmee uit AI-antwoorden te blijven, dan heb je alleen jezelf uit Gemini gehaald terwijl je nog gewoon in AI Overviews staat. Google zelf documenteert dit onderscheid in de uitleg over crawlers en gebruikersagenten.

Voor de meeste vakbedrijven is dat prima nieuws. Je wilt in AI Overviews staan, want dat is inmiddels bij veel zoekopdrachten het eerste wat iemand ziet. Hoe je die positie opbouwt, hangt samen met je gewone vindbaarheid, en daarover schreef ik hoe lokale ranking echt werkt.

Een robots.txt die AI-crawlers netjes toelaat

Voor negen van de tien bedrijven is dit het juiste bestand. Alles toe, behalve pagina's die niet in zoekresultaten thuishoren, zoals advertentielandingspagina's en bedanktpagina's.

Vergeet de regel met je sitemap niet. Die staat los van de user-agent-blokken en wijst elke crawler naar de volledige lijst met pagina's. Zonder die verwijzing moet een crawler je site zelf uitpluizen via links, en dat gaat trager en onvollediger.

Wel in AI-antwoorden, niet in trainingsdata

Dit is de middenweg waar veel ondernemers naar zoeken zodra ze het onderscheid doorhebben. Je wilt genoemd worden wanneer iemand een vraag stelt, maar je wilt niet dat je jarenlange vakkennis gratis in een model verdwijnt. Dat kan, want de crawlers zijn gescheiden.

Mijn eerlijke advies aan vrijwel elk vakbedrijf: kies de eerste rij. De angst dat een model met jouw kennis aan de haal gaat is begrijpelijk, maar de kans dat een klant jou vindt weegt zwaarder dan de kans dat een concurrent via een model jouw werkwijze afkijkt. Je verkoopt uitvoering, niet informatie. Bij een uitgever of een opleider ligt die afweging anders.

Robots.txt is een verzoek, geen slot

Dit moet erbij, anders wek ik een verkeerde indruk. Robots.txt is een afspraak. Een crawler die zich eraan houdt leest je regels en gehoorzaamt. Een crawler die dat niet doet, negeert het bestand en haalt je pagina's gewoon op. Er is geen technische afdwinging.

Wil je iets echt dichtzetten, dan moet dat op serverniveau: verzoeken van bepaalde user-agents weigeren, of een firewallregel. Dat is werk voor je hostingpartij en het heeft nadelen, want je kunt legitieme bezoekers per ongeluk buitensluiten. Voor de meeste bedrijven is dat overdreven.

Wat wel nuttig is: af en toe je serverlogboek doorkijken op user-agents die je niet kent. Zie je een onbekende bot die honderden pagina's per uur ophaalt en je server belast, dan is dat een reden om in te grijpen. Zie je alleen de bekende namen uit de tabel hierboven, dan gaat het goed.

Hoe je controleert of je robots.txt klopt

1. 1Typ je domein in met /robots.txt erachter en kijk wat er staat. Krijg je een 404, dan is er geen bestand en is standaard alles toegestaan. Dat is niet fout, maar wel onhandig, want dan mist ook je sitemapverwijzing.
2. 2Zoek naar het woord Disallow met een enkele schuine streep erachter. Staat dat er onder User-agent: *, dan is je hele site geblokkeerd. Dat gebeurt vaker dan je denkt na een verhuizing van een testomgeving.
3. 3Controleer of er blokken staan voor de crawlers uit de tabel hierboven met een Disallow. Dat is meestal een plugin die het ooit heeft toegevoegd.
4. 4Kijk of je sitemapregel erin staat en of die URL werkt.
5. 5Gebruik de robots.txt-tester in Google Search Console om te zien hoe Google je bestand leest.

Kom je erachter dat er iets geblokkeerd stond, verwacht dan geen resultaat van de ene op de andere dag. Een crawler moet opnieuw langskomen en je pagina's alsnog ophalen. Reken op enkele weken voordat je het effect terugziet. Dat geldt trouwens ook voor gewone indexering, en daarover schreef ik hoe lang het duurt voordat een nieuwe site in Google staat.

Staat alles goed en word je nog steeds niet genoemd, dan ligt het niet aan je robots.txt maar aan je inhoud of aan je aanwezigheid buiten je eigen domein. Dat is een ander gesprek, en dat voer ik in waarom ChatGPT je concurrent noemt en jou niet.