AI-bots toelaten of blokkeren is geen alles-of-niets-keuze. OpenAI, Anthropic en Perplexity hebben elk aparte bots voor training en voor zoeken. Blokkeer je alleen de trainingsbots, dan kun je nog steeds in ChatGPT of Claude verschijnen. Controleer daarnaast je hosting, want in ons onderzoek zat 9 van de 10 blokkades bij de hoster.
AI-bots toelaten of blokkeren is geen alles-of-niets-keuze. OpenAI, Anthropic en Perplexity gebruiken elk meerdere bots met een eigen taak: de ene verzamelt teksten om AI te trainen, de andere zoekt bronnen voor antwoorden in ChatGPT of Claude. Wie dat verschil kent, kan precies kiezen wat hij wel en niet toestaat.
Dat is nodig, want veel websites blokkeren nu de verkeerde bot, of de hoster heeft al voor ze gekozen. In ons onderzoek onder bijna 10.000 websites in de provincie Utrecht zat 9 van de 10 blokkades bij de hoster, niet bij de ondernemer.
In dit artikel vind je een keuzehulp met drie scenario’s en de regels die je daarvoor in robots.txt zet.
Welke soorten AI-bots zijn er?
Grofweg zijn er drie soorten:
| Soort bot | Wat hij doet | OpenAI | Anthropic | Perplexity |
|---|---|---|---|---|
| Trainingsbot | Verzamelt teksten om AI-modellen te trainen | GPTBot | ClaudeBot | |
| Zoekbot | Bouwt de zoekindex waaruit de AI bronnen kiest | OAI-SearchBot | Claude-SearchBot | PerplexityBot |
| Live-fetcher | Haalt een pagina op zodra een gebruiker erom vraagt | ChatGPT-User | Claude-User | Perplexity-User |
Daarnaast heeft Google Google-Extended. Dat is geen aparte bot, maar een instelling waarmee je aangeeft of Google je content mag gebruiken om Gemini te trainen. Je zichtbaarheid in Google Zoeken en in AI Overviews verandert daar niet door. Hoe Google de bronnen voor AI Overviews kiest, lees je in een apart artikel.
Wil je alle bots op een rij, met hun eigen kenmerken? Kijk dan in ons overzicht van alle AI-crawlers.
Het belangrijkste verschil: training of zoeken
De meest gemaakte fout is GPTBot blokkeren en denken dat je daarmee ChatGPT buitensluit. Of andersom: GPTBot toelaten en denken dat je dan in ChatGPT verschijnt.
OpenAI is daar duidelijk over in de eigen documentatie:
- GPTBot verzamelt content die gebruikt kan worden om de modellen van OpenAI te trainen. Blokkeer je GPTBot, dan geef je aan dat je content niet voor training gebruikt mag worden.
- OAI-SearchBot zorgt dat websites in de zoekfunctie van ChatGPT verschijnen. Blokkeer je OAI-SearchBot, dan wordt je site volgens OpenAI niet getoond in de zoekantwoorden van ChatGPT.
- ChatGPT-User bezoekt een pagina als een gebruiker daar in ChatGPT om vraagt. Omdat de gebruiker die actie start, geldt robots.txt hier volgens OpenAI mogelijk niet.
De instellingen zijn los van elkaar. Je kunt dus training weigeren en toch in de zoekantwoorden van ChatGPT verschijnen. Bij Anthropic werkt het op dezelfde manier: ClaudeBot is voor training, Claude-SearchBot en Claude-User voor zoeken en antwoorden. Meer daarover lees je in ons artikel over ClaudeBot.
Keuzehulp: drie scenario’s
Scenario 1: je wilt zo goed mogelijk gevonden worden
Je wilt dat ChatGPT, Claude en Perplexity je bedrijf kunnen vinden en noemen, en je hebt er geen bezwaar tegen dat je teksten voor training worden gebruikt. Dan laat je alle AI-bots toe. Dit past bij de meeste mkb-bedrijven: dienstverleners, winkels en lokale bedrijven die klanten zoeken.
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Scenario 2: wel gevonden worden, niet trainen
Je wilt in AI-antwoorden verschijnen, maar je wilt niet dat je teksten worden gebruikt om AI-modellen te trainen. Bijvoorbeeld omdat je veel eigen kennis of betaalde content publiceert. Dan blokkeer je de trainingsbots en laat je de zoekbots en live-fetchers toe. Dit is ook de opzet die veel specialisten nu als standaard aanraden.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap_index.xml
Wil je nog een stap verder, dan kun je ook een zogeheten Content Signal toevoegen. Daarmee geef je in robots.txt per gebruik aan wat mag: zoeken, AI-antwoorden en training. Cloudflare gebruikt dit al, maar de meeste AI-bots lezen het nog niet. Zie het als een extra signaal naast de regels hierboven, niet als vervanging.
User-agent: *
Allow: /
Content-Signal: search=yes, ai-input=yes, ai-train=no
Scenario 3: helemaal niet in AI
Je wilt niet dat AI-diensten je content gebruiken, ook niet als bron. Dat komt weinig voor bij het mkb, maar kan logisch zijn voor bijvoorbeeld uitgevers of sites met gevoelige informatie. Dan blokkeer je zowel de trainings- als de zoekbots.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Let op: blokkeer nooit alles met één regel “User-agent: *” en “Disallow: /”. Dan sluit je ook Google uit. Noem de AI-bots altijd bij naam.
Houd er rekening mee dat live-fetchers zoals ChatGPT-User zich volgens OpenAI niet altijd aan robots.txt houden, omdat een gebruiker de actie start. Wil je die echt tegenhouden, dan moet dat in je firewall.
Nog twee dingen om te weten. Een blokkade werkt alleen vooruit: teksten die al eerder voor training zijn opgehaald, blijven in die trainingsdata. En AI-bedrijven voegen geregeld nieuwe bots toe of hernoemen bestaande. Loop je lijst daarom minstens één keer per jaar na tegen de documentatie van de AI-bedrijven.
Robots.txt is niet het hele verhaal
Je kunt alles netjes in robots.txt zetten en toch geblokkeerd zijn. In ons onderzoek bleek dat de hoster of firewall bij 9 van de 10 geblokkeerde websites de AI-bots tegenhield, terwijl in robots.txt niets stond. Dan maakt het niet uit wat jij toestaat: de bot komt de server niet eens in.
Controleer daarom ook:
- Je hosting. Vraag je hoster of ze AI-bots blokkeren, welke, en of je dat per site kunt aanpassen. Wat je doet als het antwoord ja is, lees je in mijn hoster blokkeert ChatGPT.
- Cloudflare. Cloudflare vraagt bij nieuwe domeinen of AI-bots welkom zijn en houdt een deel ervan standaard tegen. Loop de instelling voor AI-bots in je dashboard na.
- Beveiligingsplugins. Sommige WordPress-plugins voor beveiliging weren onbekende bots. Check of AI-bots daaronder vallen.
Zelf beginnen: drie stappen
- Kies je scenario. Bepaal of je vooral gevonden wilt worden (scenario 1), gevonden maar niet getraind (scenario 2), of helemaal niet in AI (scenario 3).
- Pas je robots.txt aan. In WordPress doe je dat met je SEO-plugin, zoals Yoast of Rank Math, of met een robots.txt-bestand in de hoofdmap van je site. Controleer het resultaat op jouwdomein.nl/robots.txt.
- Test of de bots ook echt binnenkomen. Robots.txt is een verzoek, je hosting is de deur. Met Fyrst Insight zie je per AI-bot of hij je site bereikt en wat de oorzaak is als dat niet zo is.
Veelgestelde vragen
Wat is het verschil tussen GPTBot en OAI-SearchBot?
Beide zijn van OpenAI. GPTBot verzamelt content die gebruikt kan worden om AI-modellen te trainen. OAI-SearchBot zorgt dat je website in de zoekfunctie van ChatGPT kan verschijnen. Je kunt ze los van elkaar toelaten of blokkeren.
Kom ik niet meer in ChatGPT als ik GPTBot blokkeer?
Jawel. Een blokkade van GPTBot betekent alleen dat je content niet voor training gebruikt mag worden. Of je in de zoekantwoorden van ChatGPT verschijnt, hangt af van OAI-SearchBot. Blokkeer je die, dan toont ChatGPT je site volgens OpenAI niet in zijn zoekantwoorden.
Houden alle AI-bots zich aan robots.txt?
De trainings- en zoekbots van OpenAI en Anthropic volgen robots.txt. Bots die een pagina ophalen omdat een gebruiker erom vraagt, zoals ChatGPT-User, doen dat volgens OpenAI mogelijk niet. Wie die echt wil tegenhouden, moet dat in de firewall regelen.
Wat doet Google-Extended?
Met Google-Extended geef je aan dat Google je content niet mag gebruiken om Gemini en sommige andere AI-systemen te trainen. Je plek in Google Zoeken en in AI Overviews verandert er niet door, want die gebruiken de gewone Googlebot.
Welke keuze raden jullie aan voor het mkb?
Voor de meeste mkb-bedrijven is scenario 1 of 2 de logische keuze. Je wilt dat klanten je kunnen vinden, ook via ChatGPT en Claude. Twijfel je over training, kies dan scenario 2: je blijft vindbaar, maar je teksten worden niet voor training gebruikt.
Hoe snel werkt een aanpassing in robots.txt?
Bij OpenAI kan het volgens de eigen documentatie ongeveer een dag duren voordat een wijziging voor de zoekfunctie effect heeft. Bij andere AI-bedrijven kan het langer duren, afhankelijk van wanneer de bot je robots.txt opnieuw ophaalt.
De keuze bij jou houden
Welke AI-bots je toelaat, is een keuze over je bedrijf. Het probleem is dat die keuze nu vaak ongemerkt door een hoster of plugin wordt gemaakt. Een AI-collega van Fyrst werkt in je WordPress-site en houdt je vindbaarheid in Google en AI in de gaten, zodat jij blijft bepalen wie je site mag lezen. Eerst de basis op orde? Bekijk WordPress website AI-ready maken.
