ClaudeBot is de webcrawler van Anthropic, het bedrijf achter Claude. Het is een van drie bots die Anthropic op het web laat rondgaan, en de enige die gaat over het trainen van AI-modellen. De andere twee, Claude-User en Claude-SearchBot, bepalen of jouw website verschijnt als iemand Claude een vraag stelt. Wie alle drie in één keer blokkeert (en dat doen veel hosters en beveiligingsplugins standaard), verdwijnt dus niet alleen uit de trainingsdata, maar ook uit de antwoorden.
Dat onderscheid is het hele verhaal van dit artikel. Je kunt prima besluiten dat je content niet gebruikt mag worden om modellen te trainen. Maar als je een bedrijf hebt, wil je wel genoemd worden als een klant in Claude vraagt naar een goede installateur, accountant of trainingsbureau in de regio. Die twee keuzes kun je los van elkaar maken, en dat doet bijna niemand.
Hieronder leggen we uit wat de drie Claude-crawlers precies doen, hoe je ze in je robots.txt toelaat of weigert, waarom robots.txt vaak niet het probleem is, en hoe dit past in het bredere idee van agent readiness: een website die door AI-systemen gelezen kan worden.
Wat is ClaudeBot?
ClaudeBot is de crawler die Anthropic gebruikt om webcontent te verzamelen die kan bijdragen aan het trainen van zijn AI-modellen. In de woorden van Anthropic zelf: ClaudeBot helpt de bruikbaarheid en veiligheid van de modellen te verbeteren door content te verzamelen “die mogelijk kan bijdragen aan hun training”. De kernfeiten:
- User-agent: hij meldt zich bij je server als
ClaudeBot - Doel: trainingsdata, niet vindbaarheid (dat doen de twee andere bots hieronder)
- Gedrag: respecteert robots.txt en ondersteunt
Crawl-delayals je hem wilt afremmen - Herkenbaar: Anthropic publiceert de IP-adressen van al zijn bots op claude.com/crawling/bots.json, zodat je nepbots kunt onderscheiden van de echte
De drie Claude-crawlers op een rij
Anthropic maakt onderscheid tussen drie bots, elk met een eigen user-agent en een eigen doel. Blokkeren heeft per bot een ander gevolg.
| Bot | Wat hij doet | Wat blokkeren betekent |
|---|---|---|
ClaudeBot |
Verzamelt content voor het trainen van modellen | Je content wordt niet gebruikt voor training. Geen effect op vindbaarheid. |
Claude-User |
Haalt een pagina op wanneer een gebruiker Claude iets vraagt en Claude jouw site als bron wil gebruiken | Claude kan jouw pagina niet lezen als antwoord op een vraag. Je verdwijnt uit het gesprek. |
Claude-SearchBot |
Indexeert het web om de zoekresultaten binnen Claude te verbeteren | Je site wordt niet geïndexeerd voor Claude’s zoekfunctie. Je wordt niet gevonden. |
Anthropic zegt over Claude-User letterlijk dat blokkeren “ons systeem belet jouw content op te halen als antwoord op een gebruikersvraag”, en over Claude-SearchBot dat blokkeren “ons systeem belet jouw content te indexeren”. Dat zijn dus de twee bots waar je vindbaarheid van afhangt. Alle drie respecteren robots.txt en proberen geen CAPTCHA’s of andere beveiliging te omzeilen.
De indeling is vergelijkbaar met die van OpenAI, waar GPTBot traint en OAI-SearchBot en ChatGPT-User het ophalen en zoeken doen. Hoe dat bij ChatGPT werkt, lees je in hoe ChatGPT een website crawlt.
Waarom je ClaudeBot niet zomaar moet blokkeren
De reflex van veel beheerders is begrijpelijk: AI-bots gebruiken mijn content zonder te betalen, dus weg ermee. Maar die reflex gaat voorbij aan wat er voor een bedrijf op het spel staat.
Steeds meer mensen stellen hun vraag niet aan Google maar aan een AI-assistent. “Welke bedrijven in Amersfoort plaatsen warmtepompen en hebben goede reviews?” Claude beantwoordt zo’n vraag door websites op te halen en te lezen. Staat jouw site op de blokkeerlijst, dan bestaat je bedrijf in dat gesprek niet. De concurrent die zijn site wel openzet, wordt genoemd.
Voor de meeste MKB-bedrijven is het advies daarom simpel: laat Claude-User en Claude-SearchBot toe. Over ClaudeBot mag je een eigen afweging maken. Wie zijn content niet wil bijdragen aan training kan die ene bot weigeren zonder de vindbaarheid te raken. Wie er geen bezwaar tegen heeft, laat alles open; dat is wat wij op onze eigen site doen. Meer over die afweging in AI-vindbaarheid voor het MKB.
Zo regel je het in robots.txt
Robots.txt is een tekstbestand in de hoofdmap van je site (jouwdomein.nl/robots.txt). Elke crawler die zich netjes gedraagt leest het eerst. Dit zijn de drie gangbare varianten.
Alles toelaten (ons advies voor de meeste bedrijven)
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /Vindbaar blijven, maar niet bijdragen aan training
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /ClaudeBot afremmen in plaats van weigeren
User-agent: ClaudeBot
Crawl-delay: 1Let op de valkuil: staat er in je robots.txt een algemene regel als User-agent: * met Disallow: /wp-admin/, dan is dat prima. Maar sommige beveiligingsplugins en hostingpakketten voegen een blok toe dat alle bekende AI-bots in één keer weigert, inclusief de twee die je vindbaarheid bepalen. Controleer dat voordat je iets anders aanpast. In WordPress bewerk je robots.txt via Yoast (SEO, Tools, Bestandseditor) of via je hostingpaneel.
Robots.txt is meestal niet het probleem
Hier zit de verrassing voor veel ondernemers. Je robots.txt kan alles toelaten en toch komt geen enkele AI-bot binnen. De blokkade zit dan niet in WordPress, maar in de firewall van je hoster, die vóór je website staat en verzoeken van bekende AI-bots afwijst voordat WordPress ze ooit ziet. Sommige hosters doen dat standaard, met de beste bedoelingen, om serverbelasting te beperken.
Het gevolg is dat de eigenaar er niets van merkt: de site werkt gewoon voor mensen, en robots.txt ziet er netjes uit. Alleen de AI-systemen krijgen een foutmelding of een leeg antwoord. Hoe je dat herkent en wat je eraan doet, staat uitgebreid in je hosting blokkeert AI-crawlers.
Zo kom je erachter of dit bij jou speelt:
- Vraag je hoster (of kijk in je Cloudflare-instellingen) of verzoeken met de user-agents ClaudeBot, Claude-User, Claude-SearchBot, GPTBot en OAI-SearchBot worden doorgelaten
- Doe de Fyrst Insight-scan, die dit als eerste controleert en je meteen laat zien wat AI-systemen van je site te zien krijgen
- Blokkeert je hoster en wil hij dat niet aanpassen? Dan is dat een reden om over te stappen, want je robots.txt kan daar niets aan veranderen
Van toegang naar agent readiness
Crawlers toelaten is stap één. De vraag daarna is of een AI-systeem je site ook begrijpt als hij binnen is. Daarvoor bestaat sinds dit voorjaar een gezamenlijke lat: The Website Specification van Joost de Valk, de oprichter van Yoast, gepubliceerd op 30 mei 2026 en vrij beschikbaar op specification.website. Het is een open, bronvermelde verzameling van ruim 120 onderwerpen over wat een goede website hoort te doen, verdeeld over tien categorieën. Een van die categorieën heet Agent Readiness: “de dingen die een site leesbaar maken voor AI-agents en crawlers”.
Die categorie telt 21 onderwerpen. Een paar die voor een bedrijfswebsite het meest opleveren:
- Stabiele URL’s (de enige eis met het label “vereist”). Een URL die verandert, breekt citaties, bookmarks en het geheugen van agents. Verhuis je een pagina, dan met een 301-redirect.
- robots.txt voor AI-crawlers (aanbevolen). Precies wat hierboven staat: per bot benoemen wat mag, in plaats van alles of niets.
- llms.txt (aanbevolen). Een markdown-bestand in je hoofdmap dat AI-systemen een geordend overzicht geeft van je belangrijkste pagina’s. De specificatie noemt het eerlijk “een opkomende conventie, geen vastgestelde standaard”, maar het kost weinig. Wij schreven er eerder over in waarom llms.txt belangrijk is.
- Structured data (aanbevolen). JSON-LD met schema.org-types, zodat een agent niet hoeft te raden wat je bent, wat je doet en waar je zit. Zie structured data voor AI.
- Machineleesbare formaten (aanbevolen). Naast HTML ook JSON, RSS of markdown aanbieden, zodat een agent het formaat kan kiezen dat hij het beste leest.
De rest van de lijst (MCP-endpoints, agent cards, Web Bot Auth) is optioneel en vooral interessant als je wilt dat agents niet alleen lezen maar ook iets kunnen doen op je site. Dat is de kant van agentic WordPress, en het onderwerp van onze gids over WordPress MCP.
Zelf beginnen: drie stappen
1. Lees je eigen robots.txt
Open jouwdomein.nl/robots.txt in je browser. Zoek naar ClaudeBot, Claude-User, Claude-SearchBot, GPTBot en OAI-SearchBot. Staan ze op Disallow, of staat er een blok dat alle AI-bots weigert? Pas het aan naar een van de varianten hierboven.
2. Test of de bots echt binnenkomen
Robots.txt zegt wat mag; de firewall bepaalt wat kan. Doe de Fyrst Insight-scan of vraag je hoster expliciet of de genoemde user-agents worden doorgelaten.
3. Maak je site leesbaar
Zorg voor een llms.txt, controleer je structured data en houd je URL’s stabiel. Dat zijn de drie aanbevelingen uit de Website Specification die je zonder ontwikkelaar kunt oppakken, en ze werken voor Claude, ChatGPT en Gemini tegelijk.
Veelgestelde vragen over ClaudeBot
Wat is het verschil tussen ClaudeBot en Claude-User?
ClaudeBot verzamelt content voor het trainen van AI-modellen. Claude-User haalt een pagina op wanneer een gebruiker Claude een vraag stelt en Claude jouw site als bron wil gebruiken. De eerste gaat over training, de tweede over vindbaarheid.
Respecteert ClaudeBot robots.txt?
Ja. Anthropic stelt dat al zijn bots “do not crawl”-signalen respecteren en geen beveiliging zoals CAPTCHA’s proberen te omzeilen. ClaudeBot ondersteunt ook Crawl-delay om het tempo te beperken.
Kan ik ClaudeBot blokkeren en toch vindbaar blijven in Claude?
Ja. Weiger alleen ClaudeBot in robots.txt en laat Claude-User en Claude-SearchBot toe. Dan draagt je content niet bij aan training, maar kan Claude je site wel lezen en tonen als antwoord.
Hoe weet ik of een bezoeker echt ClaudeBot is?
Anthropic publiceert de IP-adressen van zijn bots op claude.com/crawling/bots.json. Komt een verzoek met de user-agent ClaudeBot niet van een van die adressen, dan is het een nabootser.
Wat is agent readiness?
De mate waarin een website leesbaar en bruikbaar is voor AI-agents en crawlers. The Website Specification van Joost de Valk beschrijft er 21 onderwerpen voor, van stabiele URL’s en robots.txt-regels per bot tot llms.txt, structured data en MCP-endpoints.
Hoort dit bij mijn hoster of bij mij?
Bij allebei. Robots.txt en llms.txt beheer jij (of je beheerder). De firewall die bots wel of niet doorlaat, beheert je hoster. Als die twee niet met elkaar kloppen, wint de firewall.
Wil je dit niet zelf bijhouden? Een AI-collega van Fyrst houdt je robots.txt, llms.txt en structured data op orde en meldt het als een hoster of plugin de deur weer dichtdoet. Op dit moment werken we de AI-collega in bij een beperkt aantal bedrijven, als pilot. Meld je aan voor de pilot als je erbij wilt zijn.
