Wij testten in oktober 2026 bijna 10.000 websites in de provincie Utrecht. Bij bijna 1 op de 5 meetbare ondernemerswebsites kreeg minstens één AI-bot geen toegang. Bijna 9 van de 10 blokkades zaten alleen op hosting- of firewallniveau, niet in de robots.txt. Bij sommige hosters gold dat voor 9 op de 10 websites. Wie de blokkade instelde en of ondernemers ervan wisten, hebben we niet gemeten.
AI-Toegangsbenchmark provincie Utrecht 2026
Bij bijna 1 op de 5 ondernemerswebsites krijgt minstens één AI-bot geen toegang. Bijna 9 van de 10 blokkades zitten alleen op hosting- of firewallniveau, niet in de robots.txt.
Bij bijna één op de vijf ondernemerswebsites in de provincie Utrecht zijn AI-crawlers zoals ClaudeBot en GPTBot geblokkeerd. Dat blijkt uit een meting van Fyrst op 14 en 15 oktober 2026 onder 9.757 websites in alle 26 gemeenten van de provincie. Bij 1.391 ondernemerswebsites krijgt minstens één AI-bot de deur gewezen, terwijl Google gewoon binnenkomt.
We onderzochten niet wie goed scoort in ChatGPT, maar iets fundamentelers: welke AI-bots technisch toegang krijgen tot de websites van Utrechtse ondernemers, en op welk niveau een blokkade zit. Bij 88% van de blokkades zit die alleen op hosting- of firewallniveau, terwijl de robots.txt van de website de bot niet uitsluit. Wie die blokkade heeft ingesteld en of de ondernemer ervan weet, is van buitenaf niet te zien. Dat hebben we dus ook niet gemeten.
De meeste blokkades gelden trainingsbots, die teksten verzamelen om AI-modellen te trainen. Dat is iets anders dan de bots die zoekantwoorden samenstellen. Verderop lees je wat dat verschil betekent.
Benieuwd of jouw website erbij zit? Test met Fyrst Insight gratis welke AI-bots je site kunnen bereiken.
De cijfers op een rij
- 9.757 websites gemeten in alle 26 gemeenten, waarvan 7.393 ondernemerswebsites betrouwbaar te meten
- 1.391 ondernemerswebsites (19%) blokkeren minstens één AI-bot
- Bijna 9 op de 10 blokkades (88%) zitten alleen op hosting- of firewallniveau. Bij 9% staat de blokkade alleen in de robots.txt, bij 2% op beide plekken
- Vooral trainingsbots: ClaudeBot wordt bij 1.295 websites geweigerd, GPTBot bij 998
- Ook zoekbots: minstens 267 websites (3,6%) weigeren PerplexityBot, de zoekbot van Perplexity
- Acht hosters springen eruit: bij de acht hosters met de meeste blokkades weigerden samen 669 van de 784 gemeten websites minstens één AI-bot (85%)
Wat zijn AI-crawlers?
AI-crawlers zijn bots waarmee AI-bedrijven websites ophalen en lezen. Ze hebben elk een eigen taak:
| Soort bot | Wat hij doet | Voorbeelden |
|---|---|---|
| Trainingsbot | Verzamelt teksten om AI-modellen mee te trainen | GPTBot, ClaudeBot, CCBot |
| Zoekbot | Bouwt de zoekindex waaruit AI-assistenten bronnen kiezen | OAI-SearchBot, Claude-SearchBot, PerplexityBot |
| Live-fetcher | Haalt een pagina op zodra een gebruiker erom vraagt | ChatGPT-User, Claude-User, Perplexity-User |
Dat onderscheid is belangrijk. Wie GPTBot of ClaudeBot blokkeert, kan nog steeds verschijnen in de antwoorden van ChatGPT of Claude, zolang de zoekbots en live-fetchers wel binnenkomen. Maar ook een blokkade van trainingsbots is een keuze over je website. En uit dit onderzoek blijkt dat die keuze meestal niet in de robots.txt staat, maar op hosting- of firewallniveau wordt gemaakt. Een volledig overzicht van alle bots staat in ons artikel over AI-crawlers.
De blokkade zit meestal in hosting of firewall
Een website kan AI-crawlers op twee plekken tegenhouden. In het bestand robots.txt vraagt de website een bot om weg te blijven. Op hosting- of firewallniveau weigert de server de bot. Dat kan een instelling van de hoster zijn, soms voor alle klanten tegelijk, maar ook een firewall of beveiligingsdienst die de eigenaar of webbouwer zelf heeft ingesteld.
Van de 1.391 websites met een blokkade:
- 1.230 alleen op hosting- of firewallniveau (88%)
- 31 zowel op hosting- of firewallniveau als in de eigen robots.txt (2%)
- 130 alleen via de eigen robots.txt (9%)
Googlebot komt bij al deze websites gewoon binnen. Het gaat dus niet om websites die onbereikbaar zijn, maar om blokkades die specifiek AI-bots treffen.
Wie zo’n blokkade instelt, kan daar goede redenen voor hebben, zoals serverbelasting door crawlers die veel pagina’s tegelijk opvragen. Of de ondernemer ervan weet, hebben we niet onderzocht. Wel is het in de robots.txt niet terug te zien: wie alleen daar kijkt, mist de blokkade bij ruim 1.200 websites in de provincie Utrecht. Welke bots je het beste toelaat, lees je in onze keuzehulp voor AI-bots.
Bij deze hosters weigert 9 op de 10 websites een AI-bot
Het beeld verschilt sterk per hoster. De percentages gaan over de meetbare ondernemerswebsites per hoster. Een hoog percentage wijst op een instelling die veel websites bij die hoster delen, maar zegt niet met zekerheid wie die heeft ingesteld.
| Hoster | Websites | Blokkeert minstens één AI-bot | Welke bots |
|---|---|---|---|
| Hosting 2 GO | 66 | 95% | GPTBot, ClaudeBot en PerplexityBot |
| CLOUDPROVIDER | 34 | 94% | Bijna alle AI-bots, ook zoekbots |
| Totaaldomein | 37 | 92% | ClaudeBot |
| Antagonist | 164 | 91% | ClaudeBot |
| Vimexx | 327 | 85% | GPTBot en ClaudeBot |
| Versio | 55 | 85% | GPTBot en ClaudeBot |
| WebReus | 25 | 80% | GPTBot en ClaudeBot |
| Hostnet | 76 | 62% | ClaudeBot |
| Achter Cloudflare | 909 | 26% | Afhankelijk van de instelling van de eigenaar |
| TransIP | 458 | 8% | |
| AWS | 523 | 3% | |
| Google Cloud | 343 | 1% | |
| one.com | 231 | 1% | |
| Cloud86 | 211 | 0% |
Bij de hosters onderaan de tabel zagen we op botnaam vrijwel geen blokkades. Of zij AI-bots via het netwerk tegenhouden, is niet gemeten.
Bij Cloudflare is de echte hoster niet zichtbaar. Sinds juli 2025 vraagt Cloudflare bij elk nieuw domein of AI-crawlers welkom zijn, en staat blokkeren standaard aan (persbericht Cloudflare). Per 15 september 2026 maakt Cloudflare onderscheid: zoekcrawlers mogen standaard door, crawlers voor training en AI-agents worden op pagina’s met advertenties geblokkeerd (persbericht Cloudflare, juli 2026).
Wat je kunt doen als je hoster AI-bots tegenhoudt, lees je in mijn hoster blokkeert ChatGPT.
Bijna een kwart van de gemeten WordPress-sites blokkeert een AI-bot
De helft van de gemeten websites draait op WordPress: 3.787 van de 7.393. Daarvan blokkeert 23% minstens één AI-bot. Bij de acht hosters met de meeste blokkades is dat 87%: 552 van de 631 WordPress-sites.
| Platform | Websites | Blokkeert minstens één AI-bot |
|---|---|---|
| Joomla | 127 | 30% |
| Drupal | 82 | 26% |
| WordPress | 3.787 | 23% |
| Next.js (maatwerk) | 154 | 4% |
| Shopify | 187 | 2% |
| Squarespace | 84 | 2% |
| Wix | 155 | 0% |
Dat lijkt niet aan WordPress zelf te liggen. Bij Shopify, Wix en Squarespace, die de hosting voor al hun klanten regelen, zagen we vrijwel geen blokkades. WordPress-sites draaien vaak bij kleinere hosters met een eigen beleid. Voor WordPress is de keuze van hoster dus extra belangrijk. In onze GEO-checklist voor WordPress staat waar je verder op let.
Het speelt in de hele provincie
In alle grotere gemeenten blokkeert tussen de 15% en 24% van de ondernemerswebsites een AI-bot:
- Utrecht: 18%
- Amersfoort: 19%
- Leusden: 19%
- De Bilt: 24%
Opvallend: maar weinig websites sluiten AI-bots zelf uit in hun robots.txt. Tegelijk publiceren 856 websites (12%) inmiddels een llms.txt. Dat is een voorgesteld formaat waarmee een website informatie gestructureerd beschikbaar maakt voor AI-agents. Het is geen vereiste om in Google of in AI-antwoorden te verschijnen. Meer over het bestand lees je in ons artikel over llms.txt.
Waarom dit uitmaakt
Steeds meer mensen stellen hun vraag aan ChatGPT, Claude of Perplexity in plaats van zelf te zoeken. Die AI-assistenten kunnen een pagina alleen zelf lezen als hun bots er toegang toe krijgen.
Een vermelding in AI-antwoorden is nooit gegarandeerd. Bekendheid, inhoud en wat anderen over je schrijven tellen ook mee. Dit onderzoek meet ook niet of een website in ChatGPT of andere AI-systemen verschijnt, alleen of hun bots technisch binnenkomen. Maar toegang is de eerste stap. En die wordt bij de meeste blokkades niet in de robots.txt geregeld, maar op hosting- of firewallniveau. Wie alleen de robots.txt controleert, ziet zo’n blokkade niet. Hoe AI-assistenten een site lezen, lees je in hoe ChatGPT je website crawlt.
Zelf checken
- Bekijk je robots.txt. Ga naar jouwdomein.nl/robots.txt en kijk of GPTBot, ClaudeBot, OAI-SearchBot of PerplexityBot daar met “Disallow: /” staan.
- Vraag het je hoster. Een lege robots.txt zegt niets over de server. Vraag of ze AI-bots blokkeren, welke, en of dat op naam of op netwerk gebeurt.
- Controleer Cloudflare. Gebruik je Cloudflare, loop dan de instelling voor AI-bots na.
- Meet het per bot. Je kunt proberen een pagina rechtstreeks te laten openen door ChatGPT of Claude, maar dat is geen sluitende technische test. Voor een betrouwbare meting controleer je per crawler wat robots.txt, firewall en hosting toelaten. Met Fyrst Insight zie je dat per AI-bot, inclusief de oorzaak van een blokkade.
Zo hebben we gemeten
- Websites: alle bedrijven met een website in OpenStreetMap, binnen de 26 gemeenten van de provincie Utrecht. Na het weghalen van dubbele domeinen en socialemedialinks bleven 9.757 domeinen over, waarvan 8.494 van lokale ondernemers. Ketens zoals supermarkten en drogisterijen tellen niet mee.
- Meetmoment: 14 en 15 oktober 2026.
- Methode: per website lazen we robots.txt uit op twaalf AI-bots en vroegen we de homepage op als gewone browser, als Googlebot en als negen AI-bots. Die bots bootsten we na via hun user-agent, de naam waarmee een bot zich bij een server meldt. De verzoeken kwamen dus niet van de AI-bedrijven zelf. Een blokkade telt alleen als een gewone browser en Googlebot wel binnenkomen en de AI-bot een weigering krijgt. Beperkingen van het aantal verzoeken en time-outs tellen niet mee.
- Basis: 7.393 ondernemerswebsites die tijdens de meting bereikbaar en betrouwbaar te meten waren. 1.101 websites waren offline, gaven een fout of lieten zich niet betrouwbaar meten.
- Beperkingen: we maten vanaf een gewone internetverbinding, niet vanaf de netwerken van de AI-bedrijven. Blokkades die afhangen van het netwerk of IP-adres van een bot, zijn daardoor mogelijk niet gedetecteerd. Omgekeerd kan een server die echte AI-bots aan hun IP-adres herkent, die wel toelaten terwijl onze nagebootste bot een weigering kreeg. Wie een blokkade heeft ingesteld en of de ondernemer ervan weet, valt buiten de meting. En de meting zegt niets over of een website wel of niet verschijnt in ChatGPT of andere AI-systemen.
Veelgestelde vragen
Hoe weet ik of mijn website AI-bots blokkeert?
Kijk eerst in je robots.txt of daar AI-bots worden uitgesloten. Staat daar niets, dan kan je hoster ze nog steeds op de server tegenhouden. Een scan die je site per AI-bot opvraagt, laat zien welke binnenkomen en welke niet.
Kan mijn hoster AI-bots blokkeren zonder dat ik het weet?
Ja, dat kan. In ons onderzoek zat 88% van de blokkades alleen op hosting- of firewallniveau, terwijl de robots.txt van de website de bot niet uitsloot. Zo’n blokkade kan de hoster instellen, soms voor alle klanten tegelijk, bijvoorbeeld om de servers te beschermen. Maar het kan ook een firewall of beveiligingsdienst van de website zelf zijn. Of ondernemers ervan wisten, hebben we niet onderzocht.
Wat is het verschil tussen GPTBot en OAI-SearchBot?
Beide zijn van OpenAI. GPTBot verzamelt teksten om AI-modellen te trainen. OAI-SearchBot bouwt de zoekindex waaruit ChatGPT bronnen kiest voor zijn antwoorden. Je kunt ze apart toelaten of blokkeren.
Moet ik AI-bots toelaten op mijn website?
Dat hangt af van wat je wilt. Wil je niet dat je teksten worden gebruikt om AI te trainen, dan kun je trainingsbots weren. Wil je kunnen verschijnen in ChatGPT, Claude of Perplexity, laat dan in ieder geval de zoekbots en live-fetchers toe. Het belangrijkste is dat je weet wat er op jouw website gebeurt, zodat je die keuze bewust maakt.
Wat is llms.txt en heb ik het nodig?
Een llms.txt is een voorgesteld bestandsformaat waarmee een website informatie gestructureerd beschikbaar maakt voor AI-agents. Het is geen vereiste om in Google of in AI-antwoorden te verschijnen. In de provincie Utrecht publiceert 12% van de gemeten ondernemerswebsites er inmiddels een.
Welke hosters blokkeren de meeste AI-bots?
In ons onderzoek weigerde bij Hosting 2 GO, CLOUDPROVIDER, Totaaldomein en Antagonist meer dan 90% van de gemeten websites minstens één AI-bot. Bij Vimexx en Versio ging het om 85%. Bij TransIP, AWS, Google Cloud, one.com en Cloud86 zagen we op botnaam vrijwel geen blokkades.
Over dit onderzoek
Fyrst is het agentic AI platform voor WordPress. We meten hoe AI-systemen websites bereiken en lezen, en helpen ondernemers die toegang zelf in de hand te houden, onder meer met een AI-collega die in hun website werkt. We herhalen deze meting en breiden haar uit naar andere provincies. Vragen over het onderzoek of de dataset? Neem contact met ons op!
