Een paar weken geleden ontdekten we iets vervelends. We waren bezig met het optimaliseren van een klantwebsite voor AI-vindbaarheid. Structured data toegevoegd, llms.txt aangemaakt, content herschreven. Alles stond er netjes op. Maar toen we testten of de site daadwerkelijk bereikbaar was voor AI-zoekmachines, bleek de deur op slot te zitten.
Googlebot? Welkom, kom binnen. ChatGPT, Claude, Perplexity? 403 Forbidden. En de klant wist van niets.
Hoe we erachter kwamen
We waren bezig met het optimaliseren van de AI-vindbaarheid van een aantal klantwebsites toen we een simpele test deden: een request met de user-agent van GPTBot. Het antwoord? “403 – Request forbidden by administrative rules.” Hetzelfde voor ClaudeBot en Applebot. Maar een normaal browserverzoek? 200 OK, geen enkel probleem.
We dachten eerst dat het aan de robots.txt lag, of aan een .htaccess-regel die we over het hoofd hadden gezien. Maar na het uitkammen van alle configuratiebestanden was er niets te vinden. Alles stond open.
Dus namen we contact op met de hosting support. Het antwoord was kort: “Dit is een serverbrede instelling. AI-crawlers worden op platformniveau geblokkeerd. We kunnen dit niet per account aanpassen.”
We zagen het daarna bij meer klanten terugkomen. Verschillende hosters, hetzelfde verhaal. En telkens hetzelfde patroon: de websitebeheerder had alles goed ingericht, maar de hosting blokkeerde het op een laag waar je als gebruiker niet bij kunt.
Steeds meer hosters doen dit
Laten we eerlijk zijn: hosters doen dit niet om je dwars te zitten. AI-crawlers, vooral de bots die websites scrapen voor modeltraining, veroorzaken serieuze serverbelasting. Ze crawlen agressief, houden zich niet altijd aan rate limits, en het verkeer kan op een DDoS-aanval lijken.
Voor een shared-hostingpartij, waar honderden websites op dezelfde server draaien, is dat een reeel probleem. Dus blokkeren ze alles wat naar een AI-bot ruikt. Serverbrede firewall, klaar.
En dit is een groeiende trend. Waar het een jaar geleden nog een uitzondering was, zien we dat steeds meer hostingpartijen dit standaard toepassen. Niet alleen bij de goedkopere pakketten, maar ook bij partijen die zich op het MKB richten. De meesten communiceren er niet over. Je merkt het pas als je gaat testen.
Begrijpelijk vanuit hun perspectief. Maar de klant betaalt de prijs, en wordt er niet over geinformeerd.
Waarom dit meer pijn doet dan je denkt
Hier wordt het interessant, en hier missen de meeste ondernemers het cruciale onderscheid.
Er zijn twee soorten AI-bots:
- Trainingsbots (zoals GPTBot) verzamelen data om AI-modellen te trainen. Of je die wilt toelaten is een legitieme keuze.
- Search- en fetchbots (zoals OAI-SearchBot, ChatGPT-User, Claude-User, PerplexityBot) zijn de bots die real-time informatie ophalen wanneer iemand een vraag stelt aan een AI-zoekmachine.
Wie de searchbots blokkeert, verdwijnt uit AI-zoekresultaten. Je bent letterlijk onzichtbaar wanneer iemand in ChatGPT vraagt: “Welk bedrijf kan mij helpen met X?”
Serverbrede blokkades maken dat onderscheid niet. Alles gaat dicht: training, search, fetch. Zelfs als je in je robots.txt expliciet aangeeft dat searchbots welkom zijn, maakt het niet uit. De firewall grijpt in voordat de robots.txt überhaupt gelezen wordt.
En dit is geen randprobleem. Onderzoek laat zien dat ongeveer een kwart van alle zakelijke websites onbedoeld AI-crawlers blokkeert via CDN- of hostinglagen. De meeste eigenaren hebben geen idee.
AI-zoekverkeer groeit, en converteert goed
Misschien denk je: “Hoeveel verkeer mis ik dan echt?” Meer dan je verwacht. AI-zoekverkeer groeit explosief. En het mooie is: mensen die via AI-tools zoeken, stellen vaak specifieke vragen. Ze zijn verder in hun klantreis en converteren beter dan gemiddeld organisch verkeer.
Onzichtbaar zijn in AI-zoekmachines is in 2025 wat onvindbaar zijn in Google was in 2015. Het verschil? Dit keer merk je het niet eens, want er is geen Search Console die je waarschuwt.
Zo check je het zelf
Je hoeft geen developer te zijn om dit te testen. Drie stappen:
1. Controleer je robots.txt
Ga naar jouwsite.nl/robots.txt en kijk of je Disallow-regels hebt voor AI user-agents zoals GPTBot, ClaudeBot, of CCBot. Heb je die niet? Goed, maar dat betekent nog niet dat je bereikbaar bent.
2. Check je access logs
Vraag je hoster om access logs, of bekijk ze in je hostingpaneel. Zoek naar requests van GPTBot of ClaudeBot. Zie je ze helemaal niet, of alleen met 403-statuscodes? Dan worden ze geblokkeerd.
3. De lakmoesproef: curl met een AI user-agent
Open een terminal en voer uit:
curl -I -A "GPTBot/1.0" https://jouwsite.nl
Vergelijk het resultaat met een normaal request:
curl -I https://jouwsite.nl
Krijg je bij de eerste een 403 en bij de tweede een 200? Dan blokkeert je server AI-crawlers. Let op: deze test is indicatief. Sommige firewalls zijn slimmer en blokkeren niet op user-agent alleen.
Klinkt dit te technisch? Dat begrijpen we. Daarom hebben we de Fyrst Insight scan gebouwd. Die checkt dit automatisch voor je.
Wat je eraan kunt doen
Afhankelijk van je situatie zijn er verschillende oplossingen:
Eigen configuratie opschonen. Check je robots.txt en voeg een llms.txt toe. Zorg dat je structured data op orde is. Dit helpt alleen als je hoster de bots doorlaat.
Hoster aanschrijven. Vraag expliciet of AI-crawlers geblokkeerd worden op serverniveau, en of dit per account aan te passen is. Wees eerlijk in je verwachting: bij budget shared hosting is het antwoord vaak “nee”.
Migreren naar hosting waar je dit zelf bepaalt. Een VPS, managed hosting of dedicated server geeft je controle over je eigen firewall en bot-beleid. Dit is de enige structurele oplossing.
Cloudflare gebruikers: let op AI Crawl Control. Cloudflare heeft een instelling genaamd “AI Crawl Control” die bij nieuwe domeinen standaard AI-bots blokkeert. Check dit in je Cloudflare-dashboard onder Security, ook als je het nooit bewust hebt ingeschakeld.
GEO begint bij je infrastructuur
De les die wij bij klanten leerden: AI-vindbaarheid gaat een laag dieper dan de meeste bedrijven denken. Je kunt de beste content schrijven, je structured data perfect inrichten en je hele website AI-ready maken. Maar als de hosting de deur dichthoudt, is dat allemaal voor niets.
GEO (Generative Engine Optimization) begint niet bij je content. Het begint bij de vraag: kan een AI-systeem mijn website überhaupt bereiken? Wij checken dit inmiddels standaard als eerste stap bij elk optimalisatietraject. Want als het antwoord “nee” is, heeft de rest geen zin.
Wil je weten of jouw website bereikbaar is voor AI?
De Fyrst Insight scan checkt onder andere of jouw website toegankelijk is voor AI-systemen. Gratis, en je weet direct of je dit probleem hebt. Binnen een paar minuten heb je je resultaat.
Beheer je websites voor klanten? We kunnen dezelfde check doen voor een heel portfolio. Neem contact op voor de mogelijkheden.
Veelgestelde vragen
Hoe weet ik of mijn hoster AI-crawlers blokkeert?
De snelste manier is een curl-test met een AI user-agent (zie hierboven). Krijg je een 403 terwijl een normaal request een 200 geeft, dan worden AI-bots geblokkeerd. De Fyrst Insight scan checkt dit ook automatisch.
Is het blokkeren van AI-crawlers hetzelfde als een robots.txt Disallow?
Nee. Een robots.txt is een verzoek aan bots, geen technische blokkade. Een serverbrede firewall blokkeert de verbinding voordat de bot je robots.txt kan lezen. Het is het verschil tussen een bordje “niet storen” en een slot op de deur.
Moet ik alle AI-bots toelaten?
Niet per se. Je kunt ervoor kiezen om trainingsbots (GPTBot) te blokkeren via robots.txt, maar searchbots (OAI-SearchBot, ChatGPT-User) wel door te laten. Zo bescherm je je content tegen training, maar blijf je vindbaar in AI-zoekresultaten.
Welke hosters blokkeren AI-crawlers?
We noemen bewust geen namen. Het probleem komt voor bij steeds meer hostingpartijen, van budget shared hosting tot partijen die zich specifiek op het MKB richten. Vraag je hoster expliciet of AI user-agents op serverniveau gefilterd worden.
