Vibeking

robots.txt en AI-crawlers: welke bots laat je toe?

Door Vibeking · Gepubliceerd 30 september 2026 · Feiten gecontroleerd op 30 september 2026

Blokkeer niet in één keer alle AI-bots. OpenAI, Anthropic en andere AI-bedrijven gebruiken aparte bots voor het trainen van modellen en voor zoeken.

Je kunt training dus weigeren en toch zichtbaar blijven in de antwoorden van ChatGPT, Claude en Perplexity. Voorwaarde is dat je hun zoekbots toelaat.

Drie soorten AI-bots

  • Trainingsbots verzamelen pagina's om AI-modellen te trainen. OpenAI zegt uitdrukkelijk dat die keuze los staat van zijn zoekbot, en Anthropic gebruikt voor training en zoeken aparte bots.
  • Zoekbots bouwen de index waaruit een assistent zijn bronnen haalt. Blokkeer je die, dan word je niet of veel minder vaak als bron getoond in hun antwoorden.
  • Bots die op verzoek ophalen openen een pagina omdat een gebruiker erom vraagt. OpenAI en Meta zeggen dat robots.txt daarvoor mogelijk niet geldt. Google en Perplexity zeggen dat zulke bots robots.txt doorgaans negeren. Anthropic zegt dat al zijn bots robots.txt volgen.

Welke bot doet wat

BotVanWaarvoorWat blokkeren doet
GPTBotOpenAITraining van modellenJe geeft aan dat je content niet gebruikt mag worden om OpenAI's basismodellen te trainen
OAI-SearchBotOpenAIZoeken in ChatGPTJe verschijnt niet meer in zoekantwoorden van ChatGPT, hooguit als navigatielink; geldt na ongeveer 24 uur
ChatGPT-UserOpenAIOphalen op verzoekrobots.txt geldt mogelijk niet
ClaudeBotAnthropicTraining van modellenJe geeft aan dat nieuwe content niet voor training gebruikt mag worden
Claude-SearchBotAnthropicZoekindex van ClaudeJe content wordt niet geïndexeerd voor de zoekfunctie
Claude-UserAnthropicOphalen op verzoekClaude haalt je pagina niet op als een gebruiker ernaar vraagt
PerplexityBotPerplexityZoekresultaten, niet voor trainingJe verschijnt mogelijk niet meer in de zoekresultaten van Perplexity
Perplexity-UserPerplexityOphalen op verzoekNegeert robots.txt doorgaans
Google-ExtendedGoogleGeen eigen bot maar een token: training van Gemini en bronnen voor de Gemini-appsGeen effect op Google Zoeken of je ranking, wel op gebruik in de Gemini-apps
Applebot-ExtendedAppleToken voor training van Apple-modellenJe pagina's blijven in de zoekresultaten van Apple
CCBotCommon CrawlOpen webarchief, een bekende bron voor AI-trainingJe pagina's komen niet meer in nieuwe archieven
meta-externalagentMetaTraining en indexering voor Meta-productenJe content wordt daarvoor niet meer opgehaald
meta-webindexerMetaZoekresultaten van Meta AIMinder zichtbaar in Meta AI

Googlebot, Bingbot en Applebot zijn de gewone zoekbots: laat die altijd toe. Om als bronlink in AI Overviews of AI Mode te verschijnen, moet een pagina in Google Zoeken geïndexeerd zijn en met een snippet getoond mogen worden. Sinds 31 augustus 2026 kun je je site in Search Console, onder Instellingen > Generatieve AI in Zoeken, uitsluiten van AI Overviews, AI Mode en de generatieve AI-functies in Discover, zonder Googlebot te blokkeren. Die instelling verandert niets aan training; daarvoor blijft Google-Extended nodig.

Microsoft heeft geen apart AI-token voor robots.txt. Voor de chatantwoorden van Bing noemde Microsoft in 2023 de meta-tags NOCACHE en NOARCHIVE.

Training weigeren, zichtbaar blijven: een voorbeeld

# Geen training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /

# AI-zoekdiensten en ophalen op verzoek toestaan
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: meta-webindexer
Allow: /

# Alle andere bots, zoals Googlebot, Bingbot en Applebot
User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Drie dingen om op te letten:

  1. Een bot met een eigen groep negeert de groep User-agent: *. Staat daar een regel voor een afgeschermde map, zoals Disallow: /account/, herhaal die dan in elke groep.
  2. Google-Extended blokkeren stopt ook het gebruik van je content als bron in de Gemini-apps. Wil je daar wel genoemd worden, laat die regel dan weg.
  3. robots.txt geldt per domein en per subdomein. OpenAI, Perplexity en Meta verwerken een wijziging binnen ongeveer 24 uur.

Let op als je Cloudflare gebruikt

Cloudflare kondigde op 1 juli 2026 aan dat klanten die daar training blokkeren, vanaf 15 september ook bots voor meerdere doelen zoals Googlebot, Applebot en Bingbot zouden blokkeren. Op 15 september 2026 kwam daar de instelling Disallow AI Training bij. Die zet een trainingsverbod in je robots.txt, blokkeert trainingsbots zoals GPTBot en ClaudeBot en laat Googlebot, Bingbot en Applebot toe voor zoeken. Bestaande blokkades voor training heeft Cloudflare omgezet naar Disallow AI Training. Bing leest dat verbod in robots.txt nog niet; volgens Cloudflare wil Microsoft dat begin 2027 ondersteunen.

Kies je in Cloudflare bij Training voor Block, dan zijn Googlebot, Bingbot en Applebot ook voor zoeken geblokkeerd en kan Google je site niet meer ophalen. Block on pages with ads doet hetzelfde op pagina's met advertenties. Controleer die instelling dus altijd naast je robots.txt.

Cloudflare introduceerde op 24 september 2025 ook Content Signals: een regel als Content-Signal: search=yes, ai-input=yes, ai-train=no, waarmee je aangeeft waarvoor je content gebruikt mag worden. Cloudflare noemt het zelf geen technische blokkade, en we vonden geen AI-bedrijf dat publiek heeft toegezegd de signalen te volgen.

Is robots.txt juridisch bindend?

Technisch is robots.txt een afspraak, geen slot: de standaard (RFC 9309) zegt dat de regels geen vorm van toegangsautorisatie zijn. Juridisch kan het wel meetellen.

Volgens artikel 4 van de Europese auteursrechtrichtlijn en artikel 15o van de Auteurswet mag tekst- en datamining niet als de rechthebbende dat uitdrukkelijk en op passende wijze heeft voorbehouden. Bij online content gaat het dan om machinaal leesbare middelen. Sinds 2 augustus 2025 moeten aanbieders van AI-modellen voor algemene doeleinden beleid hebben om zo'n voorbehoud te herkennen en na te leven (AI-verordening, artikel 53). Voor modellen die al voor die datum op de markt waren, geldt dat uiterlijk 2 augustus 2027.

Hoe rechters een regel in robots.txt wegen, is nog in beweging. De Rechtbank Amsterdam oordeelde in 2024 in een zaak van DPG Media en Mediahuis tegen HowardsHome dat een geldig voorbehoud niet was aangetoond, en het Duitse Bundesgerichtshof doet naar verwachting op 17 december 2026 uitspraak in een vergelijkbare zaak. Dit artikel is geen juridisch advies.

Zo controleer je het

Open jouwdomein.nl/robots.txt en zoek naar de namen uit de tabel. Staat OAI-SearchBot, Claude-SearchBot of PerplexityBot onder een Disallow: /, of heeft een van die bots geen eigen groep terwijl User-agent: * een Disallow: / heeft, dan sluit je jezelf uit van die AI-zoekdiensten. Een blokkade in Cloudflare of een firewall zie je niet in robots.txt; controleer die apart.

De gratis SEO check van Vibeking leest je robots.txt en meldt of je OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot of Google-Extended blokkeert. Google-Extended telt mee omdat dat token ook bepaalt of de Gemini-apps je content als bron gebruiken. Blokkeer je het bewust tegen training, zoals in het voorbeeld hierboven, dan is die melding te verwachten. Trainingsbots zoals GPTBot, ClaudeBot, CCBot, Applebot-Extended en meta-externalagent toont de check alleen ter informatie.

Bronnen

Hoe staat jouw site ervoor?

De gratis SEO check van Vibeking doet 30 controles en 7 AI-checks op je site en maakt van elke bevinding een fixtaak met uitleg.

Doe de gratis SEO check

Meer in de kennisbank

Hoe scoort jouw website?

Doe de gratis check: 30 controles en 7 AI-checks, met een fixtaak per bevinding. Geen betaalgegevens nodig.