Bepaal welke AI-crawlers binnenkomen.

Stel regels voor crawlers in met een helder beeld van de bots. Controleer de gegenereerde robots.txt voordat je hem uploadt.

Probeer de robots.txt-generator voor ai
Robots.txt-generator voor AI
01Toegang van crawlers kiezen
02De regels controleren
03De robots.txt downloaden
GEBRUIK DE TOOL

Gebruik de robots.txt-generator voor ai.

Gebruik het formulier hieronder en controleer het resultaat voordat je het in een rapport gebruikt of op je site publiceert.

Basisconfiguratie

/admin/
/private/
/tmp/

Paden moeten beginnen en eindigen met /

Crawlerbeheer

AI-crawlers

OpenAI
GPTBot(OpenAI)
Traint ChatGPT-modellen
Allow
OpenAI
OAI-SearchBot(OpenAI)
Voedt het zoeken op het web in ChatGPT
Allow
OpenAI
ChatGPT-User(OpenAI)
Haalt gedeelde links op
Allow
Anthropic
ClaudeBot(Anthropic)
AI-crawler van Claude
Allow
Anthropic
anthropic-ai(Anthropic)
Trainingsdata voor Claude
Allow
Anthropic
claude-web(Anthropic)
Actuele webcontent
Allow
Perplexity
PerplexityBot(Perplexity)
AI-zoekindex
Allow
Google
Google-Extended(Google)
Gemini AI
Allow
Amazon
Amazonbot(Amazon)
Alexa en aanbevelingen
Allow
Apple
Applebot-Extended(Apple)
AI-training van Apple
Allow
ByteDance
Bytespider(ByteDance)
De AI van TikTok
Allow
DuckDuckGo
DuckAssistBot(DuckDuckGo)
Privé AI-antwoorden
Allow
Cohere
cohere-ai(Cohere)
Enterprise-LLM's
Allow
Meta
meta-externalagent(Meta)
AI-crawler van Meta
Allow
Mistral
MistralAI-User(Mistral)
Frans AI-bedrijf
Allow

Zoekmachines

Google
Googlebot(Google)
Google Search
Allow
Google
Googlebot-Image(Google)
Google Images
Allow
Google
Googlebot-Mobile(Google)
Google Mobile Search
Allow
Microsoft
Bingbot(Microsoft)
Microsoft Bing
Allow
Yandex
YandexBot(Yandex)
Russische zoekmachine
Allow
Beschermd door reCAPTCHA

Snelle tips voor best practices met robots.txt

1. Test voordat je live gaat

Test je robots.txt altijd in Google Search Console voordat je live gaat

2. Monitor de activiteit van AI-crawlers

Volg welke AI-bots je site bezoeken en hoe vaak

3. Houd het actueel

Controleer je robots.txt elk kwartaal, want er verschijnen steeds nieuwe AI-crawlers

4. Zoek de balans tussen toegang en bescherming

Sta AI-crawlers toe voor zichtbaarheid en bescherm tegelijk gevoelige content

5. Overweeg een crawlvertraging

Stel passende vertragingen in om je serverresources te beheren

6. Voeg je sitemap toe

Help crawlers al je belangrijke content te vinden

💡 Pro tip: Combineer je robots.txt met een llms.txt-bestand voor complete AI-optimalisatie. Robots.txt bepaalt de toegang, llms.txt geeft AI-systemen context over je bedrijf.

Waarom toegang voor AI-crawlers beheren?

Nu AI de belangrijkste manier wordt om informatie te vinden, is het cruciaal te bepalen welke AI-systemen bij je content mogen. Door AI-crawlers toe te staan vergroot je je zichtbaarheid in AI-antwoorden, maar je kunt bepaalde crawlers ook blokkeren om bedrijfseigen content te beschermen, de serverbelasting te verlagen of de controle te houden over hoe je content wordt gebruikt voor AI-training.

🎯

Contentbeheer

Bepaal welke AI-systemen je content mogen gebruiken voor training of realtime antwoorden

👁️

AI Visibility

Sta nuttige AI-crawlers toe om je merkvermeldingen in AI-antwoorden te vergroten

⚡

Serverresources

Beheer het crawlerverkeer om de serverprestaties te optimaliseren en kosten te verlagen

Belangrijke opmerkingen en bronnen

  • •Sommige crawlers (zoals Perplexity-User) negeren robots.txt mogelijk bij het ophalen van pagina's die gebruikers opvragen
  • •Robots.txt is openbaar zichtbaar: neem geen gevoelige paden op die verborgen content verraden
  • •Niet alle bots respecteren robots.txt: het is een verzoek, geen handhaving
  • •Het kan dagen of weken duren voordat alle crawlers wijzigingen oppikken

Veelgestelde vragen

BLIJF ONTDEKKEN

Nog een vraag om te beantwoorden.