Bestem, hvilke AI-crawlere der slipper ind.

Sæt regler for crawlerne med et klart overblik over botterne. Gennemgå den genererede robots.txt, før du uploader den.

Prøv robots.txt generator for ai
Robots.txt Generator for AI
01Vælg crawler-adgang
02Tjek reglerne
03Download robots.txt
BRUG VÆRKTØJET

Kør robots.txt generator for ai.

Brug formularen nedenfor, og gennemgå resultatet, før du bruger det i en rapport eller udgiver det på dit site.

Grundlæggende opsætning

/admin/
/private/
/tmp/

Stier skal starte og slutte med /

Styring af crawlere

AI-crawlere

OpenAI
GPTBot(OpenAI)
Træner ChatGPT-modeller
Allow
OpenAI
OAI-SearchBot(OpenAI)
Driver ChatGPTs websøgning
Allow
OpenAI
ChatGPT-User(OpenAI)
Henter delte links
Allow
Anthropic
ClaudeBot(Anthropic)
Claudes AI-crawler
Allow
Anthropic
anthropic-ai(Anthropic)
Claudes træningsdata
Allow
Anthropic
claude-web(Anthropic)
Friskt webindhold
Allow
Perplexity
PerplexityBot(Perplexity)
AI-søgeindeks
Allow
Google
Google-Extended(Google)
Gemini AI
Allow
Amazon
Amazonbot(Amazon)
Alexa og anbefalinger
Allow
Apple
Applebot-Extended(Apple)
Apples AI-træning
Allow
ByteDance
Bytespider(ByteDance)
TikToks AI
Allow
DuckDuckGo
DuckAssistBot(DuckDuckGo)
Private AI-svar
Allow
Cohere
cohere-ai(Cohere)
Enterprise-LLM'er
Allow
Meta
meta-externalagent(Meta)
Metas AI-crawler
Allow
Mistral
MistralAI-User(Mistral)
Fransk AI-virksomhed
Allow

Søgemaskiner

Google
Googlebot(Google)
Google Search
Allow
Google
Googlebot-Image(Google)
Google Images
Allow
Google
Googlebot-Mobile(Google)
Google Mobile Search
Allow
Microsoft
Bingbot(Microsoft)
Microsoft Bing
Allow
Yandex
YandexBot(Yandex)
Russisk søgemaskine
Allow
Beskyttet af reCAPTCHA

Hurtige tips til god robots.txt-praksis

1. Test, før du udgiver

Test altid din robots.txt i Google Search Console, før den går live

2. Følg AI-crawlernes aktivitet

Hold øje med, hvilke AI-bots der besøger dit site, og hvor ofte

3. Opdater jævnligt

Gennemgå din robots.txt hvert kvartal, efterhånden som nye AI-crawlere dukker op

4. Find balancen mellem adgang og beskyttelse

Giv AI-crawlere adgang for at øge synligheden, og beskyt samtidig følsomt indhold

5. Overvej en crawl-forsinkelse

Indstil passende forsinkelser for at skåne serverressourcerne

6. Medtag dit sitemap

Hjælp crawlere med at finde alt dit vigtige indhold

💡 Pro-tip: Kombinér din robots.txt med en llms.txt-fil for komplet AI-optimering. Mens robots.txt styrer adgangen, giver llms.txt AI-systemer kontekst om din virksomhed.

Hvorfor styre AI-crawlernes adgang?

Nu hvor AI er den primære måde, brugere finder information på, er det afgørende at styre, hvilke AI-systemer der har adgang til dit indhold. Når du tillader AI-crawlere, kan du øge din synlighed i AI-genererede svar, men du kan have gode grunde til at blokere visse crawlere: at beskytte proprietært indhold, mindske belastningen på serveren eller bevare kontrollen over, hvordan dit indhold bruges i AI-træning.

🎯

Kontrol over indhold

Bestem, hvilke AI-systemer der må bruge dit indhold til træning eller svar i realtid

👁️

AI visibility

Giv adgang til nyttige AI-crawlere, så dit brand bliver nævnt oftere i AI-svar

⚡

Serverressourcer

Styr crawlertrafikken for at optimere serverens ydeevne og sænke omkostningerne

Vigtige noter og ressourcer

  • •Nogle crawlere (som Perplexity-User) ignorerer muligvis robots.txt, når de henter sider, som brugerne beder om
  • •Robots.txt er offentligt synlig – tag ikke følsomme stier med, der afslører skjult indhold
  • •Ikke alle bots respekterer robots.txt – det er en anmodning, ikke en håndhævelse
  • •Det kan tage dage eller uger, før alle crawlere opfanger ændringerne

Ofte stillede spørgsmål

FORTSÆT UDFORSKNINGEN

Endnu et spørgsmål at besvare.