Decidi quali AI crawler entrano.

Definisci regole per i crawler con una visione chiara dei bot. Controlla il robots.txt generato prima di caricarlo.

Prova: Robots.txt generator per AI
Robots.txt generator per AI
01Selezione dell'accesso dei crawler
02Verifica delle regole
03Download del robots.txt
USA LO STRUMENTO

Esegui Robots.txt generator per AI.

Usa il modulo qui sotto e verifica il risultato prima di inserirlo in un report o pubblicarlo sul tuo sito.

Impostazioni di base

/admin/
/private/
/tmp/

I paths devono iniziare e terminare con /

Controllo crawler

AI crawler

OpenAI
GPTBot(OpenAI)
Addestra i modelli di ChatGPT
Allow
OpenAI
OAI-SearchBot(OpenAI)
Alimenta la ricerca web di ChatGPT
Allow
OpenAI
ChatGPT-User(OpenAI)
Apre i link condivisi
Allow
Anthropic
ClaudeBot(Anthropic)
AI crawler di Claude
Allow
Anthropic
anthropic-ai(Anthropic)
Dati di addestramento di Claude
Allow
Anthropic
claude-web(Anthropic)
Contenuto web fresco
Allow
Perplexity
PerplexityBot(Perplexity)
Indice di AI search
Allow
Google
Google-Extended(Google)
Gemini AI
Allow
Amazon
Amazonbot(Amazon)
Alexa e suggerimenti
Allow
Apple
Applebot-Extended(Apple)
Addestramento AI di Apple
Allow
ByteDance
Bytespider(ByteDance)
L'AI di TikTok
Allow
DuckDuckGo
DuckAssistBot(DuckDuckGo)
Risposte AI private
Allow
Cohere
cohere-ai(Cohere)
LLM per le aziende
Allow
Meta
meta-externalagent(Meta)
AI crawler di Meta
Allow
Mistral
MistralAI-User(Mistral)
Azienda AI francese
Allow

Motori di ricerca

Google
Googlebot(Google)
Google Search
Allow
Google
Googlebot-Image(Google)
Google Images
Allow
Google
Googlebot-Mobile(Google)
Google Mobile Search
Allow
Microsoft
Bingbot(Microsoft)
Microsoft Bing
Allow
Yandex
YandexBot(Yandex)
Motore di ricerca russo
Allow
Protetto da reCAPTCHA

Consigli rapidi per il robots.txt

1. Testa prima di pubblicare

Testa sempre il robots.txt su Google Search Console prima di andare live

2. Monitora gli AI crawler

Scopri quali AI bot visitano il tuo sito e con quale frequenza

3. Aggiornalo regolarmente

Controlla il robots.txt ogni trimestre, perché compaiono nuovi AI crawler

4. Bilancia accesso e protezione

Consenti gli AI crawler per la visibilità e proteggi i contenuti sensibili

5. Considera il crawl delay

Imposta delay adeguati per gestire le risorse del server

6. Includi la sitemap

Aiuta i crawler a trovare tutti i tuoi contenuti importanti

💡 Consiglio: Combina il robots.txt con un file llms.txt per un'ottimizzazione AI completa. Il robots.txt controlla l'accesso, mentre il llms.txt fornisce ai sistemi AI il contesto sulla tua azienda.

Perché controllare l'accesso degli AI crawler?

Dato che l'AI sta diventando il modo principale per scoprire informazioni, è importante controllare quali sistemi AI hanno accesso ai tuoi contenuti. Gli AI crawler possono aumentare la tua visibilità nelle risposte AI, ma potresti voler bloccarne alcuni per proteggere i contenuti, ridurre il carico del server o controllare come i tuoi contenuti vengono usati nell'addestramento dell'AI.

🎯

Controllo dei contenuti

Decidi quali sistemi AI possono usare i tuoi contenuti per l'addestramento o le risposte in tempo reale

👁️

AI visibility

Consenti gli AI crawler utili per ottenere più menzioni del tuo brand nelle risposte AI

⚡

Risorse del server

Gestisci il traffico dei crawler per prestazioni migliori e costi inferiori

Note importanti e fonti

  • •Alcuni crawler (come Perplexity-User) possono ignorare il robots.txt quando aprono pagine richieste dall'utente
  • •Il robots.txt è pubblico: non inserire path sensibili che rivelano contenuti nascosti
  • •Non tutti i bot rispettano il robots.txt: è una richiesta, non un obbligo
  • •Le modifiche possono richiedere giorni o settimane prima che tutti i crawler le riconoscano

Domande frequenti

CONTINUA A ESPLORARE

Ancora una domanda a cui rispondere.