Decida que crawlers de IA podem entrar.

Defina regras para os crawlers com uma imagem clara dos bots. Reveja o robots.txt gerado antes de o carregar.

Experimente: robots.txt generator for ai
Robots.txt generator for AI
01Escolha do acesso dos crawlers
02Verificação das regras
03Transferência do robots.txt
USE A FERRAMENTA

Execute: robots.txt generator for ai.

Use o formulário abaixo e reveja o resultado antes de o usar num relatório ou de o publicar no seu site.

Configuração básica

/admin/
/private/
/tmp/

Os caminhos têm de começar e terminar com /

Controlo de crawlers

Crawlers de IA

OpenAI
GPTBot(OpenAI)
Treina modelos ChatGPT
Allow
OpenAI
OAI-SearchBot(OpenAI)
Alimenta a pesquisa na web do ChatGPT
Allow
OpenAI
ChatGPT-User(OpenAI)
Obtém ligações partilhadas
Allow
Anthropic
ClaudeBot(Anthropic)
Crawler de IA do Claude
Allow
Anthropic
anthropic-ai(Anthropic)
Dados de treino do Claude
Allow
Anthropic
claude-web(Anthropic)
Conteúdo web atualizado
Allow
Perplexity
PerplexityBot(Perplexity)
Índice de pesquisa com IA
Allow
Google
Google-Extended(Google)
Gemini AI
Allow
Amazon
Amazonbot(Amazon)
Alexa e recomendações
Allow
Apple
Applebot-Extended(Apple)
Treino de IA da Apple
Allow
ByteDance
Bytespider(ByteDance)
IA do TikTok
Allow
DuckDuckGo
DuckAssistBot(DuckDuckGo)
Respostas de IA privadas
Allow
Cohere
cohere-ai(Cohere)
LLMs empresariais
Allow
Meta
meta-externalagent(Meta)
Crawler de IA da Meta
Allow
Mistral
MistralAI-User(Mistral)
Empresa francesa de IA
Allow

Motores de pesquisa

Google
Googlebot(Google)
Google Search
Allow
Google
Googlebot-Image(Google)
Google Images
Allow
Google
Googlebot-Mobile(Google)
Google Mobile Search
Allow
Microsoft
Bingbot(Microsoft)
Microsoft Bing
Allow
Yandex
YandexBot(Yandex)
Motor de pesquisa russo
Allow
Protegido por reCAPTCHA

Boas práticas de Robots.txt em resumo

1. Teste antes de publicar

Teste sempre o seu robots.txt no Google Search Console antes de o colocar em produção

2. Monitorize a atividade dos crawlers de IA

Acompanhe que bots de IA visitam o seu site e com que frequência

3. Atualize regularmente

Reveja o seu robots.txt trimestralmente, à medida que surgem novos crawlers de IA

4. Equilibre acesso e proteção

Permita crawlers de IA para ganhar visibilidade, protegendo ao mesmo tempo o conteúdo sensível

5. Pondere um atraso de crawl

Defina atrasos adequados para gerir os recursos do servidor

6. Inclua o seu sitemap

Ajude os crawlers a descobrir todo o seu conteúdo importante

💡 Dica profissional: Combine o seu robots.txt com um ficheiro llms.txt para uma otimização completa para IA. Enquanto o robots.txt controla o acesso, o llms.txt fornece contexto sobre o seu negócio aos sistemas de IA.

Porquê controlar o acesso dos crawlers de IA?

À medida que a IA se torna a principal forma de os utilizadores descobrirem informação, controlar que sistemas de IA podem aceder ao seu conteúdo é fundamental. Embora permitir crawlers de IA possa aumentar a sua visibilidade nas respostas geradas por IA, pode querer bloquear certos crawlers para proteger conteúdo proprietário, reduzir a carga do servidor ou manter o controlo sobre a forma como o seu conteúdo é usado no treino de IA.

🎯

Controlo de conteúdo

Decida que sistemas de IA podem usar o seu conteúdo para treino ou para respostas em tempo real

👁️

Visibilidade em IA

Permita crawlers de IA úteis para aumentar as menções à sua marca nas respostas de IA

⚡

Recursos do servidor

Gira o tráfego dos crawlers para otimizar o desempenho do servidor e reduzir custos

Notas importantes e recursos

  • •Alguns crawlers (como o Perplexity-User) podem ignorar o robots.txt ao obter páginas pedidas pelo utilizador
  • •O robots.txt é visível publicamente - não inclua caminhos sensíveis que revelem conteúdo oculto
  • •Nem todos os bots respeitam o robots.txt - é um pedido, não uma imposição
  • •As alterações podem demorar dias ou semanas a ser reconhecidas por todos os crawlers

Perguntas frequentes

CONTINUE A EXPLORAR

Mais uma pergunta a responder.