Hangi AI crawler'ların içeri gireceğine karar verin.

Bot'ları net görerek crawler'lar için kurallar belirleyin. Oluşturulan robots.txt'yi yüklemeden önce kontrol edin.

Deneyin: ai için robots.txt oluşturucu
AI için robots.txt oluşturucu
01Crawler erişimini seçme
02Kuralları kontrol etme
03robots.txt'yi indirme
ARACI KULLANIN

Çalıştırın: ai için robots.txt oluşturucu.

Aşağıdaki formu kullanın, ardından sonucu bir raporda kullanmadan veya sitenizde yayımlamadan önce gözden geçirin.

Temel Yapılandırma

/admin/
/private/
/tmp/

Yollar / ile başlamalı ve bitmelidir

Tarayıcı Kontrolü

AI Tarayıcıları

OpenAI
GPTBot(OpenAI)
ChatGPT modellerini eğitir
Allow
OpenAI
OAI-SearchBot(OpenAI)
ChatGPT web aramasını besler
Allow
OpenAI
ChatGPT-User(OpenAI)
Paylaşılan bağlantıları getirir
Allow
Anthropic
ClaudeBot(Anthropic)
Claude AI tarayıcısı
Allow
Anthropic
anthropic-ai(Anthropic)
Claude eğitim verileri
Allow
Anthropic
claude-web(Anthropic)
Güncel web içeriği
Allow
Perplexity
PerplexityBot(Perplexity)
AI arama dizini
Allow
Google
Google-Extended(Google)
Gemini AI
Allow
Amazon
Amazonbot(Amazon)
Alexa ve öneriler
Allow
Apple
Applebot-Extended(Apple)
Apple AI eğitimi
Allow
ByteDance
Bytespider(ByteDance)
TikTok'un AI'ı
Allow
DuckDuckGo
DuckAssistBot(DuckDuckGo)
Özel AI yanıtları
Allow
Cohere
cohere-ai(Cohere)
Kurumsal LLM'ler
Allow
Meta
meta-externalagent(Meta)
Meta AI tarayıcısı
Allow
Mistral
MistralAI-User(Mistral)
Fransız AI şirketi
Allow

Arama Motorları

Google
Googlebot(Google)
Google Search
Allow
Google
Googlebot-Image(Google)
Google Images
Allow
Google
Googlebot-Mobile(Google)
Google Mobile Search
Allow
Microsoft
Bingbot(Microsoft)
Microsoft Bing
Allow
Yandex
YandexBot(Yandex)
Rus arama motoru
Allow
reCAPTCHA ile korunmaktadır

Robots.txt En İyi Uygulamaları İçin Hızlı İpuçları

1. Yayına Almadan Önce Test Edin

robots.txt dosyanızı yayına almadan önce mutlaka Google Search Console'da test edin

2. AI Tarayıcı Etkinliğini İzleyin

Hangi AI botlarının sitenizi ne sıklıkla ziyaret ettiğini takip edin

3. Düzenli Olarak Güncelleyin

Yeni AI tarayıcıları ortaya çıktıkça robots.txt dosyanızı üç ayda bir gözden geçirin

4. Erişim ile Korumayı Dengeleyin

Görünürlük için AI tarayıcılarına izin verirken hassas içerikleri koruyun

5. Tarama Gecikmesini Değerlendirin

Sunucu kaynaklarını yönetmek için uygun gecikmeler belirleyin

6. Site Haritanızı Ekleyin

Tarayıcıların tüm önemli içeriklerinizi keşfetmesine yardımcı olun

💡 Pro ipucu: robots.txt dosyanızı bir llms.txt dosyasıyla birleştirerek eksiksiz AI optimizasyonu sağlayın. robots.txt erişimi kontrol ederken, llms.txt AI sistemlerine işletmeniz hakkında bağlam sunar.

AI Tarayıcı Erişimini Neden Kontrol Etmelisiniz?

AI, kullanıcıların bilgiye ulaşmasının başlıca yolu haline geldikçe, içeriğinize hangi AI sistemlerinin erişebileceğini kontrol etmek büyük önem taşıyor. AI tarayıcılarına izin vermek AI tarafından üretilen yanıtlardaki görünürlüğünüzü artırabilse de, özel içerikleri korumak, sunucu yükünü azaltmak veya içeriğinizin AI eğitiminde nasıl kullanıldığı üzerindeki kontrolü sürdürmek için belirli tarayıcıları engellemek isteyebilirsiniz.

🎯

İçerik Kontrolü

İçeriğinizi hangi AI sistemlerinin eğitim veya gerçek zamanlı yanıtlar için kullanabileceğine karar verin

👁️

AI Visibility

AI yanıtlarındaki marka anılmalarınızı artırmak için faydalı AI tarayıcılarına izin verin

⚡

Sunucu Kaynakları

Sunucu performansını optimize etmek ve maliyetleri düşürmek için tarayıcı trafiğini yönetin

Önemli Notlar ve Kaynaklar

  • •Bazı tarayıcılar (Perplexity-User gibi), kullanıcının istediği sayfaları getirirken robots.txt dosyasını yok sayabilir
  • •Robots.txt herkese açıktır; gizli içerikleri ele verecek hassas yolları eklemeyin
  • •Tüm botlar robots.txt dosyasına uymaz; bu bir talep olup bir zorlama değildir
  • •Değişikliklerin tüm tarayıcılar tarafından fark edilmesi günler ya da haftalar sürebilir

Sık Sorulan Sorular

KEŞFETMEYE DEVAM EDİN

Yanıtlanacak bir soru daha.