Odlučite koji AI crawleri imaju pristup.

Definirajte pravila za crawlere uz jasan pregled botova. Provjerite generirani robots.txt prije nego što ga objavite.

Isprobajte robots.txt generator za ai
Robots.txt generator za AI
01Odabir pristupa crawlerima
02Provjera pravila
03Preuzimanje robots.txt datoteke
KORISTITE ALAT

Pokrenite robots.txt generator za ai.

Ispunite obrazac u nastavku, a zatim pregledajte rezultat prije nego što ga upotrijebite u izvješću ili objavite na svojoj web stranici.

Osnovna konfiguracija

/admin/
/private/
/tmp/

Putanje moraju započinjati i završavati s /

Kontrola crawlera

AI crawlers

OpenAI
GPTBot(OpenAI)
Trenira ChatGPT modele
Allow
OpenAI
OAI-SearchBot(OpenAI)
Pokreće ChatGPT web pretraživanje
Allow
OpenAI
ChatGPT-User(OpenAI)
Dohvaća dijeljene poveznice
Allow
Anthropic
ClaudeBot(Anthropic)
Claude AI crawler
Allow
Anthropic
anthropic-ai(Anthropic)
Claude podaci za treniranje
Allow
Anthropic
claude-web(Anthropic)
Svjež web sadržaj
Allow
Perplexity
PerplexityBot(Perplexity)
AI indeks pretraživanja
Allow
Google
Google-Extended(Google)
Gemini AI
Allow
Amazon
Amazonbot(Amazon)
Alexa i preporuke
Allow
Apple
Applebot-Extended(Apple)
Apple AI treniranje
Allow
ByteDance
Bytespider(ByteDance)
TikTokov AI
Allow
DuckDuckGo
DuckAssistBot(DuckDuckGo)
Privatni AI odgovori
Allow
Cohere
cohere-ai(Cohere)
Enterprise LLM-ovi
Allow
Meta
meta-externalagent(Meta)
Meta AI crawler
Allow
Mistral
MistralAI-User(Mistral)
Francuska AI kompanija
Allow

Tražilice

Google
Googlebot(Google)
Google Search
Allow
Google
Googlebot-Image(Google)
Google Images
Allow
Google
Googlebot-Mobile(Google)
Google Mobile Search
Allow
Microsoft
Bingbot(Microsoft)
Microsoft Bing
Allow
Yandex
YandexBot(Yandex)
Ruska tražilica
Allow
Zaštićeno reCAPTCHA-om

Brzi savjeti za najbolju praksu robots.txt

1. Testirajte prije objave

Uvijek testirajte svoj robots.txt u Google Search Console prije objave

2. Pratite aktivnost AI crawlera

Pratite koji AI botovi posjećuju vašu stranicu i koliko često

3. Redovito ažurirajte

Pregledajte svoj robots.txt svaka tri mjeseca jer se pojavljuju novi AI crawleri

4. Uravnotežite pristup i zaštitu

Dopustite AI crawlerima pristup radi vidljivosti, a istovremeno zaštitite osjetljiv sadržaj

5. Razmotrite kašnjenje crawliranja

Postavite odgovarajuće odgode za upravljanje resursima poslužitelja

6. Uključite svoju sitemap datoteku

Pomozite crawlerima da otkriju sav vaš važan sadržaj

💡 Pro savjet: Kombinirajte svoj robots.txt s llms.txt datotekom za potpunu AI optimizaciju. Dok robots.txt kontrolira pristup, llms.txt pruža kontekst o vašem poslovanju za AI sustave.

Zašto kontrolirati pristup AI crawlera?

Kako AI postaje primarni način na koji korisnici otkrivaju informacije, kontrola nad tim kojim AI sustavima dopuštate pristup vašem sadržaju postaje ključna. Iako dopuštanje AI crawlerima može povećati vašu vidljivost u AI-generiranim odgovorima, možda ćete htjeti blokirati određene crawlere kako biste zaštitili vlasnički sadržaj, smanjili opterećenje poslužitelja ili zadržali kontrolu nad načinom na koji se vaš sadržaj koristi u AI treniranju.

🎯

Kontrola sadržaja

Odlučite koji AI sustavi smiju koristiti vaš sadržaj za treniranje ili odgovore u stvarnom vremenu

👁️

AI visibility

Dopustite korisnim AI crawlerima da povećaju spominjanje vašeg brenda u AI odgovorima

⚡

Resursi poslužitelja

Upravljajte prometom crawlera kako biste optimizirali performanse poslužitelja i smanjili troškove

Važne napomene i resursi

  • •Neki crawleri (poput Perplexity-User) mogu zanemariti robots.txt pri dohvaćanju stranica koje je zatražio korisnik
  • •Robots.txt je javno vidljiv - nemojte uključivati osjetljive putanje koje otkrivaju skriveni sadržaj
  • •Nisu svi botovi skloni poštovati robots.txt - to je zahtjev, a ne prisila
  • •Promjene mogu proći dane ili tjedne dok ih svi crawleri ne prepoznaju

Često postavljana pitanja

NASTAVITE ISTRAŽIVATI

Još jedno pitanje na koje treba odgovoriti.