AI botovi upravo sada crawlaju vašu web stranicu. Evo kako ih možete vidjeti.

AI botovi upravo sada crawlaju vašu web stranicu i odlučuju hoće li preporučiti vaš brend. Google Analytics ih ne može vidjeti. Reauditova Cloudflare integracija pokazuje vam točno koji AI crawleri posjećuju vašu stranicu, što pregledavaju i kako to pretvoriti u veću vidljivost.

Natrag na članke
AI botovi upravo sada crawlaju vašu web stranicu. Evo kako ih možete vidjeti.
AI sažetak
ChatGPT icon
Perplexity icon
Claude icon
Google AI icon
Grok icon
Slušajte članak

AI botovi upravo sada pretražuju vaše web-mjesto. Evo kako ih vidjeti.

Na vašem se web-mjestu događa nešto za što vjerojatno ne znate. Upravo sada, dok ovo čitate, AI botovi iz OpenAI-a, Anthropica, Googlea, Perplexityja i Mete pretražuju vaše stranice. Čitaju vaš sadržaj, procjenjuju strukturu vaše stranice i odlučuju zaslužuje li vaš brend da se pojavi kada netko od AI asistenta zatraži preporuku.

A evo i problema: vaši analitički alati ne mogu vidjeti ništa od toga.

Google Analytics filtrira promet botova. Osmišljen je da prikazuje samo ljudske posjetitelje. To je imalo smisla prije deset godina. Nema smisla sada, kada AI tražilice postaju jedan od glavnih načina na koji ljudi otkrivaju proizvode, usluge i informacije.

Izgradili smo Reauditovu Cloudflare integraciju kako bismo to riješili. Povežite svoj Cloudflare račun i u roku od nekoliko minuta vidjet ćete svaki AI bot koji dotakne vaše web-mjesto, koje stranice posjećuje, koliko se često vraća i koliko vašeg sadržaja konzumira.

Zašto bi vas trebali zanimati AI botovi?

Počnimo od osnova. Kada netko pita ChatGPT "koji je najbolji CRM za male tvrtke?" ili pita Perplexity "koji hoteli u Barceloni imaju najbolje rooftop barove?", AI ne izmišlja odgovore ni iz čega. Crpi iz sadržaja koji je već pretražio i indeksirao.

Ako AI botovi ne pretražuju vaše web-mjesto, vaš se brend neće pojaviti u tim odgovorima. Točka.

To nije teorija. Cloudflareovi podaci pokazuju da AI crawleri sada čine 4,2 % svih HTML zahtjeva globalno, a taj broj raste 300 % iz godine u godinu. Pet AI pružatelja usluga (Google, OpenAI, Meta, Anthropic, Microsoft) generira 84,5 % ukupnog prometa AI crawlera. Ti botovi svakodnevno donose odluke o vašem brendu.

Pitanje nije posjećuju li AI botovi vaše web-mjesto. Gotovo sigurno posjećuju. Pitanje je: što pronalaze? Koje stranice posjećuju? Koje preskaču? I citiraju li doista vaš sadržaj u svojim odgovorima?

Bez uvida u aktivnost botova, nagađate. Uz Cloudflareove podatke u Reauditu, znate.

Što vam Google Analytics ne može reći

GA4 prati posjetitelje pokretanjem JavaScripta na vašim stranicama. Kada čovjek učita vaše web-mjesto, skripta se aktivira i posjet se bilježi. Dovoljno jednostavno.

Ali AI botovi ne pokreću JavaScript. Oni šalju HTTP zahtjeve, preuzimaju vaš HTML i odlaze. GA4 ih nikada ne vidi. To nije problem s konfiguracijom koji možete popraviti. To je temeljno ograničenje načina na koji klijentska analitika funkcionira.

To znači da vaš analitički dashboard možda prikazuje 10 000 mjesečnih posjetitelja, ali stvarni broj subjekata koji pristupaju vašem sadržaju mogao bi biti 2x ili 3x veći kada uključite AI crawlere. A ti su crawleri vjerojatno važniji od mnogih ljudskih posjetitelja jer određuju hoće li milijuni AI korisnika uopće čuti za vaš brend.

Cloudflare djeluje na rubu CDN-a. Nalazi se između interneta i vašeg web-poslužitelja. Svaki pojedinačni zahtjev prolazi kroz njega: ljudi, botovi, crawleri, scraperi, sve. Ništa se ne filtrira. Ništa se ne propušta.

Što ćete vidjeti u Cloudflare dashboardu

Kada povežete Cloudflare s Reauditom, dobivate namjenski analitički dashboard s pet različitih prikaza. Evo što vam svaki od njih govori.

Karta svijeta

Interaktivna karta prikazuje odakle dolazi vaš promet, obojena prema volumenu. Zemlje s više zahtjeva prikazuju se u tamnijim nijansama indigo boje. Prijeđite pokazivačem preko bilo koje zemlje da vidite točne brojke. Rangirana lista pokraj karte prikazuje vaših top 20 zemalja.

To nije samo lijep vizual. Govori vam gdje se vaša publika doista nalazi, uključujući promet botova koji potječe iz podatkovnih centara u određenim regijama. Ako vidite velik promet iz SAD-a, a vaše poslovanje cilja na tržište Ujedinjenog Kraljevstva, to je vrijedno istraživanja. Ako vidite neočekivan promet iz zemalja u kojima ne poslujete, to bi mogli biti AI treninzi iz podatkovnih centara u tim regijama.

Promet kroz vrijeme

Dnevni grafikon prikazuje volumen zahtjeva i broj posjetitelja tijekom odabranog razdoblja (7, 14, 30 ili 90 dana). Pokraj njega, raščlamba statusnih kodova prikazuje distribuciju HTTP odgovora: 200 (uspješno), 301 (preusmjeravanja), 404 (nije pronađeno), 429 (ograničenje brzine) i 500 (pogreške poslužitelja).

Zašto je to važno? Skok 404 pogrešaka od AI botova znači da pokušavaju pristupiti stranicama koje ne postoje, vjerojatno starim URL-ovima koji su promijenjeni tijekom redizajna web-mjesta. Svaki 404 propuštena je prilika za AI indeksiranje. Skok 429 znači da vaš poslužitelj ili Cloudflareova pravila ograničavaju brzinu AI crawlera, što bi vas moglo koštati AI visibilityja.

Praćenje pretraživanja AI botova

Ovo je značajka koja mijenja sve. Vidite jasnu raščlambu toga koji AI botovi posjećuju vaše web-mjesto:

  • GPTBot - OpenAI-jev crawler, koji se koristi za treniranje i ažuriranje ChatGPT-a

  • ClaudeBot - Anthropicov crawler za Claude

  • PerplexityBot - Perplexityjev crawler za pretraživanje u stvarnom vremenu

  • Google-Extended - Googleov crawler za AI treniranje (odvojen od uobičajenog Googlebota)

  • Meta-ExternalAgent - Metin AI crawler

  • Bytespider - ByteDanceov crawler

Za svaki bot vidite koliko zahtjeva šalje dnevno, koje stranice posjećuje najčešće i kako se njegova aktivnost kreće tijekom vremena. Ovi podaci odgovaraju na pitanja na koja prije niste mogli odgovoriti:

  • Je li ChatGPT uopće svjestan vašeg web-mjesta?

  • Koje vaše stranice Perplexity smatra najvrjednijima?

  • Je li vaš nedavni blog post preuzet od strane AI crawlera?

  • Postoji li bot koji je nekada često posjećivao, ali je prestao? (To je crvena zastava.)

AI referentni promet

Kada netko postavi pitanje AI asistentu i AI u svoj odgovor uključi poveznicu na vaše web-mjesto, klik koji iz toga proizađe pojavljuje se kao AI referral traffic. To je metrika koja povezuje indeksiranje AI botova sa stvarnim poslovnim rezultatima.

Možete vidjeti koje AI platforme šalju najviše prometa, pratiti trendove tijekom vremena i identificirati koje stranice pretvaraju AI referral posjetitelje u kupce. U Q1 2026. AI-referral sesije porasle su 42% na godišnjoj razini za e-commerce stranice. Ako ne pratite ovaj kanal, propuštate rastući izvor kvalificiranog prometa.

Prijenos podataka po botu

Svaki AI crawler troši propusnost kada preuzima vaše stranice. Ovaj prikaz pokazuje točno koliko podataka svaki bot povlači. AI botovi sada troše u prosjeku 1,8 GB na milijun zahtjeva, što je 12% više nego 2024.

Za većinu web-mjesta taj je trošak propusnosti zanemariv. No ako vodite veliku content stranicu s tisućama stranica ili poslužujete velike medijske datoteke, znanje o tome koji botovi troše najviše propusnosti pomaže vam donijeti informirane odluke o pristupu indeksiranju i serverskim resursima.

Stvarni primjeri onoga što tvrtke otkriju

Kada tvrtke prvi put povežu Cloudflare s Reauditom, gotovo uvijek otkriju iznenađenja. Ovo su obrasci koje redovito viđamo:

Problem blokiranog bota. Jedna SaaS tvrtka otkrila je da je njihova robots.txt datoteka blokirala GPTBot na cijelom odjeljku /docs, najvrjednijem sadržaju na njihovom web-mjestu za AI citiranje. Nakon ispravljanja pravila, obujam AI citiranja porastao je 27% unutar dva tjedna.

Zanemarene stranice proizvoda. Jedan e-commerce brend otkrio je da AI botovi intenzivno indeksiraju njihove blog postove, ali gotovo nikada ne posjećuju stranice proizvoda. Stranice proizvoda nisu imale strukturirane podatke i imale su oskudne opise. Nakon dodavanja FAQ schema i proširenja opisa proizvoda, učestalost indeksiranja tih stranica botovima se utrostručila.

Zaostatak za konkurencijom. Jedna B2B tvrtka usporedila je aktivnost AI botova (putem Reauditove analitike) s onim što je znala o AI visibility konkurenata. Otkrili su da konkurenti dobivaju 3x više GPTBot indeksiranja. Razlika? Konkurenti su implementirali JSON-LD strukturirane podatke i održavali aktivan blog. Tvrtka je dodala oboje i uočila porast aktivnosti botova unutar nekoliko tjedana.

Katastrofa pri migraciji. Jedna tvrtka migrirala je svoje web-mjesto na novi CMS i nije shvatila da je migracija pokvarila njihov sitemap i stvorila stotine lanaca preusmjeravanja. Učestalost indeksiranja AI botova pala je 80% preko noći. Bez Cloudflare nadzora, ne bi to primijetili mjesecima. S njim, uhvatili su problem u nekoliko dana i riješili ga prije nego što su izgubili značajnu AI visibility.

Pet stvari koje biste trebali učiniti nakon povezivanja

Kada vaši Cloudflare podaci počnu pritjecati u Reaudit, evo kako ostvariti trenutnu vrijednost:

  1. Provjerite svoj robots.txt. Uvjerite se da slučajno ne blokirate AI crawlere na svojim najvažnijim stranicama. Mnoge zadane konfiguracije robots.txt blokiraju botove za koje zapravo želite da indeksiraju vaše web-mjesto.

  2. Identificirajte svoje najindeksiranije stranice. To su stranice koje AI smatra najvrjednijima. Uvjerite se da su ažurne, dobro strukturirane i da sadrže informacije koje želite da AI citira.

  3. Potražite praznine. Ako se važne stranice (stranice proizvoda, usluga, cijene) ne indeksiraju, potrebno im je bolje interno povezivanje, strukturirani podaci ili sadržajniji tekst.

  4. Pratite trend. Provjeravajte tjedno. Aktivnost AI botova trebala bi biti stabilna ili rasti. Nagli pad znači da se nešto pokvarilo i da morate istražiti.

  5. Pratite AI preporuke do konverzija. Povežite točke između AI visibility i prihoda. Kada možete pokazati da se AI referral promet konvertira po određenoj stopi, možete donositi informirane odluke o ulaganju u sadržaj usmjeren na AI.

Kako se povezati u pet minuta

Postavljanje je jednostavno:

  1. Prijavite se u svoj Cloudflare dashboard i izradite API Token. Dodijelite mu dozvole "Zone Read" i "Analytics Read". (Ako želite, možete umjesto toga koristiti svoj Global API Key.)

  2. U Reauditu idite na Tools i kliknite na Cloudflare karticu.

  3. Zalijepite svoj token, odaberite svoju domenu i kliknite Connect.

  4. Vaši podaci pojavljuju se unutar nekoliko minuta. Bez izmjena koda. Bez izmjena DNS-a. Bez čekanja.

Cloudflare podaci spajaju se u Reauditov Analytics Hub uz sve ostale alate koje ste povezali (GA4, Search Console, Bing Webmaster Tools, Clarity). Jedan dashboard za sve.

Često postavljana pitanja

Trebam li plaćeni Cloudflare plan?
Ne. Integracija radi s Cloudflareovim besplatnim planom. Analitički API dostupan je na svim razinama.

Hoće li ovo usporiti moje web-mjesto?
Nikako. Integracija samo čita analitičke podatke iz Cloudflareovog API-ja. Ne dodaje skripte na vaše web-mjesto, ne mijenja vaše stranice niti na bilo koji način utječe na vrijeme učitavanja stranica.

Jesu li moji podaci sigurni?
Vaš API token šifrira se prije pohrane. Reaudit pristupa samo agregiranim analitičkim podacima, nikada sirovim zapisima zahtjeva ili osobnim podacima posjetitelja. Integracija je usklađena s GDPR-om.

Što ako ne koristim Cloudflare?
Ako vaše web-mjesto nije na Cloudflareu, aktivnost AI botova možete i dalje pratiti putem Reauditovog WordPress plugina, Webflow integracije ili Wix integracije. One rade na razini aplikacije, a ne na rubu CDN-a, pa prikupljaju nešto manje podataka, ali i dalje prikazuju aktivnost AI botova koju GA4 propušta.

Po čemu se ovo razlikuje od provjere Cloudflareovog vlastitog dashboarda?
Cloudflareov izvorni dashboard prikazuje sirove podatke o prometu. Reaudit dodaje sloj specifičan za AI: identificira AI botove po imenu, prati njihovo ponašanje tijekom vremena, povezuje aktivnost indeksiranja s AI citiranjima i spaja sve u jedinstveni analitički prikaz s vašim ostalim marketinškim podacima.

Mogu li vidjeti povijesne podatke?
Podatke možete pregledavati za posljednjih 7, 14, 30 ili 90 dana. Dashboard se ažurira pri svakom pregledu i ne zahtijeva potpuno ponovno učitavanje stranice pri promjeni vremenskog razdoblja.

AI visibility vašeg brenda počinje ovdje

AI pretraživanje ne dolazi. Ono je već tu. ChatGPT ima više od 200 milijuna tjedno aktivnih korisnika. Perplexity obrađuje milijune upita dnevno. Google AI Overviews pojavljuju se na sve većem postotku rezultata pretraživanja. Svaka od tih platformi oslanja se na botove kako bi odlučila koje će brendove preporučiti.

Možete nagađati pronalaze li ti botovi vaš sadržaj ili to možete znati. Reauditova Cloudflare integracija daje vam to znanje u pet minuta.

Povežite svoj Cloudflare račun još danas i vidite što AI botovi doista rade na vašem webu.

Pokrenite besplatni AI SEO audit | Provjerite svoj AI visibility score | Pogledajte planove

Share this article
Izradite objavu za društvene mreže uz Broadcast