Da biste pratili koji AI agenti posjećuju vaše web-mjesto, potrebna vam je agent analytics: sustav koji identificira AI crawlere (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) i AI referral promet (ljudske posjetitelje iz ChatGPT-a, Perplexityja, Copilota) koristeći slojevite izvore podataka poput Cloudflare edge logova, GA4 i JavaScript trackera. Reaudit pruža ovu objedinjenu platformu koja vam pokazuje koji agenti crawlaju vaše stranice, što citiraju, gdje ne uspijevaju i kako optimizirati za njih.
Što je agent analytics?
Agent analytics je disciplina praćenja i analize ne-ljudskih AI agenata, LLM crawlera, retrieval botova i AI-pokretanih preglednika kako biste mogli vidjeti:
Koji AI agenti posjećuju vaše web-mjesto (npr. GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended)
Što crawlaju, pretražuju i citiraju s vaših stranica
Gdje ne uspijevaju, odbijaju se ili im istekne vrijeme
Koji ljudski posjetitelji dolaze putem AI referrala iz ChatGPT-a, Perplexityja, Copilota ili drugih AI površina
Kako optimizirati svoje web-mjesto da agenti razumiju, preporučuju i šalju vam više prometa s visokom namjerom
Proširuje klasičnu web analitiku (sesije, konverzije) na agent web, gdje su autonomni AI sustavi sada primarni korisnik koji crawlaju vaš sadržaj i odlučuju hoće li ga ljudi uopće vidjeti.
Zašto je agent analytics sada važan
Salesforce je procijenio da je promet koji su uputili AI i agenti činio 21% svih globalnih blagdanskih narudžbi u sezoni 2023.-24., što predstavlja 263 milijarde dolara prodaje. Kupci koji dolaze s generativnih AI platformi dvostruko su skloniji kupnji od posjetitelja iz drugih izvora. Za brendove, posebno u SaaS-u, e-trgovini i digitalnim agencijama, ignoriranje agent prometa znači ostavljanje prihoda na stolu.
Tradicionalni alati za analitiku poput Google Analyticsa tretiraju AI crawlere kao šum. Filtriraju bot promet pa nikada ne vidite 50+ LLM botova koji svakodnevno posjećuju vaše web-mjesto. U međuvremenu, AI referralli (ljudski klikovi iz AI odgovora) često se pojavljuju kao izravni promet, skrivajući svoj pravi izvor. Agent analytics to rješava čineći oboje vidljivim.
AI crawl vs. AI referral: ključna razlika
Razumijevanje razlike između AI crawla i AI referralla ključno je za optimizaciju.
AI crawl (posjet agenta)
Bot ili agent GPTBot, ClaudeBot, PerplexityBot posjećuje vaše web-mjesto kako bi indeksirao, dohvatio ili provjerio informacije. Možda se nikada neće pojaviti kao ljudska sesija u GA4 jer je to ne-ljudski promet. Ishod: vaš sadržaj postaje dio baze znanja koju LLM-ovi mogu citirati u budućim odgovorima.
AI referral (ljudski posjet iz AI-a)
Ljudski korisnik postavlja pitanje LLM-u, AI prikazuje ili citira vaše web-mjesto, a korisnik klikne. To se pojavljuje kao ljudska sesija, ali izvor namjere je AI, a ne Google ili izravno. Ti posjetitelji konvertiraju po višim stopama jer ih je AI prethodno kvalificirao.
Oboje je važno. Ako pratite samo crawlove, znate da vas se vidi, ali ne i pretvara li se ta vidljivost u promet ili prihod. Ako pratite samo referralle, propuštate zašto određene stranice dobro funkcioniraju s agentima. Agent analytics povezuje to: koji su agenti crawlali koje stranice, koje se stranice citiraju i koje citacije pokreću stvarne ljudske posjete i konverzije.
Glavni AI crawler user-agenti i što rade
AI crawler / agent | Tipični uzorak user-agenta | Što radi na vašem web-mjestu |
|---|---|---|
OpenAI GPTBot | GPTBot | Crawla stranice kako bi OpenAI modeli (ChatGPT) mogli učiti iz vašeg sadržaja i referirati se na njega u odgovorima. |
OpenAI ChatGPT-User | ChatGPT-User | Dohvaća određene stranice u stvarnom vremenu kada ChatGPT korisnik otvori poveznicu ili dodatak pristupi vašem web-mjestu. |
Anthropic ClaudeBot | ClaudeBot | Indeksira sadržaj koji Claude modeli koriste za retrieval i QA; poštuje robots.txt. |
PerplexityBot | PerplexityBot | Crawla i snima stranice koje Perplexity AI koristi za odgovaranje na pitanja uz citate uživo s weba. |
Google-Extended | Google-Extended | Mehanizam za odustajanje kojim web-mjesta kontroliraju korištenje sadržaja za AI treniranje i generativne značajke. |
Reaudit ispravno detektira i klasificira te user-agente u vašim logovima, prikazuje trendove volumena tijekom vremena i ističe koji crawleri pokreću nizvodne citacije i referralle.
Kako početi pratiti AI agente s Reauditom
Reaudit operacionalizira agent analytics kroz integraciju korak po korak koja se postavlja u nekoliko minuta.
1. Povežite svoje edge podatke (Cloudflare)
Omogućite Reauditu pristup Cloudflare logovima kako bi mogao vidjeti sve hitove na rubu mreže, uključujući promet koji se nikada ne pojavi u GA4 jer je blokiran, cachiran ili filtriran kao bot. To vam daje vjerodostojne brojke AI crawla i njihovih user-agenta.
2. Sinkronizirajte svoj GA4 property
Povežite svoj Google Analytics 4 property kako bi Reaudit mogao pripisati sesije i konverzije AI izvorima preporuka gdje je to moguće otkriti, usporediti promet agenata s ljudskim prometom i benchmarkirati stope konverzije posjetitelja koji dolaze preko AI preporuka u odnosu na druge kanale.
3. Instalirajte JavaScript tracker
Dodajte Reauditov JS snippet u predložak svoje stranice. Time se prikupljaju client-side metapodaci o posjetima koji se prikazuju kao izravni, ali potječu s AI površina, te se bilježe front-end događaji koje edge logovi propuštaju.
4. Omogućite AI Crawler & Agent Detection
Reaudit parsira user-agent stringove i poznate IP obrasce kako bi klasificirao LLM crawlere (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) i AI pokretane preglednike. Normalizira ih u čistu Agent dimenziju za analizu.
5. Aktivirajte AI Referral Tracking
Konfigurirajte pravila izvora i UTM obrasce kako bi Reaudit mogao označiti promet kao ChatGPT/OpenAI, Perplexity, Bing Copilot i druge AI asistente. To omogućuje izvještaje o posjetima, konverzijama i prihodu prema AI izvoru preporuke.
6. Uključite Page Citation Tracking
Reaudit prati koje se vaše stranice pojavljuju kao citati ili reference u AI odgovorima na glavnim površinama (ChatGPT, Perplexity, Claude, Gemini). Dobivate pregled na razini stranice: crawled → cited → clicked → converted.
7. Pratite Agent Failures i mogućnosti optimizacije
Koristite Reaudit dashboarde za pregled stranica s velikim obujmom AI crawla, ali malim obujmom citiranja/preporuka (agenti ih vide, ali im ne vjeruju niti ih koriste) i stranica koje se često crawlaju prije nego što agenti odustanu (ne mogu pronaći strukturirane odgovore). Iterirajte sadržaj i tehnički SEO kako biste zatvorili te nedostatke.
Kako biste vidjeli koji AI agenti već posjećuju vašu stranicu i koliko prihoda donose, povežite svoj stack na reaudit.io.
Stvarni podaci: što možete očekivati
U studiji slučaja s 3dplotter.xyz, Reaudit je pratio 726 AI spominjanja i 11.204 citata na glavnim AI engineima. Platforma je identificirala da je PerplexityBot crawlao stranicu 4x više od GPTBota, no GPTBot citati donijeli su 60% AI prometa preko preporuka. Takav uvid omogućuje vam da prioritizirate napore optimizacije: popravite ono što agenti stvarno koriste, a ne samo ono što se najviše crawla.
Izvan detekcije: optimizacija za agente
Nakon što identificirate promet AI botova na svojoj stranici, sljedeći je korak optimizacija. AI agent detection za web-stranice koristan je samo ako postupate prema podacima. Reauditova full-stack platforma nadilazi monitoring i pomaže vam generirati sadržaj koji osvaja citate, objaviti ga sa strukturiranim podacima i mjeriti utjecaj na AI visibility.
Koristite AI Crawler URL Inspector kako biste točno vidjeli što ChatGPT, Claude i Perplexity izvlače s vaših stranica. Zatim primijenite te uvide za poboljšanje AI-readability svog sadržaja.
Zaključak: Agent web je tu
AI agenti već su glavni sloj otkrivanja i konverzije. Uz 39% potrošača koji koriste AI za pronalaženje proizvoda i kupce koji dolaze preko AI preporuka s dvostruko većom stopom konverzije od ostalih posjetitelja, praćenje AI crawlera koji posjećuju vašu web-stranicu više nije opcionalno. Reaudit vam daje platformu za agent analytics za praćenje, razumijevanje i optimizaciju ovog novog izvora prometa.
Često postavljana pitanja
Kako znam scrapeaju li AI agenti moju stranicu?
Možete provjeriti server logove ili edge logove (Cloudflare) za user-agent stringove poput GPTBot, ClaudeBot, PerplexityBot i Google-Extended. Alternativno, koristite alat poput Reaudita koji automatski detektira i klasificira 50+ AI agenata te vam pokazuje koje stranice crawlaju i koliko često.
Koja je razlika između AI crawla i AI preporuke?
AI crawl je bot koji posjećuje vašu stranicu kako bi indeksirao sadržaj za LLM. AI preporuka je ljudski korisnik koji klikne link na vašu stranicu iz AI odgovora. Oboje je važno: crawlovi grade prisutnost u bazi znanja, a preporuke donose promet visoke namjere.
Može li Google Analytics detektirati AI agente?
GA4 prema zadanim postavkama filtrira bot promet, pa ne prikazuje posjete AI crawlera. Također često pogrešno pripisuje promet od AI preporuka kao izravan. Za točnu detekciju AI agenata potreban vam je alat koji analizira sirove logove ili edge podatke, poput Reaudita.
Koji su najčešći AI crawleri?
Najčešći AI crawleri su GPTBot (OpenAI), ChatGPT-User (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity) i Google-Extended. Svaki ima specifičan user-agent string i svrhu, od indeksiranja do real-time dohvaćanja.
Kako blokirati AI crawlere na svojoj stranici?
AI crawlere možete blokirati pomoću robots.txt direktiva, poput Disallow za GPTBot ili PerplexityBot. Međutim, blokiranje znači da se vaš sadržaj neće pojavljivati u AI odgovorima. Većina brendova radije optimizira za AI visibility umjesto da blokira.
Što je agent analytics?
Agent analytics je praksa praćenja i analize ne-ljudskih AI agenata — crawlera, botova i AI pokretanih preglednika — kako bi se razumjelo kako komuniciraju s vašom web-stranicom, što citiraju i kako pokreću ljudski promet i konverzije.
Kako mogu pratiti promet od AI preporuka?
Koristite alat poput Reaudita koji detektira AI izvore preporuka analizom UTM parametara, obrazaca referrera i client-side podataka. Može označiti promet iz ChatGPT-a, Perplexityja, Copilota i drugih AI platformi, dajući vam jasne izvještaje o posjetima i konverzijama.
Zašto je promet od AI preporuka vrjedniji?
Salesforce je otkrio da kupci koji dolaze s generativnih AI platformi imaju dvostruko veću vjerojatnost kupnje od posjetitelja iz drugih izvora. AI unaprijed kvalificira korisnike, pa promet iz AI odgovora ima veću namjeru i stope konverzije.
Radi li Reaudit s Cloudflareom i GA4?
Da, Reaudit se integrira s Cloudflare edge logovima za vjerodostojne podatke o obujmu crawlova i s GA4 za atribuciju sesija i konverzija. Također koristi JavaScript tracker za praćenje ponašanja na strani klijenta i AI preporuka koje se pojavljuju kao izravni promet.
Što trebam učiniti nakon što identificiram AI agente na svojoj stranici?
Optimizirajte svoj sadržaj za AI čitljivost: koristite strukturirane podatke, jasne naslove, točne činjenice i FAQ sheme. Pratite koje stranice agenti citiraju, a koje ignoriraju, zatim iterirajte. Reauditova platforma pomaže vam generirati, objavljivati i mjeriti sadržaj optimiziran za AI.
Često postavljana pitanja
Kako znam scrapeaju li AI agenti moje web-mjesto?
Možete provjeriti zapise poslužitelja ili edge zapise (Cloudflare) za user-agent stringove poput GPTBot, ClaudeBot, PerplexityBot i Google-Extended. Alternativno, koristite alat poput Reaudit koji automatski prepoznaje i klasificira više od 50 AI agenata te vam pokazuje koje stranice crawlaju i koliko često.
Koja je razlika između AI crawla i AI referala?
AI crawl je bot koji posjećuje vaše web-mjesto kako bi indeksirao sadržaj za LLM. AI referral je ljudski korisnik koji klikne poveznicu na vaše web-mjesto iz AI odgovora. Oba su važna: crawlovi grade prisutnost u bazi znanja, a referali donose promet visoke namjere.
Može li Google Analytics prepoznati AI agente?
GA4 prema zadanim postavkama filtrira bot promet, pa ne prikazuje posjete AI crawlera. Također često pogrešno pripisuje AI referral promet kao izravan. Za točno prepoznavanje AI agenata potreban vam je alat koji analizira sirove zapise ili edge podatke, poput Reaudit.
Kako blokirati AI crawlere na svom web-mjestu?
AI crawlere možete blokirati pomoću robots.txt direktiva, poput Disallow za GPTBot ili PerplexityBot. Međutim, blokiranje znači da se vaš sadržaj neće pojavljivati u AI odgovorima. Većina brendova radije optimizira za AI visibility nego što blokira.
Kako mogu pratiti AI referral promet?
Koristite alat poput Reaudit koji prepoznaje AI referral izvore analizom UTM parametara, uzoraka referrera i podataka na strani klijenta. Može označiti promet s ChatGPT, Perplexity, Copilot i drugih AI platformi te vam dati jasna izvješća o posjetima i konverzijama.
Zašto je AI referral promet vrijedniji?
Salesforce je otkrio da kupci koji dolaze s generativnih AI platformi imaju dvostruko veću vjerojatnost kupnje od posjetitelja iz drugih izvora. AI unaprijed kvalificira korisnike, pa promet iz AI odgovora ima višu namjeru i stope konverzije.
Radi li Reaudit s Cloudflare i GA4?
Da, Reaudit se integrira s Cloudflare edge zapisima za vjerodostojne podatke o obujmu crawlova i s GA4 za atribuciju sesija i konverzija. Također koristi JavaScript tracker za bilježenje ponašanja na strani klijenta i AI referala koji se pojavljuju kao izravan promet.
Što trebam učiniti nakon što prepoznam AI agente na svom web-mjestu?
Optimizirajte sadržaj za AI čitljivost: koristite strukturirane podatke, jasne naslove, točne činjenice i FAQ sheme. Pratite koje stranice agenti citiraju, a koje ignoriraju, zatim iterirajte. Reaudit platforma pomaže vam generirati, objavljivati i mjeriti sadržaj optimiziran za AI.