Koliko često pretražujući nešto na Google-u samo pročitate (onaj novi) AI Overview? Ako ste kao većina ljudi, verovatno pročitate na vrhu stranice pametan, samouveren odgovor koji zvuči kao da ga je napisao profesor sa Harvarda. Zatim, klimnete glavom i nastavite dalje. Zar ne? Problem je samo što se ispostavlja da taj „pametni sažetak“ greši mnogo češće nego što bismo voleli da verujemo.
Nedavna analiza je pokazala da Google-ovi AI sažetak (AI Overviews) širi dezinformacije u razmerama koje su možda bez presedana u ljudskoj istoriji.
Milijarde pogrešnih odgovora godišnje
Analizu je sprovela AI startap kompanija Oumi i pokazala je da su ovi AI-generisani sažeci, koji se pojavljuju iznad rezultata pretrage, tačni u oko 91% slučajeva.
Da, deluje impresivno. Ali da postavimo stvari ovako. Google svake godine obradi pet triliona pretraga. Među njima, znači, ima 500 milijardi pogrešnih odgovora (sažetaka). Računica dalje kaže da Google AI Overview ponudi i desetine miliona pogrešnih odgovora na sat i stotine hiljada po minutu.
Drugim rečima, Google je stvorio krizu dezinformacija. Istraživanja pokazuju da ljudi imaju tendenciju da bez preispitivanja veruju onome što AI kaže. Jedan izveštaj navodi da samo 8% korisnika zapravo proverava odgovore. Drugi eksperiment je pokazao da korisnici slede AI čak i kada daje pogrešne odgovore u skoro 80% slučajeva, zabrinjavajući trend koji istraživači nazivaju „kognitivna predaja“.
Širi dezinformacije, ali se unapređuje
Oumi je sproveo analizu koristeći test nazvan SimpleQA, široko korišćen standard za merenje tačnosti AI sistema u industriji, koji je osmislio OpenAI. Prva runda testiranja, sprovedena u oktobru, koristila je verziju AI sažetaka zasnovanu na modelu Gemini 2. Naknadno testiranje u februaru analiziralo je funkciju nakon prelaska na Gemini 3, njegovu unapređenu verziju.
Svaka runda testiranja uključivala je 4.326 Google pretraga. Gemini 3 se pokazao preciznijim modelom, sa 91% tačnih odgovora, dok je Gemini 2 bio znatno slabiji, sa 85% tačnosti.
S jedne strane, to pokazuje da se modeli unapređuju. S druge, pokazuje da je Google bio spreman da korisnicima ponudi model skloniji „halucinacijama“, u eksperimentu koji i dalje dezinformiše stotine miliona ljudi.
„Ova studija ima ozbiljne nedostatke“
Google je analizu nazvao manjkavom. „Ova studija ima ozbiljne nedostatke“, rekao je portparol kompanije, dodajući da ne odražava stvarne korisničke pretrage.
Ipak, čak ni Google-ova interna testiranja ne izgledaju mnogo bolje. U jednoj analizi modela Gemini 3 utvrđeno je da daje netačne informacije u 28% slučajeva. Google tvrdi da su AI sažeci precizniji jer koriste rezultate pretrage kao osnovu za odgovore.
Poboljšanje između Gemini 2 i Gemini 3 možda prikriva dublji problem. U Oumi analizi, Gemini 2 je u 37% slučajeva davao „neutemeljene“ odgovore, odnosno citirao izvore koji ne podržavaju iznete tvrdnje. Kod Gemini 3 taj procenat je porastao na 56%. Osim što sugeriše da AI „izmišlja“ činjenice, ovakvi odgovori dodatno otežavaju korisnicima da provere tačnost informacija.
