AI (bukvalno) jede knjige: Uništavanje antikvarnih knjiga za treniranje LLM-ova

Možda nekom, čitajući ovu vest, padne na pamet roman Reja Bredberija iz 1953. godine „Farenhajt 451“ koji govori o distopijskom društvu u kome se zabranjuje kritičko mišljenje i u kome postoje „vatrogasci“ koji traže i pale knjige. I neće biti u krivu. Samo što su „vatrogasci“ budućnosti oni koji vode AI kompanije.

Knjige su vekovima bile simbol znanja, kulture i mašte. U eri veštačke inteligencije postale su sirovina. Dok čitaoci pažljivo okreću stranice, AI kompanije ih sve češće seku hidrauličnim mašinama, skeniraju i pretvaraju u „hranu“ za svoje modele. Ironija je potpuna. Umesto da knjige oblikuju ljude, danas ljudi uništavaju knjige kako bi oblikovali veštačku inteligenciju.

Za kreatore velikih jezičkih modela (LLM), knjige predstavljaju samo ogromnu količinu podataka koju treba „progutati“, obraditi i pretvoriti u materijal za treniranje AI sistema. Kada mogu, koriste digitalna izdanja ili, još bolje, piratske kopije, kao što je Meta optužena da je radila. Anthropic je, s druge strane, zbog slične prakse pristao na nagodbu vrednu 1,5 milijardi dolara sa autorima čija su dela korišćena bez dozvole.

Međutim, mnoge kompanije, uključujući Anthropic, pronašle su još jedan način, kupovinu fizičkih knjiga.

Knjige kao sirovina

Prema sudskim dokumentima, kompanija je masovno kupovala polovne primerke, a zatim koristila hidrauličnu mašinu koja je precizno odvajala stranice od poveza. Nakon toga, stranice su skenirane profesionalnom opremom visoke rezolucije i pretvarane u digitalni tekst koji je služio za obuku AI modela. Drugim rečima, knjige su doslovno sečene i uništavane kako bi veštačka inteligencija mogla da „nauči“ njihov sadržaj.

Ovakva praksa oslanja se na pravni princip poznat kao doktrina prve prodaje (first-sale doctrine), prema kojoj kupac može slobodno da raspolaže kupljenim primerkom dela bez saglasnosti nosioca autorskih prava. Sud je zaključio da je pretvaranje fizičke knjige u digitalni zapis „transformativna upotreba“, a ne pravljenje novih kopija za prodaju, zbog čega je postupak zaštićen pravilima o poštenoj upotrebi (fair use).

Prema pisanju portala 404 Media, ovaj način nabavke podataka postao je toliko rasprostranjen da su i etablirani trgovci knjigama počeli da ga koriste kao novu poslovnu priliku.

Pomažu kupovinu od 1000 do milion knjiga

Jedna od takvih kompanija je ISBNdb, koja sebe predstavlja kao vlasnika „najveće baze podataka o knjigama na svetu“. Ona otvoreno tvrdi da se „najbolji podaci za treniranje AI modela nalaze na policama sa knjigama“.

Kako navode, štampane knjige objavljene pre ere velikih jezičkih modela imaju veliku prednost jer nisu „kontaminirane“ tekstovima koje je generisala veštačka inteligencija.

„Štampane knjige iz perioda pre pojave LLM modela garantovano su oslobođene takve kontaminacije. To je ogromna prednost“, navodi kompanija.

Nekada usmerena na pomoć bibliotekama, distributerima i knjižarama, ISBNdb danas pomaže AI kompanijama da odjednom kupe između 1.000 i čak milion knjiga.

Pored toga, obećava i diskreciju.

Kompanija naglašava da će identitet kupaca ostati anoniman, očigledno svesna koliko cela praksa može izgledati problematično u javnosti.

„Problem sa imidžom je stvaran. Naslov ‘AI kompanija uništila dva miliona knjiga’ sigurno neće izazvati simpatije“, navodi se na njihovom sajtu.

Dilema vlasnika knjižara

Jedan prodavac polovnih knjiga izjavio je da je u aprilu iznenada prešao sa prodaje dvadesetak knjiga nedeljno na nekoliko stotina primeraka. Gotovo je siguran da iza kupovina stoje AI kompanije, jer se naručuju potpuno nasumični naslovi, a zajedničko im je jedino to što svi imaju ISBN broj.

Njegov lager sadrži veliki broj retkih i rasprodatih izdanja, zbog čega veruje da bi neke od poslednjih sačuvanih kopija mogle završiti pod noževima industrijskih mašina.

„Imam pomešana osećanja. Finansijski mi odgovara jer konačno prodajem knjige koje su godinama skupljale prašinu. Posebno se traže strani i retki naslovi. Ali ne sviđa mi se njihova krajnja namena, niti činjenica da se uništavaju knjige koje je gotovo nemoguće ponovo pronaći“, rekao je on za 404 Media.

Slična situacija beleži se i među trgovcima antikvarnim knjigama u Holandiji, koji poslednjih meseci dobijaju neuobičajeno velike porudžbine za koje sumnjaju da dolaze upravo iz AI industrije.

Naravno, niko to ne može sa sigurnošću da potvrdi.

Posrednici poput ISBNdb-a kupce drže anonimnim, pa prodavci uglavnom mogu samo da nagađaju ko zapravo stoji iza narudžbina.

Ipak, mnogi smatraju da sve ukazuje na isti trend, da veštačka inteligencija više ne „čita“ knjige. Ona ih doslovno rastavlja na delove kako bi od njih izgradila novu generaciju svojih modela.