Generiranje prošireno pretraživanjem (, RAG) jeste tehnika u umjetnoj inteligenciji i obradi prirodnog jezika koja spaja pronalaženje informacija s generiranjem prirodnog jezika. Ovaj pristup omogućava da veliki jezički model pri sastavljanju odgovora koristi vanjske izvore, a ne samo podatke sadržane u vlastitim parametrima. U osnovi postupka nalazi se dohvaćanje relevantnih dokumenta, odlomaka ili zapisa iz baze podataka, vektorskog indeksa, grafa znanja ili drugog korpusa. Ti podaci dodaju se u kontekst upita, nakon čega ih model koristi pri oblikovanju odgovora. Tehnika se najčešće primjenjuje u sistemima za odgovaranje na pitanja, čet-botovima, pretraživačkim alatima, poslovnoj inteligenciji i internim asistentima za organizacijsko znanje.
Princip rada
Naziv je šire uveden radom Patricka Lewisa i saradnika iz 2020, u kojem je opisan model koji kombinuje parametarsku memoriju jezičkog modela s neparametarskom memorijom u obliku gustog vektorskog indeksa Wikipedije. U tipičnom sistemu dokumenti se najprije razlažu na manje cjeline, pretvaraju u vektorske prikaze i pohranjuju u indeks pogodan za semantičko pretraživanje. Upit korisnika obrađuje se na sličan način, pa pretraživački modul pronalazi zapise koji su mu semantički ili leksički najbliži. Pronađeni kontekst zatim se umeće u prompt, a generativni model iz njega sastavlja odgovor u prirodnom jeziku. U jednostavnim izvedbama isti skup odlomaka koristi se za cijeli odgovor, dok naprednije arhitekture mogu pretraživati više puta, preformulirati upit, ponovno rangirati rezultate ili birati drugačiji kontekst za različite dijelove generiranja.
Poboljšanja i evaluacija
Kasniji razvoj usmjeren je na tri dijela sistema: kvalitet pretraživanja, način uključivanja dohvaćenog konteksta i sposobnost modela da izbjegne tvrdnje koje izvori ne podržavaju. Za pretraživanje se koriste leksičke metode poput TF-IDF-a i BM25, gusti vektorski prikazi, rijetki vektori, hibridna pretraga i modeli za ponovno rangiranje rezultata. Radovi o savremenom pronalaženju teksta pokazuju da rijetke, guste i pažnjom zasnovane reprezentacije imaju različite prednosti, pa se u praksi često kombinuju radi bolje preciznosti i odziva. Efikasna pretraga odlomaka dodatno se poboljšava modelima kasne interakcije, kao što je ColBERT, koji preciznije porede upit i dokument nakon početnog kodiranja. Sistemi se često evaluiraju odvojeno za pretragu i generiranje, pri čemu se koriste skupovi kao što su BEIR za nultu evaluaciju modela pronalaženja informacija i Natural Questions za odgovaranje na pitanja na osnovu stvarnih pretraživačkih upita.
Primjena i ograničenja
Glavna prednost postupka jeste mogućnost uključivanja ažurnih, domenski specifičnih ili interno pohranjenih informacija bez ponovnog treniranja cijelog modela. Zbog toga se koristi u veb-pretraživačima, tehničkoj podršci, pravnoj i medicinskoj pretrazi, obradi naučnih članaka, analizi dokumenata i sistemima koji moraju prikazati izvore svojih tvrdnji. U zdravstvu se proučava kao način povezivanja jezičkih modela s medicinskim bazama znanja, ali pregledi naglašavaju da ostaju otvoreni problemi evaluacije, etike, privatnosti i kliničke pouzdanosti.
Iako smanjuje rizik od halucinacija, ne uklanja ga u potpunosti, jer model može pogrešno protumačiti tačan izvor, spojiti proturječne odlomke ili odgovoriti na osnovu nerelevantnog konteksta. Poseban sigurnosni problem predstavlja trovanje korpusa ili umetanje zlonamjernih instrukcija u dokumente koje sistem kasnije dohvaća kao kontekst.
Reference
Kategorija:Vještačka inteligencija Kategorija:Mašinsko učenje