mini|desno|360px|Autoenkoder preslikava ulazne podatke u sažetu latentnu reprezentaciju, iz koje ih dekoder pokušava rekonstruirati.
Latentni prostor () apstraktni je matematički prostor u kojem statistički model ili model mašinskog učenja predstavlja podatke pomoću skrivenih, odnosno latentnih varijabli. Svaki podatkovni uzorak u takvom prostoru odgovara tački ili vektoru čije koordinate ne moraju neposredno predstavljati mjerljiva svojstva iz izvornog skupa podataka, nego osobine koje je model izdvojio kao korisne za rekonstrukciju, razlikovanje, grupiranje ili generiranje novih uzoraka.
Latentni prostor obično ima manje dimenzija od izvornog prostora podataka, zbog čega može služiti za redukciju dimenzionalnosti, kompresiju, vizualizaciju i izdvajanje značajki. U generativnim modelima predstavlja prostor iz kojeg se biraju ili u kojem se mijenjaju latentni vektori, a zatim se dekodiranjem pretvaraju u slike, tekst, zvuk, molekule ili druge podatke. Blizina dviju tačaka često označava sličnost odgovarajućih uzoraka, ali geometrija prostora zavisi od arhitekture, funkcije gubitka, podataka za obuku i uvedenih ograničenja.
Pojam se upotrebljava u statistici, obradi signala, računarskom vidu, obradi prirodnog jezika, bioinformatici i drugim oblastima. U klasičnim modelima latentne varijable mogu predstavljati neopažene uzroke ili faktore, dok u dubokom učenju latentne reprezentacije najčešće nastaju kao aktivacije skrivenih slojeva neuronske mreže.
Terminologija
Pridjev "latentan" označava nešto što postoji, ali nije neposredno opaženo ili izmjereno. Latentna varijabla zato nije izravno sadržana u pojedinačnom ulaznom zapisu, nego se zaključuje iz odnosa među opaženim varijablama. Skup mogućih vrijednosti jedne ili više takvih varijabli čini latentni prostor.
U literaturi se koriste i izrazi "prostor latentnih varijabli", "prostor skrivenih reprezentacija", "prostor ugrađivanja" i "reprezentacijski prostor". Ti izrazi nisu uvijek potpuni sinonimi. Ugrađivanje je preslikavanje objekta u vektorsku reprezentaciju, dok latentni prostor može biti određen i vjerovatnosnim modelom koji svakom uzorku ne pridružuje jednu tačku, nego raspodjelu vjerovatnoće.
Izraz se razlikuje i od skrivenog sloja neuronske mreže. Aktivacije svakog skrivenog sloja mogu se posmatrati kao reprezentacijski prostor, ali se latentnim prostorom najčešće naziva sloj ili skup varijabli koji predstavlja sažetu strukturu podataka, naročito usko grlo autoenkodera ili slučajnu varijablu generativnog modela.
U radovima se koristi oblik "latentni prostor", dok se uz njega pojavljuju izrazi "skriveni prostor", "prostor značajki" i "prostor latentnih varijabli".
Matematički opis
Neka je prostor opaženih podataka, naprimjer skup slika predstavljenih vektorima piksela, a latentni prostor. Enkoder je preslikavanje
pri čemu su parametri modela. Za ulazni podatak enkoder proizvodi latentni vektor
Dekoder je preslikavanje
koje iz latentne reprezentacije pokušava dobiti rekonstruirani ili generirani uzorak
Ako je , a , obično vrijedi . Model tada pokušava sačuvati najvažnije informacije iz visokodimenzionalnog ulaza u manjem broju latentnih koordinata. Latentni prostor ipak ne mora biti niskodimenzionalan; kod pojedinih jezičkih i vizuelnih modela broj latentnih koordinata može biti veći od broja izvornih varijabli, dok se korisna struktura postiže rijetkošću, pravilima pažnje ili drugim ograničenjima.
Kod determinističkih modela svaki ulaz obično se preslikava u jednu tačku. Vjerovatnosni modeli uvode raspodjelu latentne varijable , često označenu kao , i uvjetnu raspodjelu podataka . Generiranje se tada sastoji od izbora latentne vrijednosti iz početne raspodjele i stvaranja uzorka prema dekoderu.
Historijski razvoj
Ideja zaključivanja o skrivenim faktorima starija je od savremenog mašinskog učenja. Charles Spearman je početkom 20. stoljeća razvio faktorsku analizu kako bi objasnio korelacije među opaženim varijablama manjim brojem neopaženih faktora. Kasniji statistički modeli, uključujući analizu glavnih komponenti, modele mješavina, skrivene Markovljeve modele i latentnu semantičku analizu, formalizirali su različite oblike skrivenih reprezentacija.
Analiza glavnih komponenti nalazi linearne pravce duž kojih podaci imaju najveću varijansu. Koordinate podataka u odnosu na te pravce mogu se tumačiti kao linearni latentni prostor. Takva reprezentacija pogodna je za kompresiju i vizualizaciju, ali ne može neposredno opisati složene nelinearne odnose.
Razvoj neuronskih mreža omogućio je učenje nelinearnih latentnih reprezentacija. Autoenkoderi su tokom 1980-ih i 1990-ih korišteni za redukciju dimenzionalnosti, a ponovni razvoj dubokih mreža početkom 21. stoljeća omogućio je učenje hijerarhijskih reprezentacija iz velikih skupova podataka.
Varijacijski autoenkoderi i generativne suparničke mreže, predstavljeni tokom 2010-ih, učinili su latentni prostor središnjim dijelom generativnog modeliranja. Naknadni modeli primijenili su slične koncepte na slike visoke rezolucije, govor, muziku, tekst, trodimenzionalne objekte, molekule i multimodalne podatke.
Stvaranje latentnog prostora
Linearne metode
Kod linearnih metoda latentne koordinate dobijaju se linearnom kombinacijom izvornih varijabli. Analiza glavnih komponenti traži ortogonalne ose koje redom objašnjavaju najveću moguću količinu varijanse. Projekcija podataka na prvih nekoliko komponenti daje niskodimenzionalnu reprezentaciju.
Faktorska analiza pretpostavlja da opažene varijable nastaju djelovanjem manjeg broja zajedničkih latentnih faktora i dodatnog šuma. Za razliku od analize glavnih komponenti, izričito razlikuje zajedničku strukturu od varijanse specifične za pojedinu opaženu varijablu.
Matrična faktorizacija rastavlja matricu podataka na umnožak manjih matrica. Upotrebljava se u sistemima preporuke, gdje se korisnici i predmeti predstavljaju vektorima u zajedničkom latentnom prostoru. Blizina ili skalarni proizvod tih vektora može služiti za procjenu vjerovatnoće da će se određenom korisniku svidjeti neki predmet.
Učenje mnogostrukosti
Metode učenja mnogostrukosti polaze od pretpostavke da visokodimenzionalni podaci leže blizu niskodimenzionalne geometrijske strukture, odnosno mnogostrukosti. Algoritmi kao što su Isomap, lokalno linearno ugrađivanje, t-SNE i UMAP pokušavaju sačuvati lokalne ili globalne odnose među uzorcima prilikom preslikavanja u dvije ili tri dimenzije.
Takvi prikazi često se nazivaju latentnim prostorima, ali prvenstveno služe vizualizaciji i istraživanju podataka. Udaljenosti i veličine grupa na dvodimenzionalnom prikazu ne moraju vjerno odražavati sve odnose u izvornom prostoru. Posebno t-SNE može razdvojiti grupe i kada njihova međusobna udaljenost nije statistički značajna.
Autoenkoderi
Autoenkoder se sastoji od enkodera, latentnog sloja i dekodera. Tokom obuke pokušava minimizirati razliku između ulaza i rekonstrukcije . Ako latentni sloj ima ograničen kapacitet, mreža mora naučiti sažetu reprezentaciju koja zadržava informacije potrebne za rekonstrukciju.
Obični autoenkoder nema obavezu da latentne vektore rasporedi pravilno ili neprekidno. Dvije susjedne tačke mogu se dekodirati u veoma različite uzorke, a pojedini dijelovi prostora mogu odgovarati besmislenim izlazima. Zbog toga su razvijeni dodatno regulirani autoenkoderi.
Rijetki autoenkoder potiče model da istovremeno aktivira mali broj latentnih jedinica. Autoenkoder za uklanjanje šuma uči rekonstruirati izvorni uzorak iz namjerno oštećenog ulaza. Kontraktivni autoenkoder kažnjava pretjeranu osjetljivost reprezentacije na male promjene ulaza. Ovi postupci mogu učiniti latentni prostor stabilnijim i korisnijim za druge zadatke.
Varijacijski autoenkoderi
mini|desno|384x384px|Struktura varijacijskog autoenkodera s postupkom reparametrizacije latentne varijable .
Varijacijski autoenkoder vjerovatnosni je generativni model koji za svaki ulaz procjenjuje parametre raspodjele latentne varijable, najčešće srednju vrijednost i varijansu normalne raspodjele. Umjesto jedne fiksne tačke enkoder određuje približnu raspodjelu .
Funkcija gubitka spaja grešku rekonstrukcije s članom koji približnu posteriornu raspodjelu usklađuje s unaprijed izabranom početnom raspodjelom . Uobičajeni oblik cilja jest donja granica dokaza:
gdje je Kullback–Leiblerova divergencija. Prvi član potiče dobru rekonstrukciju, a drugi pravilnije i neprekidnije uređenje latentnog prostora.
Uzorak se generira izborom tačke iz početne raspodjele i njenim prosljeđivanjem kroz dekoder. Postupak reparametrizacije omogućava obuku metodom gradijentnog spusta tako što se slučajno uzorkovanje izražava pomoću vanjske slučajne varijable.
Varijacijski autoenkoderi često stvaraju glađe latentne prostore od običnih autoenkodera, ali mogu davati manje oštre slike ili zanemarivati dio latentnih varijabli. Brojne izvedbe mijenjaju odnos između kvaliteta rekonstrukcije, razdvajanja faktora i vjernosti početnoj raspodjeli.
Generativne suparničke mreže
Generativna suparnička mreža sastoji se od generatora i diskriminatora. Generator preslikava latentni vektor , obično iz jednostavne raspodjele, u podatkovni uzorak, dok diskriminator pokušava razlikovati generirane uzorke od stvarnih. Njihovim suparničkim učenjem generator postupno stvara izlaze slične podacima za obuku.
Latentni prostor takvih mreža može sadržavati pravce povezane s vizuelnim ili semantičkim svojstvima. Pomjeranje vektora duž određenog pravca može mijenjati izraz lica, osvjetljenje, položaj predmeta ili druge osobine generiranog uzorka. Ta tumačenja nisu unaprijed određena i mogu biti isprepletena.
Klasični generator nema ugrađeni enkoder koji stvarni uzorak vraća u latentni prostor. Za pronalaženje odgovarajućeg latentnog vektora koriste se optimizacija, dodatno obučeni enkoderi ili arhitekture koje zajednički uče preslikavanje u oba smjera.
Difuzijski modeli
Difuzijski model uči obrnuti postupak postepenog dodavanja šuma podacima. Rani modeli radili su izravno u prostoru piksela, dok latentni difuzijski modeli najprije autoenkoderom sažimaju sliku u latentni prostor. Difuzijski proces zatim se izvodi nad manjom reprezentacijom, a rezultat se dekodira u sliku.
Rad u latentnom prostoru smanjuje računarske zahtjeve jer model ne obrađuje svaki piksel u svakom koraku. Kvalitet generiranja ipak zavisi od toga koliko dobro autoenkoder čuva pojedinosti i od geometrije njegove reprezentacije.
Jezički modeli i ugrađivanja
U obradi prirodnog jezika riječi, rečenice i dokumenti predstavljaju se vektorima. Modeli kao što su word2vec, GloVe i BERT uče prostore u kojima se semantički ili sintaksički slični izrazi često nalaze blizu jedan drugom.
Kontekstualni jezički modeli ne pridružuju riječi jednom stalnom vektoru. Reprezentacija zavisi od rečenice i položaja riječi, pa isti izraz može zauzimati različite dijelove prostora u različitim kontekstima. Skrivena stanja transformera mogu se posmatrati kao niz latentnih prostora kroz koje se informacije postepeno obrađuju.
Latentni prostor velikih jezičkih modela ne predstavlja nužno neposredno razumljive pojmove. Pojedine značajke mogu biti raspoređene preko velikog broja neurona, dok jedan neuron može učestvovati u predstavljanju više nepovezanih osobina. Metode interpretabilnosti pokušavaju izdvojiti pravce, podprostore i rijetke značajke povezane s određenim konceptima.
Geometrija latentnog prostora
Latentni prostor najčešće se predstavlja kao euklidski vektorski prostor, ali njegova stvarna geometrija može biti znatno složenija. Podaci mogu zauzimati samo mali i zakrivljen dio prostora, dok tačke izvan naučene mnogostrukosti ne odgovaraju vjerovatnim ili smislenim uzorcima.
Udaljenost između vektora često se mjeri euklidskom udaljenošću, kosinusnom sličnošću ili drugim metrikama. Odabrana metrika treba odgovarati načinu na koji je model obučen. Ugrađivanja normalizirana na jediničnu sferu, naprimjer, češće se porede uglom nego euklidskom udaljenošću.