Neuralno polje zračenja (NeRF) predstavlja metodu zasnovanu dubokom učenju koja omogućava rekonstrukciju trodimenzionalnog prikaza scene na osnovu dvodimenzionalnih slika. Model NeRF omogućava dalje primene kao što su sinteza novih perspektiva, rekonstrukcija geometrije scene i dobijanje njenih reflektivnih svojstava. Pored toga, moguće je istovremeno naučiti i dodatne parametre scene, poput položaja kamera. Od predstavljanja 2020. godine. ova metoda je privukla značajnu pažnju zbog potencijalnih primena u računarskoj grafici i kreiranju sadržaja.

Algoritam NeRF Algoritam predstavlja scenu kao polje zračenja parametrisano dubokom neuronskom mrežom (DNN). Mreža, na osnovu prostorne lokacije (x, y, z) i pravca posmatranja izraženog u Ojlerovim uglovima (θ, Φ) kamere, predviđa zapreminsku gustinu i emitovanu radijansu koja zavisi od ugla posmatranja. Uzorkovanjem velikog broja tačaka duž zraka kamere, klasične tehnikevolumetrijskog renderovanja mogu da generišu sliku.

NeRF se mora ponovo obučiti za svaku jedinstvenu scenu. Prvi korak podrazumeva prikupljanje snimaka scene iz različitih uglova, zajedno sa pripadajućim položajima kamere. Te slike su standardne dvodimenzionalne fotografije i ne zahtevaju specijalnu kameru ili softver. Bilo koja kamera može da generiše relevantan skup podataka, pod uslovom da podešavanja i metod snimanja ispunjavaju zahteve SfM-a ( Struktura iz pokreta ).

Ovo zahteva praćenje položaja i orijentacije kamere, najčešće uz kombinaciju SLAM, GPS- a ili inercijalne procene. Istraživači često koriste sintetičke podatke za ocenu NeRF-a i srodnih tehnika. Kod takvih podataka, snimci ( renderovani tradicionalnim metodama koje ne uključuju učenje ) i odgovarajuće poze kamere reprodukuju se pouzdano i bez grešaka.

Trening Za svaku retku tačku gledišta (sliku i pozu kamere) zraci kamere se propagiraju kroz scenu, stvarajući skup trodimenzionalnih tačaka sa zadatim smerom radijanse (prema kameri). Za te tačke višeslojni perceptron (MLP) predviđa zapreminsku gustinu i emitovanu radijansu. Slika se zatim generiše klasičnim volumetrijskim renderovanjem. Pošto je ceo postupak u potpunosti diferencijabilan, greška između predviđene i izvorne slike može da se minimizuje gradijentnim spuštanjem kroz više tačaka gledišta, podstičući MLP da razvije koherentan model scene.

Varijante i poboljšanja Rane verzije NeRF-a bile su spore za optimizaciju i zahtevale su da svi ulazni prikazi budu snimljeni istom kamerom u istim svetlosnim uslovima. Najbolje su radile kada se kamera ograniči na kruženje oko pojedinačnih objekata, poput bubnjarskog kompleta, biljaka ili malih igračaka. Od originalnog rada iz 2020. godine algoritam NeRF je doživeo brojna poboljšanja, sa varijantama prilagođenim posebnim slučajevima upotrebe.

Furijeovo preslikavanje karakteristika Godine 2020, nedugo nakon predstavljanja NeRF-a, uvođenje Furijeovog preslikavanja karakteristika poboljšalo je brzinu treniranja i tačnost generisanih slika. Duboke neuronske mreže teško uče funkcije visokih frekvencija u niskodimenzionalnim domenima, pojava poznata kao spektralna pristrasnost. Da bi se prevazišlo ovo ograničenje, tačke se prvo preslikavaju u prostor karakteristika viših dimenzija pre nego što budu prosleđene MLP-u.

Gde je ulazna tačka, su vektori frekvencija, a koeficijenti.

Ovo omogućava brzu konvergenciju ka funkcijama visokih frekvencija, poput piksela u detaljnoj slici.

Neuralna polja zračenja sa snopnim prilagođavanjem edno ograničenje NeRF-a je potreba za tačno poznatim pozama kamere prilikom treniranja modela. Metode procene poze često nisu potpuno precizne, a ponekad položaj kamere nije ni moguće pouzdano odrediti. Te nepreciznosti dovode do artefakata i slabije konvergencije. Zbog toga je razvijen postupak koji istovremeno optimizuje i pozu kamere i samu zapreminsku funkciju. Tehnika, nazvana Bundle-Adjusting Neural Radiance Field (BARF), koristi dinamički niskopropusni filter (DLPF) koji postepeno prelazi od grube ka finoj prilagodbi, minimizujući grešku pronalaženjem geometrijske transformacije ka željenoj slici. Time se koriguju nesavršene poze kamere i značajno poboljšava kvalitet NeRF rendera.

Višeskalna reprezentacija Klasični NeRF modeli imaju teškoće pri prikazivanju detalja na različitim udaljenostima posmatranja, što rezultira mutnim slikama izbliza i prekomerno nazubljenim slikama iz udaljenih perspektiva. Godine 2021. istraživači su predstavili tehniku za poboljšanje oštrine detalja na različitim skalama posmatranja, poznatu kao mip-NeRF (naziv potiče od termina „mipmap“). Umesto da uzorkuje jedan zrak po pikselu, ova tehnika prilagođava Gausovu funkciju konusnom odsečku (frustumu) koji projektuje kamera. Ovim poboljšanjem efektivno se smanjuje aliasing na svim skalama posmatranja. mip-NeRF takođe smanjuje ukupnu grešku slike i brže konvergira, uz približno dvostruko manju veličinu u poređenju sa NeRF-om baziranim na pojedinačnim zracima.

Naučene inicijalizacije Tokom 2021. godine istraživači su primenili meta-učenje za dodeljivanje početnih težina višeslojnom perceptronu (MLP). Ovim postupkom značajno se ubrzava konvergencija, dajući mreži početnu prednost u gradijentnom spuštanju. Meta-učenje takođe omogućava da MLP nauči osnovnu reprezentaciju određenih tipova scena. Na primer, ukoliko se obezbedi skup podataka poznatih turističkih znamenitosti, inicijalizovani NeRF može delimično rekonstruisati scenu na osnovu samo jedne slike.

NeRF u nekontrolisanim uslovima Klasični NeRF modeli osetljivi su na manje varijacije u ulaznim slikama (objekti, osvetljenje), što često rezultira pojavom duhova (ghosting) i drugih artefakata. Kao posledica toga, NeRF teško uspeva da prikaže dinamičke scene, poput prometnih gradskih ulica u kojima se menjaju osvetljenje i pokretni objekti. Godine 2021, istraživači kompanije Google razvili su novi metod koji uzima u obzir takve varijacije, nazvan NeRF u nekontrolisanim uslovima (NeRF-W, od engl. NeRF in the Wild). Ovaj pristup deli neuronsku mrežu (MLP) na tri odvojena modela. Glavni MLP ostaje zadužen za kodiranje statičke volumetrijske radijanse. Međutim, on radi u kombinaciji sa posebnim MLP-om za ugrađivanje izgleda (promene u osvetljenju, svojstva kamere) i MLP-om za ugrađivanje prolaznih karakteristika (promene u objektima scene). Ovo omogućava da se NeRF trenira na raznovrsnim kolekcijama fotografija, na primer onim snimljenim mobilnim telefonima u različitim periodima dana.

Ponovno osvetljavanje Godine 2021. istraživači su dodali više izlaznih vrednosti višeslojnom perceptronu (MLP) koji je u središtu NeRF modela. Izlaz sada uključuje: zapreminsku gustinu, površinske normale, parametre materijala, rastojanje do prve tačke preseka sa površinom (u bilo kom pravcu) i vidljivost spoljnog okruženja iz bilo kog pravca. Uključivanje ovih novih parametara omogućava da MLP uči osobine materijala, umesto da predviđa samo vrednosti radijanse. To omogućava složeniji proces renderovanja, sa računanjem direktnog i globalnog osvetljenja, spekularnih odsjaja i senki. Kao rezultat toga, NeRF može da renderuje scenu pod bilo kojim uslovima osvetljenja, bez potrebe za ponovnim treniranjem.

Plenoctrees ako su NeRF modeli dostigli visok nivo vernosti prikaza, njihovo skupo i sporo računanje činilo ih je neupotrebljivim za mnoge primene koje zahtevaju renderovanje u realnom vremenu, poput VR / AR sistema i interaktivnog sadržaja. Predstavljeni 2021. godine, Plenoctrees (plenoptička okt-drveća) omogućili su renderovanje prethodno istreniranih NeRF modela u realnom vremenu, podelom zapreminske funkcije zračenja u okt-drvo. Umesto da se radijansa predviđa samo u pravcu kamere, pravac gledanja se uklanja iz ulaza neuronske mreže, a predviđa se sferna radijansa za svaki region. Ovaj pristup čini renderovanje više od 3000 puta bržim u poređenju sa klasičnim NeRF modelima.

Retka mreža neuralnog polja zračenja Slično kao Plenoctrees, i ova metoda omogućava renderovanje prethodno istreniranih NeRF modela u realnom vremenu. Da bi se izbeglo upitno ispitivanje velikog MLP-a za svaku tačku, ovom metodom NeRF modeli se "peku" u Retke mreže neuralnog polja zračenja (SNeRG). SNeRG predstavlja retku voxel mrežu koja sadrži informacije o neprozirnosti i boji, zajedno sa naučenim vektorskim karakteristikama koje kodiraju informacije zavisne od ugla posmatranja. Lagan i efikasan MLP se potom koristi za generisanje rezidualnih vrednosti zavisnih od pravca gledanja, koje dodatno prilagođavaju boju i neprozirnost. Da bi se omogućilo ovakvo kompresivno "pečenje", uvedene su manje izmene u NeRF arhitekturu, poput izvršavanja MLP-a jednom po pikselu umesto za svaku tačku duž zraka. Ova poboljšanja čine SNeRG izuzetno efikasnim, čak boljim od Plenoctrees pristupa.

Instant NeRFs Godine 2022, istraživači iz kompanije Nvidia omogućili su treniranje NeRF modela u realnom vremenu pomoću tehnike poznate kao Instant Neural Graphics Primitives. Inovativno kodiranje ulaznih podataka smanjuje potrebu za obimnim računanjem, omogućavajući treniranje NeRF-a u realnom vremenu, što predstavlja poboljšanje za više redova veličine u odnosu na prethodne metode. Ovo ubrzanje potiče iz korišćenja prostornih hash funkcije, koje imaju vremensku složenost O(1) za pristup podacima, kao i paralelizovanih arhitektura koje omogućavaju brzo izvođenje na savremenim GPU-ovima .

Povezane tehnike

Plenoxels Plenoxel (plenoptički zapreminski element) koristi retku voxel reprezentaciju umesto zapreminskog pristupa kakav se koristi u NeRF modelima. Plenoxel takođe potpuno eliminiše MLP, umesto toga direktno sprovodeći gradijentno spuštanje nad koeficijentima vokselâ. Plenoxel može da postigne vernost prikaza klasičnog NeRF-a uz višestruko kraće vreme treniranja. Objavljena 2022. godine, ova metoda je opovrgla značaj MLP-a, pokazavši da je diferencijabilni proces renderovanja ključna komponenta.

Gausovo raspršivanje Gausovo raspršivanje je novija metoda koja može nadmašiti NeRF u brzini renderovanja i kvalitetu prikaza. Umesto da scenu predstavlja kao zapreminsku funkciju, koristi retki oblak trodimenzionalnih Gausovih funkcija. Najpre se generiše oblak tačaka (pomoću metode structure from motion) koji se zatim pretvara u Gausove funkcije sa početnom kovarijansom, bojom i neprozirnošću. Gausove funkcije se direktno optimizuju stohastičkim gradijentnim spuštanjem kako bi se podudarale sa ulaznim slikama. Ovaj pristup štedi računske resurse uklanjanjem praznog prostora i eliminiše potrebu za ispitivanjem neuronske mreže za svaku tačku. Umesto toga, svi Gausovi oblici se jednostavno „rasprše“ po ekranu, preklapajući se i formirajući željenu sliku.

Fotogrametrija Tradicionalna fotogrametrija nije zasnovana na neuronskim mrežama, već koristi robusne geometrijske jednačine za dobijanje trodimenzionalnih merenja. NeRF modeli, za razliku od fotogrametrijskih metoda, ne proizvode inherentno dimenzionalno tačnu 3D geometriju. Iako su njihovi rezultati često dovoljni za izdvajanje precizne geometrije (na primer, metodom cube marching), sam proces je neodređen, kao i kod većine metoda zasnovanih na neuronskim mrežama. Ovo ograničava primenu NeRF-a na slučajeve u kojima je vrednovan krajnji vizuelni prikaz, a ne sirova geometrija scene. Ipak, NeRF modeli briljiraju u situacijama sa nepovoljnim osvetljenjem. Na primer, fotogrametrijske metode potpuno zakazuju pri pokušaju rekonstrukcije reflektujućih ili providnih objekata, dok NeRF može da izvede zaključke o njihovoj geometriji.

Primene NeRF modeli imaju širok spektar primena i počinju da stiču sve veću popularnost kako bivaju integrisani u aplikacije prilagođene korisnicima.

Kreiranje sadržaja мини|286x286п| Video renderovan iz neuralnog polja zračenja