Un camp de radiància neuronal (NeRF) és un camp neuronal per reconstruir una representació tridimensional d'una escena a partir d'imatges bidimensionals. El model NeRF permet aplicacions posteriors de síntesi de noves vistes, reconstrucció de la geometria de l'escena i obtenció de les propietats de reflectància de l'escena. També es poden aprendre conjuntament propietats addicionals de l'escena, com ara les postures de la càmera. Introduït per primera vegada el 2020, ha rebut una atenció significativa per les seves possibles aplicacions en gràfics per ordinador i creació de contingut.
Algoritme L'algoritme NeRF representa una escena com un camp de radiància parametritzat per una xarxa neuronal profunda (DNN). La xarxa prediu una densitat de volum i una radiància emesa dependent de la vista donada la ubicació espacial. i direcció de visió en angles d'Euler de la càmera. En mostrejar molts punts al llarg dels raigs de la càmera, les tècniques tradicionals de renderització de volums poden produir una imatge.
Recollida de dades Cal tornar a entrenar una NeRF per a cada escena única. El primer pas és recopilar imatges de l'escena des de diferents angles i la seva posició de càmera respectiva. Aquestes imatges són imatges 2D estàndard i no requereixen una càmera ni un programari especialitzat. Qualsevol càmera pot generar conjunts de dades, sempre que la configuració i el mètode de captura compleixin els requisits de SfM (Structure from Motion).
Això requereix el seguiment de la posició i l'orientació de la càmera, sovint mitjançant alguna combinació de SLAM, GPS o estimació inercial. Els investigadors sovint utilitzen dades sintètiques per avaluar NeRF i tècniques relacionades. Per a aquestes dades, les imatges (renderitzades mitjançant mètodes tradicionals no apresos) i les respectives postures de la càmera són reproduïbles i lliures d'errors.
Formació Per a cada punt de vista dispers (imatge i postura de la càmera) proporcionat, els raigs de la càmera es mouen a través de l'escena, generant un conjunt de punts 3D amb una direcció de radiància determinada (cap a la càmera). Per a aquests punts, la densitat de volum i la radiància emesa es prediuen mitjançant el perceptró multicapa (MLP). A continuació, es genera una imatge mitjançant la renderització de volum clàssica. Com que aquest procés és totalment diferenciable, l'error entre la imatge predita i la imatge original es pot minimitzar amb un descens de gradient sobre múltiples punts de vista, cosa que fomenta que el MLP desenvolupi un model coherent de l'escena.
Variacions i millores Les primeres versions de NeRF eren lentes d'optimitzar i requerien que totes les vistes d'entrada es prenguessin amb la mateixa càmera en les mateixes condicions d'il·luminació. Aquestes tenien un millor rendiment quan es limitaven a orbitar al voltant d'objectes individuals, com ara una bateria, plantes o joguines petites. Des de l'article original del 2020, s'han fet moltes millores a l'algoritme NeRF, amb variacions per a casos d'ús especials.
Mapeig de característiques de Fourier El 2020, poc després del llançament de NeRF, l'addició del mapatge de característiques de Fourier va millorar la velocitat d'entrenament i la precisió de les imatges. Les xarxes neuronals profundes tenen dificultats per aprendre funcions d'alta freqüència en dominis de baixa dimensionalitat; un fenomen conegut com a biaix espectral. Per superar aquesta deficiència, els punts es mapen a un espai de característiques de dimensionalitat superior abans de ser introduïts al MLP.
On és el punt d'entrada, són els vectors de freqüència, i són coeficients.
Això permet una convergència ràpida a funcions d'alta freqüència, com ara píxels en una imatge detallada.
Camps de radiància neuronal d'ajust de paquets Una limitació de les NeRF és el requisit de conèixer les posicions precises de la càmera per entrenar el model. Sovint, els mètodes d'estimació de la posició no són completament precisos, ni tan sols és possible conèixer la posició de la càmera. Aquestes imperfeccions resulten en artefactes i convergència subòptima. Per tant, es va desenvolupar un mètode per optimitzar la posició de la càmera juntament amb la funció volumètrica en si. Anomenada Bundle-Adjusting Neural Radiance Field (BARF), la tècnica utilitza un filtre de pas baix dinàmic (DLPF) per passar d'un ajust gruixut a un ajust fi, minimitzant l'error trobant la transformació geomètrica a la imatge desitjada. Això corregeix les posicions imperfectes de la càmera i millora considerablement la qualitat dels renders NeRF.
Representació multiescala Les NeRF convencionals tenen dificultats per representar detalls a totes les distàncies de visualització, produint imatges borroses de prop i imatges excessivament aliasades des de vistes llunyanes. El 2021, els investigadors van introduir una tècnica per millorar la nitidesa dels detalls a diferents escales de visualització coneguda com a mip-NeRF (prové de mipmap). En lloc de mostrejar un sol raig per píxel, la tècnica ajusta una gaussiana al tronc cònic projectat per la càmera. Aquesta millora fa un antialiàsing eficaç en totes les escales de visualització. mip-NeRF també redueix l'error general de la imatge i convergeix més ràpidament a aproximadament la meitat de la mida de la NeRF basada en raigs.
Inicialitzacions apreses El 2021, els investigadors van aplicar el meta-aprenentatge per assignar pesos inicials a la MLP. Això accelera ràpidament la convergència donant a la xarxa un avantatge en el descens de gradient. El meta-aprenentatge també va permetre a la MLP aprendre una representació subjacent de certs tipus d'escena. Per exemple, donat un conjunt de dades de punts de referència turístics famosos, una NeRF inicialitzada podria reconstruir parcialment una escena donada una imatge.
NeRF en estat salvatge Les NeRF convencionals són vulnerables a lleugeres variacions en les imatges d'entrada (objectes, il·luminació), cosa que sovint provoca ghosting i artefactes. Com a resultat, les NeRF tenen dificultats per representar escenes dinàmiques, com ara carrers bulliciosos de la ciutat amb canvis en la il·luminació i els objectes dinàmics. El 2021, investigadors de Google van desenvolupar un nou mètode per tenir en compte aquestes variacions, anomenat NeRF in the Wild (NeRF-W). Aquest mètode divideix la xarxa neuronal (MLP) en tres models separats. La MLP principal es conserva per codificar la radiància volumètrica estàtica. Tanmateix, funciona en seqüència amb una MLP separada per a la incrustació d'aparença (canvis en la il·luminació, propietats de la càmera) i una MLP per a la incrustació transitòria (canvis en els objectes de l'escena). Això permet entrenar la NeRF en diverses col·leccions de fotos, com ara les fetes per telèfons mòbils a diferents hores del dia.
Reil·luminació El 2021, els investigadors van afegir més resultats a la MLP, que és el cor de les NeRF. Els resultats ara incloïen: densitat de volum, normal de la superfície, paràmetres del material, distància a la primera intersecció de la superfície (en qualsevol direcció) i visibilitat de l'entorn extern en qualsevol direcció. La inclusió d'aquests nous paràmetres permet que la MLP aprengui les propietats del material, en lloc de valors de radiància pura. Això facilita una cadena de renderització més complexa, calculant la il·luminació directa i global, els reflexos especulars i les ombres. Com a resultat, la NeRF pot renderitzar l'escena en qualsevol condició d'il·luminació sense necessitat de reentrenament.
Plenoctres Tot i que els NeRF havien assolit alts nivells de fidelitat, el seu costós temps de càlcul els feia inútils per a moltes aplicacions que requerien renderització en temps real, com ara la realitat virtual / real i el contingut interactiu. Introduïts el 2021, els Plenoctrees (octrees plenòptics) van permetre la renderització en temps real de NeRF preentrenats mitjançant la divisió de la funció de radiància volumètrica en un octree. En lloc d'assignar una direcció de radiància a la càmera, la direcció de visualització es treu de l'entrada de xarxa i es prediu la radiància esfèrica per a cada regió. Això fa que la renderització sigui més de 3000 vegades més ràpida que els NeRF convencionals.
Graella de radiància neuronal dispersa De manera similar als Plenoctrees, aquest mètode permetia la renderització en temps real de NeRF preentrenats. Per evitar consultar la MLP gran per a cada punt, aquest mètode converteix els NeRF en Sparse Neural Radiance Grids (SNeRG). Un SNeRG és una graella de vòxel dispersa que conté opacitat i color, amb vectors de característiques apresos per codificar informació dependent de la vista. A continuació, s'utilitza un MLP lleuger i més eficient per produir residus dependents de la vista per modificar el color i l'opacitat. Per permetre aquesta cocció compressiva, es van fer petits canvis a l'arquitectura NeRF, com ara executar l'MLP una vegada per píxel en lloc de per a cada punt al llarg del raig. Aquestes millores fan que l'SNeRG sigui extremadament eficient, superant els Plenoctrees.
NeRF instantanis El 2022, investigadors de Nvidia van permetre l'entrenament en temps real de NeRF mitjançant una tècnica coneguda com a Primitives de Gràfics Neuronals Instantànias. Una codificació d'entrada innovadora redueix la computació, permetent l'entrenament en temps real d'un NeRF, una millora d'ordres de magnitud respecte als mètodes anteriors. L'acceleració prové de l'ús de funcions hash espacials, que han temps d'accés i arquitectures paral·lelitzades que s'executen ràpidament en GPU modernes.
Tècniques relacionades Plenoxels El Plenoxel (element de volum plenòptic) utilitza una representació de vòxel dispersa en lloc d'un enfocament volumètric com es veu a les NeRF. El Plenoxel també elimina completament el MLP, realitzant en comptes d'això directament un descens de gradient sobre els coeficients de vòxel. El Plenoxel pot igualar la fidelitat d'una NeRF convencional en ordres de magnitud menys temps d'entrenament. Publicat el 2022, aquest mètode va refutar la importància del MLP, mostrant que la canonada de renderització diferenciable és el component crític.
Esquitxades gaussiana L'escampament gaussià és un mètode més nou que pot superar el NeRF en temps de renderització i fidelitat. En lloc de representar l'escena com una funció volumètrica, utilitza un núvol dispers de gaussianes 3D. Primer, es genera un núvol de punts (a través de l'estructura a partir del moviment) i es converteix en gaussianes de covariància, color i opacitat inicials. Les gaussianes s'optimitzen directament mitjançant el descens de gradient estocàstic per coincidir amb la imatge d'entrada. Això estalvia càlcul eliminant l'espai buit i evitant la necessitat de consultar una xarxa neuronal per a cada punt. En lloc d'això, simplement "escampeu" totes les gaussianes a la pantalla i se superposen per produir la imatge desitjada.
Fotogrametria La fotogrametria tradicional no és neuronal, sinó que utilitza equacions geomètriques robustes per obtenir mesures 3D. Les NeRF, a diferència dels mètodes fotogramètrics, no produeixen inherentment una geometria 3D dimensionalment precisa. Tot i que els seus resultats sovint són suficients per extreure una geometria precisa (per exemple: mitjançant la marxa de cubs), el procés és difús, com passa amb la majoria dels mètodes neuronals. Això limita les NeRF als casos en què es valora la imatge de sortida, en lloc de la geometria de l'escena en brut. Tanmateix, les NeRF excel·leixen en situacions amb il·luminació desfavorable. Per exemple, els mètodes fotogramètrics es descomponen completament quan intenten reconstruir objectes reflectants o transparents en una escena, mentre que una NeRF és capaç d'inferir la geometria.
Aplicacions Els NeRF tenen una àmplia gamma d'aplicacions i comencen a guanyar popularitat a mesura que s'integren en aplicacions fàcils d'utilitzar.
Creació de contingut