Instant NeRF és una tecnologia que crea una escena tridimensional a partir d'imatges en dos dimensions en qüestió de segons. Va ser desenvolupat per l'empresa NVIDIA i llençat al març de 2022. El nom del producte refereix, per una banda, «Instant», per la qualitat instantània i, per l'altra, «NeRF», que correspon a l'acrònim neuronal radiation fields (‘camps de radiació neuronal’) que al·ludeix a la tecnologia que utilitza.
Partint de dues a quatre fotografies bidimensionals d'un mateix espai o subjecte, Instant NeRF recrea tot l'espai fotogràfic en volum fins i tot els elements que queden ocults o que no apareixen explícitament en la imatge. És a dir, a diferència d'altres programes que compleixen aquesta mateixa funció, no és menester material fotografiat des de tots els angles de l'espai, ja que davant d'aquest buit d'informació, una xarxa neuronal (amb d'intel·ligència artificial) recrea la realitat de manera precisa. Ho fa gràcies per una anàlisi de les fotografies que li permet conèixer els angles en què aquestes han estat capturades i, per tant, en dedueix l'origen dels píxels.
El resultat d'aquest procediment és una escena digital on l'usuari pot endinsar-se i moure's-hi amb llibertat, i en pot fer noves fotografies des de perspectives diferents.
Estructura (arquitectura) L'Instant NeRF és un generador gairebé instantani de gràfics neuronals primitius en una única GPU per a múltiples tasques. En la imatge gigapíxel representen una imatge mitjançant una xarxa neuronal. SDF aprèn una funció de distància signada a l'espai 3D, el nivell zero de la qual representa una superfície 2D.
NeRF utilitza imatges en 2D i les posicions de càmera per reconstruir un camp volumètric de radiació i densitat que es visualitza mitjançant la marxa de raigs. Finalment, el volum neural aprèn una radiació i un camp de densitat sense soroll, directament d'un traçador de recorregut volumètric. En totes les tasques, la codificació i implementació eficient ofereixen avantatges clars: formació instantània, alta qualitat i senzillesa. La codificació és independent de les tasques: fan servir la mateixa implementació i hiperparàmetres en totes les tasques i només varien la mida de la taula “hash” que compensa la qualitat i el rendiment.
Abstract i mètode L’Instant NeRF obté resultats d'última generació per sintetitzar noves vistes d'escenes complexes optimitzant una funció d'escena volumètrica contínua subjacent mitjançant un escàs conjunt de vistes d'entrada. L'algoritme representa una escena que utilitza una xarxa profunda completament connectada (no convolucional), l'entrada de la qual és una única coordenada 5D contínua (ubicació espacial (x, y, z) i direcció de visualització (θ, φ)) i la sortida de la qual és la densitat de volum i la radiació emesa depenent de la vista en aquesta ubicació espacial.
Sintetitzen vistes a partir de les coordenades 5D al llarg dels raigs de la càmera i fan servir tècniques clàssiques de renderització de volum per projectar els colors i les densitats de sortida en una imatge. Com que la representació del volum és naturalment diferenciable, l'única entrada necessària per optimitzar-ne la representació és un conjunt d'imatges amb posicions de càmera conegudes. Descriuen com optimitzar eficaçment els camps de radiació neuronal per representar noves vistes fotorealistes d'escenes amb geometria i aparença complicades, i demostren resultats que superen els treballs anteriors en la representació neuronal i la síntesi de vistes.
Funcions Aprofita la potència de la intel·ligència artificial, concretament la generada pels anomenats camps de radiació neuronal per convertir una col·lecció d'imatges fixes en una escena digital 3D en qüestió de segons. Instant NeRF es basa en xarxes neuronals per reconstruir cada escena a partir de les imatges, i prediu el color de la llum que s'irradia en qualsevol direcció.
Si les representacions 3D tradicionals, com les malles poligonals, són similars a les imatges vectorials, els NeRF són com a imatges de mapa de bits: capturen densament la manera com la llum s'irradia des d'un objecte o dins d'una escena.
Aquest efecte compost és el resultat de tres millores importants: en primer lloc, la implementació d'unitat de procés gràfic (GPU) específica per a la tasca de l'algorisme de renderitzat o d'entrenament, que utilitza les capacitats de flux de control de granularitat fina de la GPU per ser molt més ràpid. D'altra banda, la implementació d'una petita xarxa neuronal, que és més ràpida que les rutines de multiplicació de matrius de propòsit general. Finalment, una tècnica pròpia de codificació anomenada hash grid multiresolution, que és independent i obté una millor relació rapidesa i qualitat.
Història i orígens Cap a l'any 2020 els equips creatius, d'enginyeria i d'investigació de Nvidia, que va ser fundada l'any 1993 i és un dels majors fabricants de GPUs del mercat mundial, van començar a treballar en el projecte Instant NeRF. Van utilitzar la tecnologia de l'empresa per oferir els efectes visuals de la darrera conferència de GTC. Des del debut al març de l'any 2022, desenes de milers de desenvolupadors d'arreu del món han descarregat el codi.
La investigació que hi ha darrere d'Instant NeRF va ser homenatjada com a millor article a la conferència sobre infografia SIGGRAPH, del 8 a l'11 d'agost a Vancouver, per la seva contribució al futur de la investigació gràfica per ordinador que cobreix temes que inclouen la representació neuronal, la simulació 3D, l'holografia i molt més.
Transcendència i avantatges Aquest nou invent, suposa una sèrie d'avantatges en diversos aspectes. Tal com explica l'empresa, la tecnologia és un «render a la inversa». A diferència del típic model tridimensional utilitzat, per exemple, per les càmeres, que per crear una imatge bidimensional que reflecteixi la realitat llança raigs que reboten a les superfícies indirectament i directa, Instant NeRF parteix d'aquestes fotografies 2D com a base per reconstruir l'espai escènic en 3D.
Així doncs, David Luebke, el vicepresident de l'empresa, afirma que pot arribar a resultar tan rellevant per l'univers tridimensional com ho fou la compressió de fotografies digitals en format JPEG, cosa que en va facilitar la distribució entre usuaris en disminuir el pes de l'arxiu o fins i tot la digitalització de les càmeres, que va accelerar el procés de rèplica i revelat d'imatges fins aleshores analògiques.
Fins al moment, crear una escena 3D exigia un procediment de llarga durada que podria trigar unes quantes hores i sovint els resultats mancaven d'una alta resolució i qualitat. Aquests aspectes, però, es veuen resolts amb la incorporació d’intel·ligència artificial, ja que suposa una dinamització del procés. No obstant això, en els primers models d'aquesta tecnologia sí que s'oferien resultats acceptables i versemblants, però el procés d'entrenament encara requeria molt de temps. Per això, la companyia hi ha treballat durant dos anys per accelar-ne el funcionament.
Possibles usos Analitzant els usos d'Instant NeRF, és evident que la principal aplicació es capturar una imatge per a posteriori poder canviar l’angle d'aquesta, obtenint com a resultat una fotografia idèntica a l'original però presa des d'un punt de vista totalment oposat. Aquest aspecte formal de la imatge també es pot aplicar en el focus lumínic d'aquesta; podem aconseguir una fotografia nova amb la llum completament alterada.
L'Instant NeRF també pot servir per crear avatars o escenes per mons virtuals, capturar els participants d'una videoconferència i el seu entorn en 3D o per reconstruir escenes per mapes digitals tridimensionals.
També es poden escanejar imatges amb persones o entorns reals i beneficiar-s'hi en qüestions de disseny o il·lustració atenent al fet que és una nova imatge en la qual els drets d'autor de les fotografies base queden en un buit legal.
A més a més, en aspectes relacionats amb l’arquitectura i l’enginyeria, podria servir per generar representacions digitals d'entorns existents que els autors poguessin replantejar, alterar i redissenyar.
Quant a l'evolució en temes tecnològics, es podria incorporar per entrenar robots i cotxes autònoms perquè captin millor les proporcions i figures dels objectes en forma d'imatges 2D.
Les primeres conseqüències socials, són clarament el fet que fotografiar la realitat de manera objectiva i fidel, ara ja no evita que aquesta pugui ser manipulada posteriorment; a més de tot el debat moral i ètic que sorgeix arran això. Així, ha estat concebut per molts usuaris com un sistema que incrementarà la desconfiança i farà més impossible l'establiment d'uns límits clars sobre la concepció verídica del que és la realitat.
Artistes, programadors i Instant NeRF Cada vegada són més els artistes i creadors que utilitzen aquesta tecnologia, entre els quals la pàgina d'Nvidia destaca:
Karen X. Cheng i James Perlman, utilitzen l'Instant NeRF per crear escenes que exploren reflexos dins d'un mirall i tracten entorns amb molta gent. Afirmen que l'algoritme és revolucionari atenent al fet que és sorprenent que es pugui reproduir una escena física més fidel a la realitat del que les tècniques normals de fotogrametria ofereixen. "És increïble amb quina precisió podem reconstruir la llum, les diferències de color i altres petits detalls", diuen. "Fins i tot fa que els errors semblin art, estem segurs d'això i a vegades juguem amb entrenar poc l'escena, experimentant amb 1000, 5000 o 50000 repeticions. Molts cops preferim les menys entrenades perquè els marges són més suaus i aconseguim un efecte de pintura a l'oli", exposen.
Amb les eines anteriors, trigarien tres o quatre dies per entrenar una escena amb bona qualitat, però amb l'Instant NeRF, Cheng i Perlman poden arribar a fer-ne 20 al dia, utilitzant la NVIDIA RTX A6000 GPU per reproduir, entrenar i previsualitzar les seves escenes 3D. "La reproducció ràpida és necessària per al procés creatiu: ens trobem i fem 15 o 20 versions diferents i l'endemà valorem quines funcionen. Tot el que hem publicat s'ha fet i refet una dotzena de vegades, cosa que només és possible quan pots fer diverses escenes al dia", apunten.
Hugues Bruyère, soci i director d'innovació en un estudi creatiu de Montreal anomenat Dpt. també fa ús de la tecnologia Instant NeRF diàriament. Reprodueix escenes 3D fent servir la informació que prèviament ha capturat per la fotogrametria tradicional confiant en les càmeres digitals mirrorless, els smartphones, les càmeres 360 i els drons com a principal font i utiltiza la NVIDIA GeForce RTX 3090 GPU per reproduir les seves escenes Instant NeRF.
Creu que aquesta tecnologia pot ser una eina poderosa per ajudar a preservar i compartir elements culturals a través de llibreries i museus online, experiències de realitat virtual i projectes de conservació del patrimoni cultural. Partint de fotografies preses amb el seu telèfon mòbil, i gràcies a l'Instant NeRF, Bruyère ha creat una reproducció tridimensional d'una escultura de marbre de Zeus que es troba en una exhibició del museu reial d'Ontàiro (Toronto).
Jonathan Stephens, treballador de la companyia d'informàtica espacial EveryPoint, ha explorat l'Instant NeRF per aplicacions tant pràctiques com creatives. L'empresa reconstrueix escenes 3D de preses, vies, pedreres, per ajudar els negocis a gestionar els seus recursos. Amb la tecnologia d'NVIDIA (concretament la NVIDIA GeForce RTX 3080 GPU), Stephens pot capturar una escena més completa, permetent als clients explorar-la lliurement.
El que més valora és que amb l'Instant NeRF, es pot saber ràpidament si la reproducció està funcionant, en canvi, amb un equip de fotogrametria extens, l'usuari pot estar esperant hores o dies. Aquí, pot provar diferents conjunts de dades i saber-ho en pocs minuts, declara.
Instal·lació