мини|298x298п| Видео приказан из Гаусовог модела распршивања Гаусово распршивање је техника волуметријског рендеровања која омогућава директно рендеровање волуметријских података без њихове конверзије у површинске или линијске примитиве . .Ову технику је првобитно представио Ли Вестовер почетком 1990-их под називом splatting

Са напретком рачунарске графике, развијене су новије методе као што су 3D Гаусово распршивање и 3D темпорално Гаусово распршивање, које омогућавају рендеровање поља зрачења у у реалном времену и рендеровање динамичких сцена.

3D Гаусово распршивање мини|258x258п| Гаусово распршивање модела срушене зграде снимљене дроном. 3D Гаусово распршивање је техника која се користи у области рендеровања поља зрачења у реалном времену . Омогућава креирање висококвалитетних сцена у реалном времену из нових перспектива комбинујући више фотографија или видео снимака, чиме се решава значајан изазов у овој области.

Ова метода представља сцене помоћу 3D Гаусијана који задржавају својства континуалних волуметријских поља зрачења, интегришући ретке тачке добијене током калибрације камере. Уводи анизотропну репрезентацију коришћењем 3D Гаусијана за моделовање поља зрачења, уз истовремену оптимизацију и контролу густине Гаусијана. Такође је предложен брз алгоритам рендеровања који узима у обзир видљивост и подржава анизотропно распршивање, прилагођен за употребу на GPU-у.

Метод мини| Овај дијаграм илуструје рад предложеног алгоритма. Метода укључује неколико кључних корака:

Улаз: Скуп слика статичне сцене заједно са позицијама камере, изражених као ретки облак тачака . 3D Гаусијани: Дефиниција средње вредности, коваријансне матрице и непрозирности за сваки Гаусијан. Представљање боја: Коришћење сферних хармоника за моделирање изгледа зависног од погледа. Алгоритам оптимизације: Оптимизација параметара коришћењем стохастичког градијента ради минимизовања функције губитка, која комбинује L1 губитак и D-SSIM, инспирисана радом Plenoxels. Растеризатор: Имплементација растеризатора заснованог на плочицама за брзо сортирање и повратни пролаз, што омогућава ефикасно мешање Гаусових компоненти.

Метода користи диференцијабилно 3D Гаусово распршивање, које је неструктурисано и експлицитно, омогућавајући брзо рендеровање и пројекцију у 2D сплотове. Коваријанса Гаусова може се посматрати као конфигурација елипсоида, који се математички може разложити на матрицу скалирања и матрицу ротације. Градијенти за све параметре су изведени експлицитно како би се избегли додатни трошкови аутоматске диференцијације .

Оптимизација ствара густ скуп 3D Гаусијана који што прецизније представљају сцену. Сваки корак рендеровања прати поређење са тренинг приказима доступним у скупу података.

Резултати и евалуација мини| Сцена снимљена помоћу Polycam Capture. Аутори су тестирали свој алгоритам на 13 стварних сцена из претходно објављених скупова података и синтетичког Blender скупа података. Упоредили су своју методу са најсавременијим техникама као што су Mip-NeRF360, InstantNGP и Plenoxels. За квантитативну евалуацију коришћене су метрике PSNR, L-PIPS и SSIM.

Њихов потпуно конвергентан модел (30.000 итерација) постиже квалитет упоредив са, или нешто бољи од Mip-NeRF360, али уз знатно краће време обуке (35–45 минута у поређењу са 48 сати) и брже рендеровање (у реалном времену уместо 10 секунди по кадру). На 7.000 итерација (5–10 минута обуке), њихова метода постиже квалитет упоредив са InstantNGP и Plenoxels.

За синтетичке ограничене сцене (Blender скуп података), постигли су резултате на нивоу најсавременијих метода чак и са случајном иницијализацијом, почевши од 100.000 униформно насумично распоређених Гаусијана.

Ограничења Нека ограничења методе укључују:

Издужени артефакти или „мрљасти“ Гаусијани у појединим областима. Повремени артефакти „искакања“ услед великих Гаусијана створених оптимизацијом, посебно у регионима са изгледом зависним од угла посматрања. Већа потрошња меморије у поређењу са решењима заснованим на NeRF-у, иако је и даље компактнија од претходних приступа заснованих на тачкама. Може захтевати подешавање хиперпараметара (нпр. смањење стопе учења позиције) за веома велике сцене. Максимална потрошња GPU меморије током обуке може бити висока (преко 20 GB) у тренутној неоптимизованој прототипској верзији.

Аутори напомињу да би нека од ових ограничења могла бити решена будућим унапређењима, као што су бољи приступи елиминацији непотребних података, антиалиасинг, регуларизација и технике компресије.

3D темпорално Гаусово распршивање Проширивањем 3D Гаусовог распршивања на динамичке сцене, 3D темпорално Гаусово распршивање укључује временску компоненту, омогућавајући рендеровање динамичких сцена у реалном времену са високом резолуцијом. Ова метода представља и рендерује динамичке сцене моделовањем сложених кретања уз очување ефикасности. Користи HexPlane за повезивање суседних Гаусова, што омогућава тачну репрезентацију промена положаја и облика. Захваљујући употреби јединственог скупа канонских 3D Гаусова и предиктивне анализе, моделује њихово кретање током различитих временских тачака.

Понекад се назива „4D Гаусово распршивање“; међутим, овај назив имплицира употребу 4D Гаусових примитива (параметризованих 4×4 средњом вредношћу и 4×4 коваријансном матрицом). Већина радова у овој области и даље користи 3D Гаусове примитиве, примењујући временска ограничења као додатни параметар оптимизације.

Постигнућа ове технике укључују рендеровање у реалном времену на динамичким сценама са високом резолуцијом, уз очување квалитета. Ова метода показује потенцијалне примене за будући развој у филмској индустрији и другим медијима, иако тренутно постоје ограничења у погледу дужине забележеног кретања.

Апликације 3D Гаусово распршивање је прилагођено и проширено у различитим применама рачунарског вида и графике, од рендеровања динамичких сцена до симулација аутономне вожње и креирања 4D садржаја:

Претварање текста у 3D помоћу Гаусовог распршивања: Примењује 3D Гаусово распршивање за генерисање 3D садржаја на основу текста. Крајњи-аутономни системи вожње: Наводи 3D Гаусово распршивање као методу симулације сензора засновану на подацима за аутономну вожњу, истичући његову способност генерисања реалистичних нових приказа сцене. SuGaR: Предлаже методу за брзо и прецизно екстраховање мрежа (мешева) из 3D Гаусовог распршивања. SplaTAM: Примењује Гаусова радијациона поља на истовремено локализовање и мапирање (SLAM), користећи брзо рендеровање и оптимизацију за постизање врхунских резултата. Align Your Gaussians: Користи динамичке 3D Гаусове за креирање 4D садржаја на основу текста.

Види такође

Компјутерска графика Неурално поље зрачења Волуме рендеринг

Референце Категорија:Алгоритми машинског учења Категорија:3д рендеровање Категорија:3D grafički softver