náhled|upright 1.2|Restaurování a kolorování fotografie s využitím umělé inteligence Restaurování obrazu (anglicky image restoration) je oblast digitálního zpracování obrazu, která se zabývá odstraňováním nebo zmírňováním nežádoucích degradací v digitálních fotografiích a obrazech. Cílem je obnovit původní kvalitu obrazu, který byl poškozen různými fyzikálními procesy během snímání, přenosu nebo ukládání. Restaurování obrazu nachází uplatnění v mnoha oblastech. Jde například o medicínské zobrazování (zlepšení kvality rentgenových snímků, CT, MRI), astronomii (korekce atmosférických vlivů u teleskopických snímků), mikroskopii (zlepšení rozlišení a kontrastu mikroskopických obrazů), forenzní analýzu (zlepšení kvality bezpečnostních kamer), digitální fotografii (odstranění rozmazání a šumu z fotografií) či průmyslová kontrola kvality (zlepšení kvality obrazů pro automatickou inspekci).
Metody restaurování obrazu zahrnují lineární metody jako Wienerův filtr a inverzní filtr, nelineární přístupy včetně Richardsonova–Lucyova algoritmu, regularizační metody používající totální variaci nebo vlnkovou regularizaci, a moderní metody založené na umělé inteligenci. Na rozdíl od zlepšování obrazu, které upravuje obraz heuristicky pro lepší vizuální vjem, je restaurování formulováno jako inverzní úloha využívající známý degradační model.
Vývoj restaurování obrazu začal v 19. století ručním odstraňováním vad na fotografických negativech a postupně se vyvinul přes digitální metody 20. století až k současným pokročilým technikám založeným na hlubokém učení. Aplikace zahrnují i kolorování historických fotografií, rekonstrukci chybějících oblastí obrazu (inpainting) či restauraci videozáznamů. Přestože tyto techniky nabízejí výjimečné možnosti, vyvolávají také etické otázky, zejména při práci s historickými dokumenty nebo forenzními materiály.
Klasifikace degradací obrazu a metod restaurování Digitální obraz může být degradován řadou vlivů, které snižují jeho kvalitu. Mezi nejčastější případy patří rozmazání, šum a geometrické zkreslení. Rozmazání vzniká například pohybem kamery nebo snímaného objektu během expozice, nesprávným zaostřením optické soustavy, případně atmosférickými jevy, které narušují průchod světla – zejména v astronomii nebo při dálkovém průzkumu Země.
Šum vzniká typicky během převodu světla na digitální signál v obrazovém senzoru. Nejčastěji se projevuje jako gaussovský šum, ale může jít také o impulzní šum („pepř a sůl“) nebo kvantizační šum při digitalizaci. Geometrické zkreslení, jako je rotace, změna měřítka nebo perspektivní deformace, mění prostorové uspořádání obrazu a je třeba jej korigovat například při analýze nebo porovnávání obrazových dat.
Metody restaurování obrazu se liší podle toho, jaké informace máme k dispozici o degradačním procesu. V případě, že známe přesně impulzní odezvu (PSF – point spread function), lze použít přímé metody. Pokud je znám pouze typ degradace (například rozmazání pohybem), ale nikoli její parametry, používáme odhadovací techniky. Nejtěžší případ nastává tehdy, když není znám typ ani parametry degradace – zde je třeba využít tzv. slepou dekonvoluci.
Z hlediska výpočetního přístupu se metody dělí na lineární, nelineární, regularizační a metody založené na umělé inteligenci. Lineární metody, jako je inverzní filtr nebo Wienerův filtr, předpokládají lineární model degradace a často se používají ve frekvenční oblasti. Wienerův filtr je zvláště vhodný v případech, kdy je degradace doprovázena šumem, protože optimalizuje kompromis mezi obnovou detailů a potlačením šumu.
Nelineární metody, jako je Richardsonův–Lucyův algoritmus, využívají iterativní přístup a lépe zvládají složité degradace. Zachovávají fyzikálně realistické vlastnosti obrazu, jako je nezápornost nebo celkový jas. Regularizační metody zavádějí do úlohy doplňkové podmínky, které odrážejí apriorní znalosti o vlastnostech obrazu – například předpoklad hladkosti v homogenních oblastech nebo ostrosti na hranách. Typickým příkladem je metoda totální variace.
Moderní vývoj přinesl široké využití hlubokého učení v restauraci obrazu. Konvoluční neuronové sítě (CNN), generativní adversariální sítě (GAN) i novější difuzní modely dokáží obnovit obrazové informace i bez explicitního modelu degradace. Tyto přístupy jsou mimořádně účinné u složitých nebo kombinovaných degradací, jaké se vyskytují například u historických fotografií nebo záběrů z reálného prostředí.
Na rozdíl od metod zlepšování obrazu (image enhancement), které často upravují obraz čistě heuristicky pro subjektivně lepší vizuální vjem, je restaurování obrazu formulováno jako inverzní úloha – tedy snaha najít původní obraz na základě známého degradačního modelu a pozorovaných dat.
Historie Restaurování obrazu vychází již z počátků fotografie v 19. století, kdy se např. prach, škrábance či trhliny odstraňovaly ručně přímo na negativu nebo pozitivu. Kolorování černobílých snímků pomocí štětce či airbrushe bylo rovněž běžnou praxí. V roce 1957 byl vytvořen první digitální obraz, což položilo základ pro pozdější algoritmické přístupy v oblasti zpracování obrazu. S příchodem digitálních technologií se brzy objevily první automatizované techniky pro redukci šumu a korekci obrazu.
Během 70. a 80. let díky rozšíření CCD senzorů, digitalizaci satelitních a astronomických dat vznikaly softwarové nástroje pro biologické, medicínské a dálkové snímkování s možností potlačení šumu a korekce geometrických deformací; na počátku 90. let 20. století pak Kodak uvedl systém Cineon – integrované digitální filmové prostředí pro skenování, digitální korekci obrazu, odstranění vad, barevnou úpravu i opětovný výstup na film. První významná aplikace proběhla v roce 1993, kdy byl pomocí Cineonu digitalizován, očištěn a barevně upraven klasický animovaný film Sněhurka a sedm trpaslíků. Systém Digital ICE od Applied Science Fiction a Kodaku umožnil automaticky odstraňovat prach a škrábance při skenování filmů.
Od počátku 21. století se restaurování obrazu opíralo o pokročilé matematické metody jako Wienerův filtr, Richardsonova‑Lucyho konvoluce a frekvenční dekonvoluce, zvláště v oblasti lékařského zobrazování, astronomických dat i digitalizace kulturního dědictví. Ve 20. letech 21. století přinesly převrat metody založené na hlubokém učení. Příkladem je metoda restaurování maleb vyvinutá na MIT: pomocí AI se vytvoří digitální maska, poté vytiskne na tenkou polymerovou fólii a reverzibilně aplikuje na poškozený obraz nebo malbu; celý proces včetně analýzy a přenosu pigmentů trvá jen několik hodin.
Matematická formulace náhled|upright 1.2|Korekce řady zkreslení včetně geometrického (šikmá fotografie) na příkladu reklamy z roku 1942 Degradaci obrazu lze matematicky popsat jako transformaci původního (nedegradovaného) obrazu u(x,y) na pozorovaný (degradovaný) obraz z(x,y) pomocí degradačního operátoru D:
Úkolem restaurace obrazu je najít inverzní operaci, která ze známého degradovaného obrazu z odhadne původní obraz u:
V praxi se degradace obrazu skládá z několika složek, které lze zapsat jako:
kde
T(x,y) představuje geometrické zkreslení (rotace, změna měřítka, posun),
(u * h)(x,y) značí konvoluci původního obrazu s impulzní odezvou zobrazovacího systému,
h(x,y) je impulzní odezva (také označovaná jako Point Spread Function – PSF) a
n(x,y) reprezentuje šum (noise).
Z matematického hlediska tedy restaurace obrazu je zvláštním případem inverzní úlohy, nalezení argumentu operátoru ze známého výsledku působení operátoru na tento argument. V případě restaurace obrazu je obvyklou komplikací to, že degradační operátor D není předem přesně znám.
Lineární metody Lineární metody předpokládají, že degradační operátor D (a tedy i jeho inverze) jsou lineárními operátory. To znamená, že degradace i následné restaurování obrazu se dá popsat pomocí lineárních transformací, jako je konvoluce, Fourierova transformace nebo soustava lineárních rovnic. Tento předpoklad umožňuje využít dobře známé matematické nástroje z oblasti lineární algebry a zpracování signálu.
Mezi nejčastěji používané lineární metody patří takzvaný inverzní filtr, který přímo invertuje degradační operaci, pokud je známá impulzní odezva zobrazovacího systému. Tento postup je však citlivý na přítomnost šumu a může vést k nestabilním výsledkům. Složitější variantou je Wienerův filtr, který kombinuje inverzní filtraci s potlačením šumu a poskytuje optimální řešení ve smyslu minimalizace střední kvadratické chyby. Wienerův filtr se nejčastěji realizuje ve frekvenční oblasti pomocí rychlé Fourierovy transformace a je využíván například v lékařském zobrazování, astronomii nebo při restaurování starých fotografií.
Lineární metody jsou obvykle výpočetně efektivní a dobře analyzovatelné, ale jejich účinnost klesá v přítomnosti nelineárních degradací nebo silného šumu. V takových případech je vhodné uvažovat nelineární nebo regularizační přístupy, případně využít umělou inteligenci.
Výpočet v obrazové oblasti Při řešení restaurování obrazu v obrazové oblasti se konvoluční rovnice z = u * h transformuje na soustavu lineárních rovnic. Tento přístup je užitečný zejména pro pochopení struktury problému a pro případy, kdy je impulzní odezva definována pouze lokálně nebo má specifické vlastnosti, které nelze efektivně využít ve frekvenční oblasti.
Pro digitální obraz z(x,y) o rozměrech N × N pixelů a známou impulzní odezvu h(x,y) lze konvoluci zapsat jako soustavu lineárních rovnic ve tvaru:
kde Z a U jsou vektory o rozměru N², obsahující hodnoty pixelů degradovaného a původního obrazu seřazené po řádcích. Uspořádání prvků ve vektorech následuje konvenci, kdy se nejprve vyčerpají všechny sloupce prvního řádku, poté druhého řádku a tak dále:
Matice H má rozměry N² × N² a její struktura závisí na typu impulzní odezvy. Pro typickou impulzní odezvu gaussovského typu lze matici H zapsat v blokové formě. Uvažujme například jednoduchou impulzní odezvu o rozměrech 3×3 pixely:
kde a, b a c jsou koeficienty charakterizující šířku a tvar degradace. Matice H má pak specifickou blokovou tridiagonální strukturu:
Jednotlivé bloky D a B jsou rovněž tridiagonální matice rozměru N × N. Hlavní diagonální blok D má tvar:
zatímco vedlejší diagonální bloky B mají strukturu:
Tridiagonální struktura matice H umožňuje efektivní řešení soustavy lineárních rovnic pomocí specializovaných algoritmů, jako je Thomasův algoritmus nebo LU dekompozice pro pásové matice. Výpočetní složitost takového řešení je O(N⁴) operací, což je významně vyšší než O(N² log N) operací potřebných pro řešení ve frekvenční oblasti pomocí rychlé Fourierovy transformace.
Přímé řešení soustavy Z = H · U poskytuje přesný výsledek pouze v případě absence šumu. Při přítomnosti šumu se soustava stává špatně podmíněnou a řešení je nestabilní. Navíc, matice H může být singulární nebo blízká singularitě, což znemožňuje nalezení jednoznačného řešení. Tyto problémy vedou k preferenci frekvenčního přístupu nebo k použití regularizačních technik, které do soustavy zavádějí dodatečné omezující podmínky pro stabilizaci řešení.
Výpočet ve frekvenční oblasti Výpočet restaurování obrazu ve frekvenční oblasti představuje výrazně efektivnější alternativu k přímému řešení v prostorové oblasti. Metoda využívá toho, že Fourierova transformace převádí složitou operaci konvoluce na jednoduché násobení ve frekvenční oblasti, což dramaticky snižuje výpočetní náročnost. Pro degradační model z(x,y) = (u * h)(x,y) proto platí:
Označíme-li Fourierovy transformace příslušných funkcí jako Z(u,v), U(u,v) a H(u,v), lze degradační model zapsat jednoduše jako:
Pro odhad původního obrazu stačí vydělit spektrum degradovaného obrazu spektrem impulzní odezvy:
Restaurovaný obraz v prostorové oblasti se získá aplikací inverzní Fourierovy transformace:
Tento postup se nazývá inverzní filtr ve frekvenční oblasti a je matematicky ekvivalentní inverzní filtraci popsané v předchozí kapitole, avšak s podstatně nižší výpočetní složitostí.