mały|Architektura transformera wizyjnego. Obraz wejściowy jest dzielony na fragmenty, z których każdy jest liniowo mapowany poprzez warstwę osadzania fragmentów, zanim trafi do kodera transformera. Transformer wizyjny (, ViT) – transformer przeznaczony do komputerowego przetwarzania obrazu. ViT rozkłada obraz wejściowy na serię fragmentów (zamiast tekstu na tokeny), mapuje każdy fragment do wektora i mapuje go na mniejszy wymiar za pomocą mnożenia macierzy.
Sieci ViT zostały zaprojektowane jako alternatywa dla konwolucyjnych sieci neuronowych (CNN) w zastosowaniach przetwarzania obrazu. Różnią się one stabilnością treningu i wydajnością danych. ViT w porównaniu z CNN jest mniej wydajny pod względem przetwarzania danych, ale mają większą pojemność. Niektóre z największych współczesnych modeli komputerowego widzenia to ViT, na przykład model z 22 mld parametrów.
Transformer wizyjny znalazł zastosowanie w rozpoznawaniu obrazów, wykrywaniu deepfake’ów, segmentacji obrazów, przewidywaniu pogody i pojazdach autonomicznych.
Przypisy
Kategoria:Cyfrowe przetwarzanie obrazów Kategoria:Sieci neuronowe