Transformator je arhitektura dubokog učenja koju je razvio i zasnovana na algoritmu mehanizma višestruke pažnje, predloženom u radu objavljenom 2017. godine, pod naslovom (Pažnja je sve što vam je potrebno). On nema rekurentne jedinice i stoga zahteva manje vremena za obuku od prethodnih rekurentnih neuronskih arhitektura, kao što je dugotrajna kratkoročna memorija (LSTM), i njegova kasnija varijacija je pretežno usvojena za obuku velikih jezičkih modela (LLM) na velikim (jezičkim) skupovima podataka, kao što su korpus Vikipedije i Komon Krol. Tekst se konvertuje u numeričke reprezentacije koje se nazivaju tokeni, a svaki token se konvertuje u vektor traženjem iz tabele ugrađenih reči. Na svakom sloju, svaki se token zatim kontekstualizuje unutar okvira kontekstnog prozora sa drugim (nemaskiranim) tokenima preko paralelnog mehanizma pažnje sa više glava koji omogućava da se pojača signal za ključne tokene i umanji značaj manje važnih tokena. Publikacija o transformatoru, objavljena 2017. godine, zasnovana je na softmaks mehanizmu pažnje koji su predložili Bahdanau 2014. za mašinsko prevođenje, i brzom kontroleru težinskog faktora, sličnom transformatoru, predloženom 1992. godine.
Ova arhitektura se sada koristi ne samo u obradi prirodnog jezika i kompjuterskoj viziji, već i u audio i multimodalnoj obradi. To je takođe dovelo do razvoja unapred obučenih sistema, kao što su generativni prethodno obučeni transformatori (GPT) i BERT (bidirekciona enkoderska reprezentacija za transformatore).
Reference
Literatura
Hubert Ramsauer et al. (2020), "Hopfield Networks is All You Need" , preprint submitted for ICLR 2021. ; see also authors' blog – Discussion of the effect of a transformer layer as equivalent to a Hopfield update, bringing the input closer to one of the fixed points (representable patterns) of a continuous-valued Hopfield network Alexander Rush, The Annotated transformer , Harvard NLP group, 3 April 2018
Категорија:Вештачке неуронске мреже