Пажња је све што Вам је потребно () је утицајни истраживачки рад из 2017. године у области машинског учења који су објавили истраживачи из компанија Google Research и Google Brain. Рад је представио нову архитектуру дубоког учења познату као трансформер, засновану на механизму пажње који су 2014. године предложили Бахданау и сарадници. Трансформерска архитектура постала је основа многих модела за обраду природног језика, посебно великих језичких модела. Рад је цитиран више од 250.000 пута, чиме се сврстава међу најцитираније научне радове 21. века. Иако је фокус истраживања био на машинском превођењу, аутори су предвидели потенцијал за задатке попут одговарања на питања и мултимодалне генеративне вештачке интелигенције.

Наслов рада је референца на песму групе Битлси. Назив „Трансформер” одабрао је аутор Јакоб Ушкорајт јер му се реч допала.

Позадина Пре појаве трансформера, секвенцијални модели су се углавном ослањали на рекурентне (RNN) или конволуционе (CNN) неуронске мреже у оквиру архитектура енкодер–декодер. Ове мреже обрађују улазне секвенце корак по корак, што ограничава могућност паралелизације и чини обуку на савременом хардверу релативно спором. Трансформер је потпуно заменио ту секвенцијалну обраду архитектуром заснованом искључиво на механизму пажње, чиме се омогућава паралелна обрада свих елемената секвенце и значајно ефикасније скалирање.

Аутори рада су Ашиш Вазвани, Ноам Шазир, Ники Пармар, Јакоб Ушкорајт, Лајон Џоунс, Ајдан Гомез, Лукаш Кајзер и Илија Полосухин. Свих осам аутора се сматра равноправним главним доприносиоцима; наведени редослед је насумичан. Након објављивања рада, већина аутора је напустила Google и прешла у друге компаније или основала сопствене стартапе, укључујући OpenAI и Anthropic.

Архитектура оригиналног трансформера мини|363x363px|Оригинална архитектура трансформера Главни део публикације представља детаљан опис архитектуре трансформера, укључујући компоненте енкодера и декодера, као и њихове подструктуре.

Преглед архитектуре Трансформер се заснива на енкодер-декодер архитектури и укратко се може описати на следећи начин:

Енкодер-декодер архитектура

Енкодерска компонента: Енкодер претвара улазну секвенцу токена у непрекидну репрезентацију , где је свако вектор. Декодерска компонента: Декодер на улазу добија репрезентацију коју је произвео енкодер, као и до сада генерисане излазне симболе до корака . У првом кораку важи при чему је стартни симбол. Декодер на излазу даје условну расподелу вероватноће за следећи излазни симбол .

Улази и се најпре уграђују функцијом у високодимензиони простор. Цео трансформер се онда може записати као:

Слојеви енкодера и декодера Енкодер и декодер се састоје од наслаганих слојева идентичне структуре. У оригиналном раду сваки од њих има идентичних слојева:

Један слој енкодера састоји се од два узастопна подслоја , а један слој декодера од три узастопна подслоја.

Подслојеви енкодера и декодера Подслојеви енкодера су: Multi-Head Self-Attention (самопажња са више глава), означена са position-wise Feedforward neural network (позиционо независна унапредна мрежа), означена са .

Подслојеви декодера су: Masked Multi-Head Self-Attention (маскирана самопажња са више глава), означена са Encoder-Decoder-Attention (пажња енкодер-декодер), означена са position-wise Feedforward Neural Network (позиционо независна унапредна мрежа), .

Сваки подслој има резидуалну везу и накнадну нормализацију, тј. улаз се додаје излазу подслоја, а затим се резултат нормализује:

Сви слојеви унутар енкодера, односно декодера, имају исту структуру, али подслојеви поседују сопствене параметре.

Нормализација слоја Нормализација слоја () у суштини представља стандардизацију. Нека је улазни вектор. Свака компонента се стандардизује емпиријском средином и варијансом:

На резултат се примењује афина трансформација :

где се скалирајући вектор и вектор помераја уче током тренинга.

Тада је:

Уграђивање са позиционим кодирањем Улазне секвенце (за енкодер) и (за декодер) се пре уласка у модел уграђују у високодимензиони простор и проширују информацијом о позицији:

Пошто трансформер не користи рекурентне или конволуционе структуре, позициона информација се додаје кроз Positional Encoding. Свакој позицији додељује се вектор

чија је -та компонента дефинисана са:

Укупна уграђена репрезентација је матрица , где је са .

На пример, за улазну секвенцу (нем. „Пас лаје”), други токен могао би дати:

Енкодер Сваки слој енкодера састоји се од два подслоја: Multi-Head Self-Attention (): механизам пажње где упити, кључеви и вредности долазе из исте улазне секвенце, тако да се за сваки токен информација свих токена комбинује према релевантности. position-wise Feedforward neural network (): унапредна мрежа која за сваки токен посебно, али са истим параметрима, спроводи нелинеарну трансформацију, без размене информација између токена.

Са нормализацијом слоја:

-ти слој енкодера је:

Енкодер је композиција ових слојева:

Декодер Сваки слој декодера састоји се од три подслоја: Masked Multi-Head Self-Attention (): варијанта самопажње са више глава где маскирање спречава да позиција види будуће позиције, чиме се чува ауторегресивна структура. Encoder-Decoder-Attention (): механизам пажње где кључеви и вредности потичу из излаза енкодера, а упити из декодера, омогућујући декодеру приступ кодираној улазној секвенци. Position-wise Feedforward Neural Network ().

Са нормализацијом:

-ти слој декодера:

Декодер:

Позиционо независна унапредна мрежа Сваки слој садржи унапредну мрежу која се независно примењује на сваку позицију (отуда назив position-wise). Састоји се од две линеарне трансформације са ReLU активацијом између:

Механизми пажње Из уграђене улазне секвенце се помоћу матрица тежина (које се уче) добијају три матрице: упити , кључеви и вредности :

Метафорички, оне се могу интерпретирати овако: – „шта се тражи?”, – „са чиме се тражење пореди?”, – „која информација се испоручује?”. Стварна значења настају тек учењем пројекција.

+ Пример за упит (Q): „Ко је написао Чаробног стрелца?” Кључ (K) Вредност (V) Тежина (α) Опера у вези са Чаробним стрелцем Карл Марија фон Вебер 0.35 Романтичне опере 19. века Карл Марија фон Вебер 0.15 Дело страве и романтизма Јохан Август Апел 0.35 Моралне приче о искушењу Јеремијас Готхелф 0.10 Литература о пакту са ђаволом Јохан Волфганг фон Гете 0.05

Пажња рачуна сличности између и преко скаларног производа и формира тежине којима се пондеришу -вектори.

Уместо често се пише , што је скраћени запис за:

Самопажња и унакрсна пажња Самопажња (Self-Attention): када , и потичу из исте улазне секвенце. Унакрсна пажња (Cross-Attention): када долази из једне секвенце, а и из друге. Тада дужине секвенци могу бити различите ():

Функција пажње на један упит За један токен, упит и скуп парова кључ-вредност , пажња даје пондерисани збир:

где се скаларни производи скалирају са ради стабилности.

Функција пажње на све упите За матрични приступ (самопажња или унакрсна пажња):

Код самопажње су и дефинисани са:

Код унакрсне пажње и аналогно.

Различити облици пажње Маскирана самопажња (Masked Self-Attention): у декодеру се пажња ограничава тако да позиција секвенце види само себе и раније позиције. Користи се матрица маскирања са за дозвољене и за забрањене позиције:

Енкодер-декодер пажња (Encoder-Decoder-Attention): упити долазе из декодера, а кључеви и вредности из енкодера:

Пажња са више глава (Multi-Head Attention): истовремено се израчунава глава пажње, чији се излази конкатенирају и пројектују:

где је: . Конкатенација два вектора и је

Излаз Вероватноћа целе излазне секвенце дата је са:

Следећи симбол се одређује по принципу максималне вероватноће:

где је скуп свих могућих излазних симбола.

Историјски контекст

Претеча трансформера је механизам пажње уведен 2014. године за неуронско машинско превођење (Bahdanau et al.), који је омогућио моделу да се динамички фокусира на релевантне делове изворне реченице. Трансформер је отишао корак даље потпуним одбацивањем рекурентних мрежа и ослањањем искључиво на пажњу, што је донело револуционарну паралелизацију и брзину тренинга. Архитектура је убрзо постала стандард у обради природног језика и основа је готово свих савремених великих језичких модела, попут ChatGPT-а и Gemini-ја, као и многих модела за обраду слике.

Обука Оригинални рад је тестирао архитектуру на задацима машинског превођења и конституентског парсирања. Коришћени су скупови података WMT 2014 енглеско-немачки (4,5 милиона реченица) и енглеско-француски (36 милиона реченица), кодирани бајт-пар кодирањем. Обука је вршена на 8 NVIDIA P100 GPU-ова. Основни модел (100M параметара) трениран је 12 сати, а велики модел 3,5 дана. Коришћена је стопа учења са линеарним загревањем и инверзним квадратним кореном, дропаут од 0,1, изглађивање ознака 0,1. Модел је постигао најбоље резултате у превођењу за то време, уз знатно ниже трошкове обуке.

Види још Историја вештачке интелигенције Списак великих језичких модела

Референце

Спољашње везе

„Attention Is All You Need” на Google Research „Attention Is All You Need” на arXiv

Категорија:Гугл Категорија:Вештачка интелигенција