"Attention Is All You Need" é um artigo científico de 2017 sobre aprendizado de máquina de autoria de oito cientistas e engenheiros que trabalhavam no Google. O artigo introduziu uma nova arquitetura de aprendizado profundo conhecida como Transformer, baseada no mecanismo de atenção proposto em 2014 por Bahdanau et al. A abordagem do Transformer descrita no documento tornou-se a arquitetura principal de uma ampla variedade de sistemas de inteligência artificial, incluindo modelos de linguagem grandes (LLMs).
Na época, o foco da pesquisa era melhorar as técnicas de Seq2seq para tradução automática, mas os autores foram além no artigo, prevendo o potencial da técnica para outras tarefas, como responder a perguntas e o que hoje é conhecido como IA generativa multimodal.
Alguns dos primeiros exemplos nos quais a equipe testou a arquitetura Transformer incluíram a tradução de inglês para alemão, a geração de artigos da Wikipédia sobre "O Transformer" e a análise sintática. Esses experimentos convenceram a equipe de que o Transformer era um modelo de linguagem de uso geral, e não apenas uma ferramenta eficiente para tradução.
Em 2025, o artigo já havia sido citado mais de 173.000 vezes, posicionando-se entre os dez artigos científicos mais citados do século XXI. Após a publicação do documento pelo Google, todos os autores deixaram a empresa para trabalhar em outras corporações ou para fundar suas próprias startups.
Contexto Os autores do artigo são Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser e Illia Polosukhin. Todos os oito autores constam como "colaboradores de igual valor" para o artigo; a ordem de listagem foi sorteada de maneira aleatória (conforme indicado no próprio texto do artigo). Após a publicação, cada um dos autores desligou-se do Google para se integrar a outras empresas ou estabelecer startups no ecossistema de deeptech.
O título do artigo é uma referência direta à canção "All You Need Is Love" da banda The Beatles. O nome "Transformer" foi escolhido porque Jakob Uszkoreit, um dos autores do artigo, gostava da sonoridade da palavra. Um dos rascunhos de design iniciais foi intitulado "Transformers: Iterative Self-Attention and Processing for Various Tasks", e continha uma ilustração com seis personagens da franquia Transformers. Por conta disso, o grupo ficou conhecido internamente como "Team Transformer".
Métodos discutidos e introduzidos O artigo é amplamente célebre por introduzir a arquitetura Transformer, que serve de fundação para a maior parte dos modelos de linguagem grandes (LLMs) modernos. Uma razão crucial pela qual essa arquitetura é preferida pela maioria dos LLMs atuais é a sua capacidade de paralelização em comparação com os modelos predecessores. Isso garante que as operações necessárias para o treinamento possam ser aceleradas em unidades de processamento gráfico (GPUs), permitindo tempos de treinamento muito mais rápidos e a viabilização de modelos com volumes massivos de parâmetros.
O artigo introduziu os seguintes mecanismos estruturais como parte do desenvolvimento da arquitetura Transformer:
Atenção de produto escalar escalonado e autoatenção O uso do mecanismo de atenção de produto escalar escalonado (scaled dot-product attention) e de autoatenção (self-attention) em substituição às redes neurais recorrentes (RNNs) ou redes LSTM (que dependem de recorrência sequencial) permitiu um ganho expressivo de desempenho. O artigo descreve a atenção de produto escalar escalonado da seguinte forma:
onde , e são, respectivamente, as matrizes de consulta (query), chave (key) e valor (value), e representa a dimensão dos vetores de chave.
Como o modelo depende das matrizes de Consulta (), Chave () e Valor () geradas a partir da mesma fonte (ou seja, a sequência de entrada ou a janela de contexto), elimina-se a necessidade de processamento recorrente por RNNs, assegurando a paralelização completa da arquitetura. Isso difere da forma original do mecanismo de atenção introduzido em 2014. Adicionalmente, o artigo discute a introdução de um fator de escalonamento associado à raiz quadrada da dimensão dos vetores de chave (representado por e configurado inicialmente como 64 no artigo), que se mostrou altamente eficaz para evitar que o produto escalar crescesse excessivamente em dimensões altas.
No contexto específico da tarefa de tradução automática abordada no artigo, as matrizes de Consulta e Chave são comumente melhoradas por incorporações correspondentes ao idioma de origem, enquanto a matriz de Valor corresponde ao idioma de destino.
Atenção de múltiplas cabeças No mecanismo de autoatenção, consultas (), chaves () e valores () são gerados dinamicamente para cada sequência de entrada (tipicamente limitada pelo tamanho da janela de contexto), permitindo que o modelo foque em diferentes partes da sequência a cada etapa. O mecanismo de atenção de múltiplas cabeças (multi-head attention) aprimora esse processo ao introduzir várias cabeças de atenção operando em paralelo. Cada cabeça de atenção aprende projeções lineares distintas das matrizes , e . Isso permite que o modelo capture diferentes aspects e nuances das relações entre as palavras na sequência simultaneamente, em vez de se limitar a uma única perspectiva de associação.
Após o cálculo das saídas de atenção de todas as cabeças, eles são concatenadas e projetadas por meio de uma transformação linear final para gerar a saída da camada.
Codificação posicional Como o Transformer não depende de recorrência ou de operações de convolução no texto para realizar a codificação e a decodificação, o artigo introduziu o uso de funções de ondas senoidais e cossenooidais para codificar a posição geométrica do token dentro da incorporação vetorial. Os métodos matemáticos introduzidos no artigo são detalhados abaixo:
onde é a posição da palavra, é o índice da dimensão atual e corresponde à dimensão do modelo. A função seno é aplicada para os índices pares da incorporação, enquanto a função cosseno é aplicada para os índices ímpares. A incorporação posicional resultante () é então somada diretamente à incorporação da palavra na posição correspondente dentro da janela de contexto. O artigo comenta a escolha dessa metodologia geométrica afirmando:
"Escolhemos a versão sinusoidal porque ela pode permitir que o modelo extrapole para comprimentos de sequência mais longos do que aqueles encontrados durante o treinamento."
Contexto histórico
Predecessores Por muitos anos, a modelagem e a geração de sequências eram realizadas por meio do uso de redes neurais recorrentes (RNNs) convencionais. Um exemplo pioneiro e amplamente citado foi a Rede de Elman (1990). Em teoria, a informação de um token pode se propagar arbitrariamente ao longo de toda a sequência, mas, na prática, o problema do gradiente evanescente faz com que o estado do modelo ao final de uma frase longa perca informações precisas e extraíveis sobre os tokens precedentes.
Um avanço fundamental foi a arquitetura LSTM (originalmente descrita em um relatório técnico de 1995 e publicada formalmente em 1997), uma RNN que introduziu mecanismos de portas (gating) para mitigar o problema do gradiente evanescente, permitindo o aprendizado eficiente na modelagem de sequências longas. Um elemento estrutural essencial foi o uso de unidades de controle multiplicativas, nas quais as saídas de alguns neurônios modulam as saídas de outros. Essas unidades multiplicativas são conceitualmente distintas do mecanismo de atenção aditivo introduzido posteriormente para os modelos de sequência para sequência (seq2seq). As redes neurais que utilizavam unidades multiplicativas foram mais tarde denominadas redes sigma-pi ou redes de ordem superior. A LSTM tornou-se a arquitetura padrão para modelagem de sequências longas até a publicação dos Transformers em 2017. No entanto, a LSTM ainda operava por meio de processamento sequencial, assim como a maioria das outras RNNs. Especificamente, as RNNs processam um token por vez, do primeiro ao último, o que impossibilita a execução de operações em paralelo sobre todos os tokens de uma sequência.
Os Transformers modernos superam esse problema, mas, ao contrário das RNNs, exigem um tempo de computação que é quadrático em relação ao tamanho da janela de contexto. O controlador de pesos rápidos de escala linear (1992) aprende a computar uma matriz de pesos para processamento posterior dependendo da entrada. Uma de suas duas redes possui "pesos rápidos" ou "ligações dinâmicas" (1981).Christoph von der Malsburg: The correlation theory of brain function. Internal Report 81-2, MPI Biophysical Chemistry, 1981. Ver reimpressão em Models of Neural Networks II, capítulo 2, páginas 95–119. Springer, Berlim, 1994. Uma rede neural lenta aprende por meio de gradiente descendente a gerar chaves e valores para calcular as mudanças de peso da rede neural rápida, que por sua vez computa as respostas às consultas. Posteriormente, demonstrou-se que esse mecanismo é equivalente ao Transformer linear não normalizado.
Atenção com seq2seq
A ideia de transdução de sequências por meio de codificador-decodificador (encoder-decoder) foi desenvolvida no início da década de 2010. A origem do conceito seq2seq é comumente atribuída a dois artigos publicados simultaneamente em 2014.
Um modelo de 380 milhões de parâmetros voltado para tradução automática utilizava duas redes LSTM. Sua arquitetura consistia em duas partes: o codificador (encoder), uma LSTM que recebia uma sequência de tokens e a transformava em um vetor; e o decodificador (decoder), outra LSTM que convertia esse vetor de volta em uma sequência de tokens. De forma semelhante, outro modelo de 130 milhões de parâmetros empregava unidades recorrentes estruturadas (GRUs) em vez de LSTMs. Pesquisas subsequentes demonstraram que as GRUs não apresentam desempenho superior ou inferior às LSTMs em tarefas de seq2seq.
Esses modelos seq2seq primitivos não possuíam mecanismo de atenção, e o vetor de estado ficava acessível apenas após o processamento da última palavra do texto de origem. Embora, em teoria, esse vetor devesse reter as informações de toda a frase original, na prática a preservação era deficiente. Isso ocorria porque a entrada era processada sequencialmente por uma rede recorrente até gerar um vetor de saída de tamanho fixo, o qual era então processado por outra rede recorrente para gerar o resultado. Se a entrada fosse longa, o vetor de saída não conseguia conter todas as informações relevantes, degradando a qualidade do resultado. Como evidência disso, a inversão da ordem da frase de entrada melhorava a tradução nos modelos seq2seq.
O modelo RNN search introduziu um mecanismo de atenção ao seq2seq para tradução automática com o objetivo de resolver o problema de gargalo do vetor de saída de tamanho fixo, permitindo que o modelo processasse dependências de longo alcance com maior facilidade. O nome deve-se ao fato de o sistema "emular uma busca através da frase de origem durante a decodificação de uma tradução".
A comparação do desempenho relativo entre arquiteturas de modelos de atenção global (como o do RNN search) e local (janela deslizante) para tradução automática revelou que a atenção mista apresentava qualidade superior à da atenção global, enquanto a atenção local reduzia o tempo de tradução.
Em 2016, o Google Tradutor foi reestruturado para o sistema de Tradução Automática Neural do Google (GNMT), que substituiu o modelo anterior baseado em Tradução automática estatística. O novo modelo consistia em um sistema seq2seq no qual tanto o codificador quanto o decodificador eram compostos por 8 camadas de LSTMs bidirecionais. O desenvolvimento do sistema levou nove meses e superou o desempenho da abordagem estatística, cujo desenvolvimento havia levado dez anos.
Paralelização da atenção