Um grande modelo de linguagem (do inglês large language model - LLM) é um modelo computacional projetado para realizar tarefas de processamento de linguagem natural, especialmente a geração de linguagem, usando relações contextuais derivadas de um grande conjunto de dados de treinamento. Os LLMs podem gerar, resumir, traduzir e analisar texto em uma variedade de contextos, e são a base tecnológica dos chatbots modernos. Os LLMs podem imitar com precisão os padrões da linguagem natural porque são treinados em coleções de texto escrito por humanos. Pelo mesmo motivo, dados de treinamento enviesados ou imprecisos podem tornar a saída de um LLM menos confiável.

Atualmente, os LLMs maiores e mais capazes baseiam-se em arquiteturas transformer, que podem ser mais eficientes e paralelizáveis do que os modelos estatísticos e de redes neurais recorrentes anteriores. A pesquisa em outras arquiteturas, como modelos de espaço de estados, está em andamento.

Modelos como GPT, BERT e seus sucessores usaram esses avanços para demonstrar comportamentos emergentes em escala, como encontrar dados específicos de um grande conjunto de dados e raciocínio composicional.

Avaliações de benchmark para LLMs testam a capacidade de um modelo de realizar uma ou mais tarefas de linguagem. Os LLMs modernos podem enfrentar avaliações abrangentes de múltiplas tarefas (multi-task) medindo raciocínio, precisão factual, alinhamento e segurança. A otimização de sessões de treinamento para passar em benchmarks pode resultar em um modelo que adere demasiadamente às saídas do benchmark (sobreajuste) sem apresentar generalização genuína ou melhorias robustas de capacidade.

História miniatura|O número de publicações sobre grandes modelos de linguagem por ano, agrupadas por tipos de publicação

miniatura|O cálculo de treinamento de modelos notáveis em FLOPs versus a data de publicação no período de 2010–2024. Para modelos notáveis em geral (canto superior esquerdo), modelos de fronteira (canto superior direito), principais modelos de linguagem (canto inferior esquerdo) e principais modelos de empresas líderes (canto inferior direito). A maioria desses modelos são modelos de linguagem miniatura|O cálculo de treinamento de grandes modelos de IA notáveis em FLOPs versus data de publicação no período de 2017–2024. A maioria dos grandes modelos são modelos de linguagem ou modelos multimodais com capacidade de linguagem Antes do surgimento dos modelos baseados em transformer em 2017, alguns modelos de linguagem eram considerados grandes em relação às restrições computacionais e de dados de sua época. No início da década de 1990, modelos estatísticos da IBM foram pioneiros em técnicas de alinhamento de palavras em bitextos para tradução automática, lançando as bases para a modelagem de linguagem baseada em corpus. Em 2001, um modelo de n-gramas suavizado, como aqueles que empregam a suavização de Kneser-Ney, treinado em 300 milhões de palavras, alcançou o estado da arte em perplexidade em testes de benchmark. Durante a década de 2000, com a ascensão do amplo acesso à internet, os pesquisadores começaram a compilar conjuntos de dados de texto massivos da web ("web como corpus") para treinar modelos de linguagem estatísticos.

Indo além dos modelos de n-gramas, os pesquisadores começaram em 2000 a usar redes neurais para aprender modelos de linguagem. Seguindo o avanço das redes neurais profundas na classificação de imagens por volta de 2012, arquiteturas semelhantes foram adaptadas para tarefas de linguagem. Essa mudança foi marcada pelo desenvolvimento de embeddings de palavras (por exemplo, Word2Vec por Mikolov em 2013) e modelos sequência-para-sequência (seq2seq) usando LSTM. Em 2016, o Google fez a transição de seu serviço de tradução para a tradução automática neural (NMT), substituindo modelos estatísticos baseados em frases por redes neurais recorrentes profundas. Esses sistemas iniciais de NMT usavam arquiteturas codificador-decodificador baseadas em LSTM, já que precederam a invenção dos transformers. miniatura|upright=1.3|Uma ilustração dos componentes principais do modelo transformer retirado do artigo original, onde as camadas foram normalizadas após (em vez de antes) a atenção de múltiplas cabeças Na conferência NeurIPS de 2017, pesquisadores do Google introduziram a arquitetura transformer em seu artigo histórico "Attention Is All You Need". O objetivo deste artigo era melhorar a tecnologia seq2seq de 2014, e baseava-se principalmente no mecanismo de atenção desenvolvido por Bahdanau et al. em 2014. No ano seguinte, em 2018, o BERT foi introduzido e rapidamente se tornou "ubíquo". Embora o transformer original tenha blocos de codificador e decodificador, o BERT é um modelo de apenas codificador (encoder-only). O uso acadêmico e de pesquisa do BERT começou a declinar em 2023, após melhorias rápidas nas capacidades de modelos compostos apenas por decodificadores (decoder-only, como o GPT) para resolver tarefas por meio de prompts.

Embora o GPT-1 (decoder-only) tenha sido introduzido em 2018, foi o GPT-2 em 2019 que atraiu ampla atenção porque a OpenAI alegou ter inicialmente considerado-o poderoso demais para ser lançado publicamente, por medo de uso malicioso. O GPT-3 em 2020 deu um passo adiante e, até 2025, está disponível apenas via API, sem a opção de baixar o modelo para executá-lo localmente. Mas foi o chatbot voltado para o consumidor de 2022, o ChatGPT, que recebeu ampla cobertura da mídia e atenção do público. O GPT-4 de 2023 foi elogiado por sua maior precisão e como um "Santo Graal" por suas capacidades multimodais. A OpenAI não revelou a arquitetura de alto nível e o número de parâmetros do GPT-4. O lançamento do ChatGPT levou a um aumento no uso de LLMs em vários subcampos de pesquisa da ciência da computação, incluindo robótica, engenharia de software e trabalhos de impacto social. Em 2024, a OpenAI lançou o modelo de raciocínio OpenAI o1, que gera longas cadeias de pensamento antes de retornar uma resposta final. Muitos LLMs com contagens de parâmetros comparáveis às da série GPT da OpenAI foram desenvolvidos.

Desde 2022, os modelos de pesos abertos (open-weight) vêm ganhando popularidade, especialmente a princípio com o BLOOM e o LLaMA, embora ambos tenham restrições de uso e implantação. Os modelos Mistral 7B e Mixtral 8x7b da Mistral AI possuem uma Licença Apache mais permissiva. Em janeiro de 2025, a DeepSeek lançou o DeepSeek R1, um modelo de pesos abertos de 671 bilhões de parâmetros que tem desempenho comparável ao OpenAI o1, mas a um preço muito menor por token para os usuários.

Desde 2023, muitos LLMs foram treinados para serem multimodais, tendo a capacidade de também processar ou gerar outros tipos de dados, como imagens, áudio ou malhas 3D. Esses LLMs também são chamados de grandes modelos multimodais (LMMs), ou grandes modelos de linguagem multimodais (MLLMs).

Os LLMs de pesos abertos têm moldado cada vez mais o campo desde 2023, contribuindo para uma participação mais ampla no desenvolvimento da IA e maior transparência na avaliação de modelos. Vake et al. (2025) demonstraram que as contribuições impulsionadas pela comunidade para modelos de pesos abertos melhoram de forma mensurável sua eficiência e desempenho, com a participação dos usuários crescendo rapidamente em plataformas colaborativas como o Hugging Face. Paris et al. (2025) argumentaram ainda que a abertura na IA deve ir além do lançamento de código ou pesos do modelo para englobar inclusão, prestação de contas e responsabilidade ética na pesquisa e implantação de IA. Coletivamente, esses estudos destacam que os LLMs de pesos abertos podem acelerar a inovação e melhorar a reprodutibilidade científica, ao mesmo tempo em que promovem um ecossistema de IA mais transparente e participativo.

Pré-processamento de conjuntos de dados

Tokenização Como os algoritmos de aprendizado de máquina processam números em vez de texto, o texto deve ser convertido em números. Na primeira etapa, um vocabulário é definido, em seguida, índices inteiros são atribuídos de forma arbitrária, porém única, a cada entrada do vocabulário e, finalmente, um embedding é associado ao índice inteiro. Os algoritmos incluem a codificação por pares de bytes (do inglês byte-pair encoding - BPE) e o WordPiece. Existem também tokens especiais que servem como caracteres de controle, como [MASK] para um token mascarado (como usado no BERT) e [UNK] ("desconhecido") para caracteres que não aparecem no vocabulário. Além disso, alguns símbolos especiais são usados para denotar formatação de texto especial. Por exemplo, "Ġ" indica um espaço em branco precedente no RoBERTa e GPT, e "##" indica a continuação de uma palavra anterior no BERT.

Por exemplo, o tokenizador BPE usado pela versão legada do GPT-3 dividiria tokenizer: texts -> series of numerical "tokens" como tokenizer: texts ->series of numerical "tokens"

A tokenização também comprime os conjuntos de dados. Como os LLMs geralmente exigem que a entrada seja um arranjo (array) que não seja irregular, os textos mais curtos devem ser preenchidos ("padded") até corresponderem ao comprimento do mais longo. O número médio de palavras por token depende do idioma.

Codificação por pares de bytes

Como exemplo, considere um tokenizador baseado na codificação por pares de bytes. Na primeira etapa, todos os caracteres únicos (incluindo espaços e sinais de pontuação) são tratados como um conjunto inicial de n-gramas (ou seja, conjunto inicial de unigramas). Sucessivamente, o par mais frequente de caracteres adjacentes é mesclado em um bigrama e todas as instâncias do par são substituídas por ele. Todas as ocorrências de pares adjacentes de n-gramas (anteriormente mesclados) que ocorrem juntos com mais frequência são, então, novamente mescladas em um n-grama ainda mais longo, até que um vocabulário do tamanho prescrito seja obtido. Depois que um tokenizador é treinado, qualquer texto pode ser tokenizado por ele, desde que não contenha caracteres que não apareçam no conjunto inicial de unigramas.

Problemas Um vocabulário de tokens baseado nas frequências extraídas principalmente de corpora em inglês usa o menor número possível de tokens para uma palavra média em inglês. No entanto, uma palavra média em outro idioma codificada por tal tokenizador otimizado para o inglês é dividida em uma quantidade subideal de tokens. O tokenizador do GPT-2 pode usar até 15 vezes mais tokens por palavra para alguns idiomas, por exemplo, para a língua shan de Mianmar. Mesmo idiomas mais difundidos, como o português e o alemão, têm "um acréscimo de 50%" em comparação com o inglês.

Limpeza de conjuntos de dados

No contexto do treinamento de LLMs, os conjuntos de dados são normalmente limpos removendo-se dados de baixa qualidade, duplicados ou tóxicos. Conjuntos de dados limpos podem aumentar a eficiência do treinamento e levar a um melhor desempenho em tarefas subsequentes. Um LLM treinado pode ser usado para limpar conjuntos de dados para o treinamento de um LLM futuro.

Com a crescente proporção de conteúdo gerado por LLMs na web, a limpeza de dados no futuro pode incluir a filtragem desse tipo de conteúdo. O conteúdo gerado por LLMs pode representar um problema se for semelhante ao texto humano (dificultando a filtragem), mas de qualidade inferior (degradando o desempenho dos modelos treinados com ele).

Dados sintéticos

O treinamento dos maiores modelos de linguagem pode precisar de mais dados linguísticos do que os naturalmente disponíveis, ou os dados de ocorrência natural podem ser de qualidade insuficiente. Nesses casos, dados sintéticos podem ser usados. A série Phi de LLMs da Microsoft é treinada em dados que se assemelham a livros didáticos gerados por outro LLM.

Treinamento