direita|miniaturadaimagem|Modelo GPT original Um transformador pré-treinado generativo (GPT, do inglês generative pre-trained transformer) é um tipo de modelo de linguagem grande (LLM) amplamente utilizado em chatbots de inteligência artificial generativa. Os GPTs são baseados em uma arquitetura de aprendizagem profunda chamada transformador. Eles são pré-treinados em grandes conjuntos de dados de conteúdo não rotulado e são capazes de gerar novos conteúdos.
A OpenAI foi a primeira organização a aplicar o pré-treinamento generativo à arquitetura de transformadores, introduzindo o modelo GPT-1 em 2018. O chatbot ChatGPT, lançado no fim de 2022 e inicialmente baseado no GPT-3.5, foi seguido por diversos chatbots concorrentes que utilizam seus próprios transformadores pré-treinados generativos para gerar texto, como Gemini, DeepSeek e Claude.
Os GPTs são usados principalmente para gerar texto, mas também podem ser treinados para produzir outros tipos de dados. GPTs multimodais podem processar ou gerar múltiplos tipos de dados, como texto, imagens e áudio. Para melhorar o desempenho em tarefas complexas, GPTs de raciocínio destinam mais tempo de computação à análise do problema antes de gerar uma saída.
Contexto Durante a década de 2010, a melhoria dos algoritmos de aprendizado de máquina, o aumento da capacidade computacional e o crescimento da quantidade de material digitalizado contribuíram para um boom da inteligência artificial.
Separadamente, o conceito de pré-treinamento generativo (GP, do inglês generative pre-training) já era uma técnica estabelecida no aprendizado de máquina. O GP é uma forma de aprendizado autossupervisionado na qual um modelo é inicialmente treinado em um grande conjunto de dados não rotulado — a etapa de "pré-treinamento" — para aprender a gerar pontos de dados. Esse modelo pré-treinado é então adaptado a uma tarefa específica usando um conjunto de dados rotulado — a etapa de "ajuste fino".
A arquitetura de transformadores para aprendizagem profunda é a tecnologia central de um GPT. Desenvolvida por pesquisadores do Google, foi apresentada no artigo Attention Is All You Need, publicado em 2017. A arquitetura de transformadores resolveu diversos problemas de desempenho associados aos projetos anteriores de redes neurais recorrentes (RNNs) para processamento de linguagem natural (PLN). O uso de um mecanismo de atenção permite que os modelos processem sequências inteiras de texto de uma só vez, possibilitando o treinamento de modelos muito maiores e mais sofisticados. Sistemas de PLN baseados em transformadores disponíveis têm sido capazes de processar, minerar, organizar, conectar, contrastar e resumir textos, além de responder a perguntas a partir de entradas textuais.
História Em 11 de junho de 2018, pesquisadores e engenheiros da OpenAI publicaram o artigo Improving Language Understanding by Generative Pre-Training, no qual apresentaram o GPT-1, o primeiro modelo GPT. Ele foi projetado como um modelo de linguagem grande baseado em transformadores que empregava pré-treinamento generativo sobre o BookCorpus, um corpus textual diversificado, seguido por ajuste fino discriminativo para se concentrar em tarefas linguísticas específicas. Essa abordagem semissupervisionada foi considerada um avanço. Os modelos GPT utilizam apenas a parte decodificadora da arquitetura de transformadores, pré-treinada para prever o próximo token de uma sequência. Anteriormente, os modelos neurais de melhor desempenho em PLN empregavam com frequência aprendizado supervisionado sobre grandes quantidades de dados rotulados manualmente — treinar um modelo de linguagem grande por essa abordagem seria proibitivamente caro e demorado.
Em 14 de fevereiro de 2019, a OpenAI apresentou o GPT-2, um modelo maior capaz de gerar texto coerente. Criado como uma ampliação direta de seu antecessor, teve tanto o número de parâmetros quanto o tamanho do conjunto de dados aumentados por um fator de dez. O GPT-2 possui 1,5 bilhão de parâmetros e foi treinado no WebText, um conjunto de dados de 40 gigabytes composto por 8 milhões de páginas da web. Citando riscos de uso malicioso, a OpenAI optou por uma "liberação em etapas", publicando inicialmente versões menores do modelo antes de disponibilizar o modelo completo de 1,5 bilhão de parâmetros em novembro.
Em 10 de fevereiro de 2020, a Microsoft apresentou o Turing Natural Language Generation, que afirmou ser o "maior modelo de linguagem já publicado, com 17 bilhões de parâmetros". O modelo superou todos os modelos de linguagem anteriores em diversas tarefas, incluindo resumo de textos e resposta a perguntas.
Em 28 de maio de 2020, a OpenAI apresentou o GPT-3, um modelo com 175 bilhões de parâmetros treinado em um conjunto de dados maior que o do GPT-2. Ele representou um avanço significativo nas capacidades de aprendizado com poucos exemplos (few-shot) e sem exemplos (zero-shot). Com poucos exemplos, era capaz de realizar diversas tarefas para as quais não havia sido explicitamente treinado.
Após o lançamento do GPT-3, a OpenAI passou a empregar aprendizado por reforço com feedback humano (RLHF) para alinhar o comportamento dos modelos mais estreitamente às preferências humanas. Isso levou ao desenvolvimento do InstructGPT, uma versão do GPT-3 submetida a ajuste fino. A OpenAI refinou posteriormente o InstructGPT para criar o ChatGPT, seu principal produto de chatbot, lançado em 30 de novembro de 2022. O ChatGPT foi inicialmente baseado no GPT-3.5, mas posteriormente passou a utilizar o GPT-4, lançado em 14 de março de 2023. O GPT-4 também foi integrado a partes de diversas aplicações, incluindo Microsoft Copilot, GitHub Copilot, Snapchat, Khan Academy e Duolingo.
A enorme popularidade do ChatGPT estimulou o desenvolvimento generalizado de sistemas concorrentes baseados em GPT por outras organizações. A EleutherAI lançou uma série de modelos de pesos abertos, incluindo o GPT-J em 2021. Posteriormente, outras grandes empresas de tecnologia desenvolveram seus próprios modelos GPT, como o PaLM e o Gemini, do Google, e o Llama, da Meta AI.
Muitos modelos GPT posteriores foram treinados para serem multimodais, isto é, capazes de processar ou gerar diferentes tipos de dados. Por exemplo, o GPT-4o pode processar e gerar texto, imagens e áudio. Além disso, modelos GPT como o o3 e o DeepSeek R1 foram treinados com aprendizado por reforço para gerar raciocínio em múltiplas etapas por cadeia de pensamento antes de produzir uma resposta final, o que auxilia na resolução de problemas complexos em domínios como a matemática.
Modelos de fundação Um modelo de fundação é um modelo de IA treinado em larga escala com dados abrangentes de forma que possa ser adaptado a uma ampla variedade de tarefas posteriores. GPTs de fundação também podem empregar modalidades além de texto, tanto na entrada quanto na saída. Quanto à saída multimodal, alguns modelos generativos baseados em transformadores são usados em tecnologias de texto para imagem, como difusão e decodificação paralela. Esses tipos de modelos podem servir como modelos de fundação visuais (VFMs) para o desenvolvimento de sistemas posteriores capazes de trabalhar com imagens.
Arquiteturas de transformadores eficientes Os requisitos computacionais e de memória de modelos baseados em transformadores aumentam significativamente à medida que eles são ampliados para tamanhos maiores e sequências de entrada mais longas. O mecanismo padrão de autoatenção possui complexidade quadrática em relação ao comprimento da sequência de entrada, como descrito em Attention Is All You Need.
Pesquisadores propuseram diversas melhorias de eficiência, como mecanismos de atenção esparsa e arquiteturas eficientes em memória, que reduzem os custos computacionais ao mesmo tempo que permitem janelas de contexto mais longas. Modelos como BigBird, Reformer e FlashAttention demonstram padrões estruturados de atenção ou computação otimizada para melhorar a escalabilidade e a eficiência.
Isso contribuiu para que modelos de linguagem grandes processem sequências de entrada longas com menor uso de memória e computação tanto durante o treinamento quanto durante a inferência.
Leis de escala As leis de escala descrevem relações empíricas entre o desempenho de grandes modelos de linguagem e fatores como tamanho do modelo, tamanho do conjunto de dados e recursos computacionais. Trabalhos empíricos constataram que o desempenho tende a seguir aproximadamente relações de lei de potência à medida que esses fatores aumentam.
Modelos maiores treinados em mais dados geralmente atingem menor perda de treinamento e melhor generalização. Trabalhos posteriores sugerem que o desempenho não é determinado apenas pelo número de parâmetros, mas pelo equilíbrio entre tamanho do modelo, quantidade de dados e computação durante o treinamento.
Essas observações influenciaram o desenvolvimento de sucessivos modelos GPT, especialmente nas decisões relativas ao projeto da arquitetura, à composição dos conjuntos de dados e às estratégias de treinamento.
Capacidades emergentes Capacidades emergentes são habilidades que aparecem em modelos de linguagem grandes somente quando eles atingem determinada escala e que não estão presentes em versões menores dos mesmos modelos. Essas capacidades são consideradas "emergentes" porque surgem à medida que aumentam o tamanho do modelo, os dados de treinamento e a capacidade computacional.
Entre os exemplos de capacidades emergentes estão o raciocínio em múltiplas etapas, o aprendizado em contexto — a capacidade de executar tarefas com base em exemplos fornecidos em prompts sem treinamento adicional — e o melhor desempenho em benchmarks complexos de linguagem e raciocínio.
Pesquisas sugerem que essas capacidades não escalam de forma linear, mas aparecem quando os modelos ultrapassam determinados limiares de tamanho e escala de treinamento.
Esse fenômeno influenciou o desenvolvimento de modelos GPT maiores e contribuiu para aumentar sua eficácia em uma ampla variedade de tarefas.
Questões de marca miniaturadaimagem|A OpenAI afirma que "GPT" constitui uma marca própria, citando sua associação com o ChatGPT e as designações das versões de seus modelos. A OpenAI, que criou o primeiro transformador pré-treinado generativo (GPT) em 2018, afirmou em 2023 que "GPT" deveria ser considerado uma marca da empresa. Em abril de 2023, a OpenAI revisou as diretrizes de marca de seus termos de serviço para indicar que outras empresas que utilizassem sua API para operar serviços de IA não poderiam mais incluir "GPT" nesses nomes ou marcas. Em maio de 2023, a OpenAI contratou um serviço de gestão de marcas para notificar clientes de sua API sobre essa política, embora essas notificações não chegassem a formular alegações jurídicas explícitas, como acusações de violação de marca registrada ou exigências de cessar e desistir. Em novembro de 2023, a OpenAI ainda proibia licenciados de sua API de nomear seus próprios produtos com "GPT", mas passou a permitir que assinantes do ChatGPT Plus criassem no site da OpenAI "versões personalizadas do ChatGPT" chamadas GPTs. Os termos de serviço da OpenAI dizem que seus assinantes podem usar "GPT" nos nomes desses sistemas, embora isso seja "desencorajado".
Relacionado a isso, a OpenAI solicitou ao United States Patent and Trademark Office (USPTO) o registro de marca do termo "GPT" no campo da IA nos Estados Unidos. A OpenAI tentou acelerar o processamento de sua solicitação, mas o USPTO rejeitou esse pedido em abril de 2023. Em maio de 2023, o USPTO rejeitou o pedido de marca da OpenAI, determinando que "GPT" era ao mesmo tempo descritivo e genérico.Fontes sobre a rejeição do USPTO: