Un tresformador xenerativu preentrenáu (GPT, del inglés generative pre-trained transformer) ye un tipu de modelu de llinguaxe basáu na arquitectura de tresformador y entrenáu previamente sobre grandes cantidaes de datos. Los modelos GPT empleguen aprendizaxe fondu pa procesar y xenerar llinguaxe natural y constitúin una de les principales families de modelos de llinguaxe grandes.
El conceutu foi popularizáu por OpenAI en 2018 cola publicación del trabayu Improving Language Understanding by Generative Pre-Training, nel que Alec Radford y otros investigadores combinaron dos idees existentes: la arquitectura tresformador y el preentrenamientu non supervisáu. El modelu entrenábase primero sobre un corpus grande de testu ensin etiquetar y posteriormente adaptábase a xeres específiques mediante entrenamientu supervisáu.
Los GPT son modelos autorregresivos: reciben una secuencia de testu y calculen probabilísticamente cuál ye'l siguiente token. Repitiendo esti procesu pueden xenerar testos de gran estensión. L'aumentu del númberu de parámetros, la cantidá de datos y la capacidá de cómputu permitió que les xeneraciones posteriores realizaren xeres como traducción, resumen, programación y respuesta a entrugues.
La familia desarrollada por OpenAI inclúi modelos como GPT-2, GPT-3 y GPT-4, y la mesma arquitectura xeneral influyó nel desenvolvimientu de numerosos modelos posteriores. Los GPT constitúin tamién la base tecnolóxica orixinal de ChatGPT, un sistema conversacional presentáu por OpenAI en 2022.
Referencies
Enllaces esternos
Categoría:Intelixencia artificial Categoría:Aprendizaxe automática Categoría:Modelos de llinguaxe grandes Categoría:Procesamientu del llinguaxe natural