Tym, co odróżnia od innych rozwiązań typu 'dużego modelu językowego' (), jest fakt, że model może być trenowany metodą uczenia nienadzorowanego. Dzieje się tak w pierwszej fazie treningu. W kolejnej fazie model jest trenowany metodą nadzorowaną, ale skupioną na konkretnych zastosowaniach.
jest modelem opartym na sieciach neuronowych – transformerach, które zostały specjalnie zaprojektowane do przetwarzania sekwencji danych, takich jak tekst. Sieci neuronowe są matematycznymi modelami, które próbują naśladować sposób działania ludzkiego mózgu, dzięki czemu potrafią uczyć się na podstawie przykładów i przetwarzać duże ilości danych. W przypadku , sieci neuronowe są wykorzystywane do trenowania modelu językowego na dużym zbiorze danych tekstowych.
Jednym z najbardziej znanych zastosowań modelu jest aplikacja ChatGPT udostępniona przez OpenAI.
Historia Wczesne prace Generatywne wstępne przeszkolenie (ang. , GP) jest pojęciem znanym wcześniej w zagadnieniach uczenia maszynowego. Był oryginalnie używany w uczeniu półnadzorowanym, gdzie model jest najpierw uczony na nieoznaczonych zbiorach danych aby generować etykiety w zbiorze danych, dla którego potem jest przeprowadzanie uczenie się klasyfikatora.