alt=Diagram przedstawiający architekturę modelu GPT|mały|Architektura GPT Wstępnie przeszkolony transformer generatywny () (ang. ) – rodzaj dużego modelu językowego, czyli modelu uczenia maszynowego, który został wytrenowany na dużych zbiorach danych i potrafi generować tekst na podstawie podanego mu kontekstu. jest jednym z największych i najbardziej zaawansowanych modeli językowych. Pierwszy model został przedstawiony przez amerykańską spółkę OpenAI w 2018 roku. Do 2025 roku OpenAI przedstawiła pięć wersji . Modele są również rozwijane przez inne firmy, takie jak: EleutherAI, Cerebras.

W uproszczeniu można powiedzieć, że jest programem komputerowym, który przetwarza ogromne ilości tekstu, aby nauczyć się reguł języka. Następnie, gdy dostanie fragment tekstu, potrafi wygenerować sensowne i poprawne gramatycznie kontynuacje zdania, a gdy dostanie zapytanie, potrafi wygenerować sensowne odpowiedzi. Model GPT był trenowany na różnorodnych źródłach danych, w tym na artykułach z Wikipedii, artykułach prasowych i różnorodnych tekstach z internetu.

Tym, co odróżnia od innych rozwiązań typu 'dużego modelu językowego' (), jest fakt, że model może być trenowany metodą uczenia nienadzorowanego. Dzieje się tak w pierwszej fazie treningu. W kolejnej fazie model jest trenowany metodą nadzorowaną, ale skupioną na konkretnych zastosowaniach.

jest modelem opartym na sieciach neuronowych – transformerach, które zostały specjalnie zaprojektowane do przetwarzania sekwencji danych, takich jak tekst. Sieci neuronowe są matematycznymi modelami, które próbują naśladować sposób działania ludzkiego mózgu, dzięki czemu potrafią uczyć się na podstawie przykładów i przetwarzać duże ilości danych. W przypadku , sieci neuronowe są wykorzystywane do trenowania modelu językowego na dużym zbiorze danych tekstowych.

Jednym z najbardziej znanych zastosowań modelu jest aplikacja ChatGPT udostępniona przez OpenAI.

Historia Wczesne prace Generatywne wstępne przeszkolenie (ang. , GP) jest pojęciem znanym wcześniej w zagadnieniach uczenia maszynowego. Był oryginalnie używany w uczeniu półnadzorowanym, gdzie model jest najpierw uczony na nieoznaczonych zbiorach danych aby generować etykiety w zbiorze danych, dla którego potem jest przeprowadzanie uczenie się klasyfikatora.

W latach dwa tysiące dziesiątych problem tłumaczenia maszynowego był adresowany z użyciem sieci RNN wraz z mechanizmem uwagi. Ta koncepcja została później ulepszona w architekturze transformera. To zapoczątkowało tworzenie dużych modeli językowych jak BERT w 2018, który posiada wstępnie wytrenowany transformer ale nie był stworzony jako model generatywny (BERT składał się tylko z koderów).

Rozwój modeli GPT-1, pierwszy model z serii, został wydany w 2018 roku. GPT-1 jako pierwszy model w serii zastosował innowacyjne podejście do uczenia nienadzorowanego i uczenia transferowego. Umożliwiło to generowanie tekstów o większej spójności i zrozumiałości w porównaniu do wielu wcześniejszych modeli przetwarzania języka naturalnego, co stanowiło istotny krok w rozwoju sztucznej inteligencji opartej na przetwarzaniu języka naturalnego.

GPT-2 zostało wydane w lutym 2019 roku, a GPT-3 w czerwcu 2020 roku.

Kolejne wersje wprowadzały fundamentalne zmiany w architekturze i usprawnienia względem GPT-1, takie jak: zwiększenie liczby parametrów, co pozwoliło na lepsze modelowanie języka, oraz wytrenowanie na znacznie większym i bardziej zróżnicowanym zbiorze danych, dzięki czemu modele były w stanie lepiej generalizować i radzić sobie z różnorodnymi zadaniami związanymi z przetwarzaniem języka naturalnego.

Postęp w rozwoju modelu GPT-3 pozwolił na przełom w postaci nabycia przez model umiejętności wykonywania prostych zadań arytmetycznych, w tym tworzenia fragmentów kodu i wykonywania zadań wymagających pewnego poziomu inteligencji. Generacja GPT-4 została udostępniona 14 marca 2023 roku; model charakteryzuje się o 82% niższym prawdopodobieństwem udzielenia odpowiedzi na żądania użytkowników dotyczących treści niedozwolonych oraz o 40% większym prawdopodobieństwem przedstawienia odpowiedzi zgodnych z faktami w porównaniu z modelem GPT-3.5.

Model GPT-5 został wydany 7 sierpnia 2025.

Modele fundamentalne Postęp i złożoność kolejnych wersji modelu fundamentalnego obrazuje tabela:

Model Architektura Parametry Warstwy dekodera Rozmiar kontekstu tokenów Warstwa ukryta Rozmiar partiiKoszt treningu GPT-1 12-warstw, 12-częściowy dekoder transformera (bez koderów), wraz z funkcją softmax 117 milionów 12 512 768 6430 dni na 8 kartach P600, 1 petaFLOPS-dni GPT-2 GPT-1, ze zmodyfikowaną normalizacją 1,5 miliarda 48 1024 1600 512„dziesiątki petaFLOPS-dni”, lub operacji zmiennoprzecinkowych GPT-3 GPT-2, z usprawnieniami zwiększającymi skalowanie 175 miliardów 96 2048 12 288 3,2 mln„3640 petaFLOPS-dni”, lub op. zmiennoprz. GPT-4 nauczanie z predykcją tekstu i uczeniem się przez wzmacnianie na podstawie informacji zwrotnej od ludzi. Akceptuje tekst jak i obraz Nieujawniona, szacunkowo ok. 1,7 biliona 768 8 192 do 32 768 49 152 NieznanyNieujawniona, szacunkowo op. zmiennoprz.GPT-4o?GPT-4.5?GPT-4.1?GPT-5?

Przypisy

Linki zewnętrzne (wideo)

Kategoria:Generatywna sztuczna inteligencja Kategoria:Duże modele językowe Kategoria:Uczenie maszynowe Kategoria:Algorytmy