dreapta|miniatura|Modelul GPT original
Un transformator generativ preantrenat (GPT, din engleză generative pre-trained transformer) este un tip de model lingvistic mare (LLM) utilizat pe scară largă de agenții conversaționali bazați pe inteligență artificială generativă. Modelele GPT se bazează pe o arhitectură de învățare profundă denumită transformator. Acestea sunt preantrenate pe seturi mari de date care cuprind conținut neetichetat și pot genera conținut nou.
OpenAI a fost prima organizație care a aplicat preantrenarea generativă arhitecturii de tip transformator, prezentând modelul GPT-1 în 2018. Agentul conversațional ChatGPT, lansat la sfârșitul anului 2022 și bazat inițial pe GPT-3.5, a fost urmat de numeroși agenți conversaționali concurenți care utilizează propriile transformatoare generative preantrenate pentru a genera texte, precum Gemini, DeepSeek și Claude.
Modelele GPT sunt utilizate în principal pentru generarea textelor, dar pot fi antrenate și pentru a genera alte tipuri de date. Modelele GPT multimodale pot prelucra sau genera mai multe tipuri de date, precum text, imagini și conținut audio. Pentru îmbunătățirea performanțelor în sarcini complexe, modelele GPT de raționament alocă mai mult timp de calcul analizării problemei înainte de a genera un răspuns.
Context În anii 2010, îmbunătățirea algoritmilor de învățare automată, dezvoltarea unor calculatoare mai puternice și creșterea volumului de materiale digitalizate au favorizat expansiunea inteligenței artificiale.
Separat, preantrenarea generativă era deja o tehnică consacrată în învățarea automată. Aceasta constituie o formă de învățare autosupravegheată în cadrul căreia un model este antrenat inițial pe un set mare de date neetichetate, în etapa de „preantrenare”, pentru a învăța să genereze date. Modelul preantrenat este ulterior adaptat unei sarcini specifice prin utilizarea unui set de date etichetate, în etapa de „ajustare fină”.
Arhitectura transformatorului, utilizată în învățarea profundă, reprezintă tehnologia fundamentală a modelelor GPT. Dezvoltată de cercetători de la Google, aceasta a fost prezentată în lucrarea „Attention Is All You Need”, publicată în 2017. Arhitectura transformatorului a rezolvat numeroase probleme de performanță asociate arhitecturilor mai vechi de rețele neuronale recurente (RNN), utilizate în prelucrarea limbajului natural (NLP). Utilizarea unui mecanism de atenție permite modelelor să prelucreze simultan secvențe întregi de text, facilitând antrenarea unor modele considerabil mai mari și mai sofisticate. Sistemele de prelucrare a limbajului natural bazate pe transformatoare pot prelucra, analiza, organiza, corela, compara și rezuma texte, precum și răspunde la întrebări pe baza informațiilor textuale furnizate.
Istoric La 11 iunie 2018, cercetători și ingineri de la OpenAI au publicat lucrarea „Improving Language Understanding by Generative Pre-Training”, în care au prezentat GPT-1, primul model GPT. Acesta a fost conceput ca model lingvistic mare bazat pe arhitectura transformatorului, preantrenat generativ pe BookCorpus, un corpus textual diversificat, și supus ulterior unei ajustări fine discriminative pentru adaptarea la sarcini lingvistice specifice. Această abordare semisupravegheată a fost considerată un progres semnificativ. Modelele GPT utilizează numai componenta de decodare a arhitecturii transformatorului, preantrenată pentru a prezice următorul token dintr-o secvență. Anterior, cele mai performante modele neuronale utilizate în prelucrarea limbajului natural se bazau, de regulă, pe învățare supravegheată și pe cantități mari de date etichetate manual; antrenarea unui model lingvistic mare prin această metodă ar fi presupus costuri prohibitive și un consum considerabil de timp.
La 14 februarie 2019, OpenAI a prezentat GPT-2, un model mai mare, capabil să genereze texte coerente. Conceput prin extinderea directă a predecesorului său, acesta avea un număr de parametri și un set de date de antrenare de zece ori mai mari. GPT-2 cuprinde 1,5 miliarde de parametri și a fost antrenat pe WebText, un set de date de 40 de gigaocteți alcătuit din 8 milioane de pagini web. Invocând riscul utilizării în scopuri malițioase, OpenAI a optat pentru o „lansare etapizată”, publicând inițial versiuni mai mici ale modelului, înainte de lansarea versiunii complete, cu 1,5 miliarde de parametri, în luna noiembrie.
La 10 februarie 2020, Microsoft a prezentat modelul Turing Natural Language Generation, despre care a afirmat că reprezenta „cel mai mare model lingvistic publicat până atunci, având 17 miliarde de parametri”. Modelul a depășit performanțele tuturor modelelor lingvistice anterioare în diverse sarcini, inclusiv rezumarea textelor și formularea răspunsurilor la întrebări.
La 28 mai 2020, OpenAI a prezentat GPT-3, un model cu 175 de miliarde de parametri, antrenat pe un set de date mai mare decât cel utilizat pentru GPT-2. Acesta a reprezentat un progres semnificativ în ceea ce privește învățarea pe baza unui număr redus de exemple și învățarea fără exemple. Pornind de la câteva exemple, modelul putea îndeplini diverse sarcini pentru care nu fusese antrenat în mod explicit.
După lansarea GPT-3, OpenAI a început să utilizeze învățarea prin întărire din feedback uman (RLHF) pentru a alinia mai bine comportamentul modelelor la preferințele oamenilor. Această abordare a dus la dezvoltarea InstructGPT, o versiune ajustată fin a GPT-3. OpenAI a perfecționat ulterior InstructGPT pentru a crea ChatGPT, principalul său agent conversațional, lansat la 30 noiembrie 2022. ChatGPT s-a bazat inițial pe GPT-3.5, trecând ulterior la modelul GPT-4, lansat la 14 martie 2023. GPT-4 a fost integrat și în mai multe aplicații, printre care Microsoft Copilot, GitHub Copilot, Snapchat, Khan Academy și Duolingo.
Popularitatea considerabilă a ChatGPT a stimulat dezvoltarea unor sisteme concurente bazate pe GPT de către alte organizații. EleutherAI a lansat mai multe modele cu ponderi deschise, inclusiv GPT-J, în 2021. Ulterior, alte mari companii tehnologice și-au dezvoltat propriile modele GPT, precum PaLM și Gemini, create de Google, respectiv Llama, dezvoltat de Meta AI.
Numeroase modele GPT dezvoltate ulterior au fost antrenate pentru a deveni multimodale, adică pentru a putea prelucra sau genera mai multe tipuri de date. De exemplu, GPT-4o poate atât prelucra, cât și genera text, imagini și conținut audio. Totodată, modele GPT precum o3 și DeepSeek R1 au fost antrenate prin învățare prin întărire pentru a genera lanțuri de raționament alcătuite din mai multe etape înainte de formularea răspunsului final, facilitând rezolvarea problemelor complexe din domenii precum matematica.
Modele fundamentale Un model fundamental este un model de inteligență artificială antrenat pe volume mari și diversificate de date, astfel încât să poată fi adaptat unei game largi de sarcini ulterioare. Modelele GPT fundamentale pot utiliza, la intrare sau la ieșire, și alte modalități decât textul. În ceea ce privește rezultatele multimodale, anumite modele generative bazate pe transformatoare sunt utilizate pentru tehnologii de generare a imaginilor din text, precum modelele de difuzie și decodarea paralelă. Aceste modele pot funcționa ca modele vizuale fundamentale (VFM), utilizate pentru dezvoltarea unor sisteme capabile să prelucreze imagini.
Arhitecturi eficiente ale transformatoarelor Necesarul de resurse de calcul și memorie al modelelor bazate pe transformatoare crește semnificativ pe măsură ce dimensiunile modelelor și lungimea secvențelor de intrare se măresc. Mecanismul standard de autoatenție are o complexitate pătratică în raport cu lungimea secvenței de intrare, așa cum este descris în lucrarea Attention Is All You Need.
Cercetătorii au propus diverse îmbunătățiri ale eficienței, precum mecanisme de atenție dispersă și arhitecturi cu consum redus de memorie, care diminuează costurile de calcul și permit utilizarea unor ferestre de context mai extinse.
Modele precum BigBird, Reformer și FlashAttention utilizează tipare structurate de atenție sau calcule optimizate pentru îmbunătățirea scalabilității și a eficienței.
Aceste progrese permit modelelor lingvistice mari să prelucreze eficient secvențe lungi de intrare, reducând necesarul de memorie și resurse de calcul atât în timpul antrenării, cât și în etapa de inferență.
Legi de scalare Legile de scalare descriu relațiile empirice dintre performanțele modelelor lingvistice mari și factori precum dimensiunea modelului, volumul setului de date și resursele de calcul. Cercetările empirice au arătat că performanțele tind să urmeze aproximativ relații de tip lege de putere pe măsură ce acești factori cresc.
Modelele mai mari, antrenate pe volume mai mari de date, înregistrează în general valori mai reduse ale funcției de pierdere în timpul antrenării și prezintă o capacitate superioară de generalizare. Cercetări ulterioare indică faptul că performanța nu depinde exclusiv de numărul parametrilor, ci și de echilibrul dintre dimensiunea modelului, volumul datelor și resursele de calcul utilizate în procesul de antrenare.
Aceste observații au influențat dezvoltarea generațiilor succesive de modele GPT, în special deciziile privind proiectarea arhitecturii, alcătuirea seturilor de date și strategiile de antrenare.
Capacități emergente Capacitățile emergente desemnează aptitudini care apar la modelele lingvistice mari numai după atingerea unei anumite dimensiuni și care nu sunt prezente în versiunile mai mici ale acelorași modele. Aceste capacități sunt considerate „emergente” deoarece apar pe măsură ce cresc dimensiunea modelului, volumul datelor de antrenare și resursele de calcul.
Printre exemplele de capacități emergente se numără raționamentul în mai multe etape, învățarea în context — capacitatea de a îndeplini sarcini pe baza exemplelor furnizate în prompturi, fără antrenare suplimentară — și îmbunătățirea rezultatelor la testele complexe de evaluare a competențelor lingvistice și de raționament.
Cercetările indică faptul că aceste capacități nu cresc liniar, ci apar după ce modelele depășesc anumite praguri privind dimensiunea și amploarea antrenării.
Acest fenomen a influențat dezvoltarea unor modele GPT de dimensiuni mai mari și a contribuit la creșterea eficacității acestora într-o gamă largă de sarcini.
Aspecte privind drepturile asupra mărcilor miniatura|OpenAI susține că „GPT” reprezintă propria sa marcă, invocând asocierea denumirii cu ChatGPT și cu diferitele versiuni ale modelelor sale.
OpenAI, care a creat primul transformator generativ preantrenat în 2018, a susținut în 2023 că „GPT” ar trebui considerat o marcă a companiei. În aprilie 2023, OpenAI a modificat regulile privind utilizarea mărcii incluse în condițiile sale de utilizare, precizând că alte companii care folosesc interfața sa de programare a aplicațiilor pentru furnizarea unor servicii de inteligență artificială nu mai pot include „GPT” în denumirile sau identitatea comercială ale acestora. În mai 2023, OpenAI a angajat un serviciu de administrare a mărcilor pentru a informa utilizatorii interfeței sale de programare cu privire la această politică, deși notificările nu conțineau pretenții juridice explicite, precum acuzații de încălcare a drepturilor asupra mărcilor sau solicitări de încetare a utilizării. În noiembrie 2023, OpenAI continua să interzică beneficiarilor licențelor pentru interfața sa de programare să includă „GPT” în denumirile propriilor produse, dar începuse să permită abonaților ChatGPT Plus să creeze pe site-ul OpenAI „versiuni personalizate ale ChatGPT”, denumite GPT-uri. Condițiile de utilizare ale OpenAI prevăd că abonații pot folosi „GPT” în denumirile acestor versiuni, deși această practică este „descurajată”.