GPT-4 (Generative Pre-trained Transformer 4) è un modello linguistico di grandi dimensioni multimodale sviluppato da OpenAI, un laboratorio di ricerca sull'intelligenza artificiale con sede a San Francisco. È il quarto modello della serie GPT e successore di GPT-3.
Distribuito ufficialmente il 14 marzo 2023, GPT-4 rappresenta un significativo salto qualitativo rispetto ai predecessori grazie alla sua capacità di accettare input non solo testuali ma anche visivi (immagini), sebbene l'output rimanga testuale. È accessibile tramite API a pagamento e per gli abbonati al servizio ChatGPT Plus, Team ed Enterprise, oltre ad essere il motore alla base di Microsoft Copilot (precedentemente Bing Chat).
Come altri "trasformatori", GPT-4 è stato pre-addestrato a prevedere il prossimo token in una sequenza utilizzando sia dati pubblici che "dati concessi in licenza da fornitori di terze parti", ed è stato poi perfezionato tramite l'apprendimento per rinforzo dal feedback umano (RLHF).
Architettura e parametri Sebbene OpenAI non abbia rilasciato dettagli tecnici ufficiali ("Closed Source"), citando ragioni di sicurezza e competitività, report tecnici indipendenti e fughe di notizie suggeriscono che GPT-4 utilizzi un'architettura Mixture of Experts (MoE). Si stima che il modello possa contare su un totale di circa 1,76 trilioni di parametri, suddivisi tra diversi "esperti" (sottomodelli) che vengono attivati in base alla complessità e alla tipologia del compito richiesto.
Nell'aprile 2023 ha superato un test di informatica quantistica preparato da Scott Aaronson.
Microsoft Copilot (ex Bing Chat) Cinque settimane prima dell'annuncio ufficiale da parte di OpenAI, Microsoft Bing ha iniziato a sfruttare una versione preliminare di GPT-4 per la sua sezione Chat, inizialmente disponibile tramite lista d'attesa. La conferma è giunta attraverso un post sul blog di Microsoft firmato da Yusuf Mehdi, che dichiarava:
Successivamente, Microsoft ha integrato questa tecnologia nel suo ecosistema sotto il marchio Microsoft Copilot, rendendo GPT-4 accessibile gratuitamente (con alcune limitazioni) e in versione completa tramite abbonamento "Copilot Pro".
Differenze con GPT-3.5 La distinzione tra GPT-3.5 e GPT-4 può essere difficilmente notabile nelle conversazioni quotidiane semplici. Tuttavia, la differenza emerge chiaramente quando la complessità del compito aumenta: GPT-4 è più affidabile, creativo e in grado di gestire istruzioni molto più sfumate e complesse ("nuance") rispetto a GPT-3.5. Un'altra differenza sostanziale è la "finestra di contesto" (context window): mentre GPT-3.5 era limitato a circa 4.096 token, le prime versioni di GPT-4 supportavano fino a 8.192 e 32.768 token, permettendo l'analisi di documenti molto più lunghi.
GPT-4 è il primo modello di intelligenza artificiale ad aver superato entrambe le parti, a scelta multipla e scritta, dell'UBE (Uniform Bar Exam), con un punteggio superiore alla media degli esaminati reali, il che rappresenta una potente convalida delle sue capacità di ragionamento. Nei test standardizzati, ha ottenuto punteggi circa 10 percentili più alti rispetto ai partecipanti umani e nettamente superiori a GPT-3.5.
Tabella dei benchmark Esami simulatiGPT-4 punteggio percentile stimatoGPT-4 (no vision) punteggio percentile stimatoGPT-3.5 punteggio percentile stimatoUniform Bar Exam (MBE+MEE+MPT)298 / 400 ~90th298 / 400 ~90th213 / 400 ~10thLSAT163 ~88th161 ~83rd149 ~40thSAT Evidence-Based Reading & Writing710 / 800 ~93rd710 / 800 ~93rd670 / 800 ~87thSAT Math700 / 800 ~89th690 / 800 ~89th590 / 800 ~70thGraduate Record Examination (GRE) Quantitative163 / 170 ~80th157 / 170 ~62nd147 / 170 ~25thGraduate Record Examination (GRE) Verbal169 / 170 ~99th165 / 170 ~96th154 / 170 ~63rdGraduate Record Examination (GRE) Writing4 / 6 ~54th4 / 6 ~54th4 / 6 ~54thUSABO Semifinal Exam 202087 / 150 99th–100th87 / 150 99th–100th43 / 150 31st–33rdUSNCO Local Section Exam 202236 / 6038 / 6024 / 60Medical Knowledge Self-Assessment Program75%75%53%Codeforces Rating392 sotto 5th392 sotto 5th260 sotto 5thAP Art History586th–100th586th–100th586th–100thAP Biology585th–100th585th–100th462nd–85thAP Calculus BC443rd–59th443rd–59th10th–7th
Versioni successive e varianti Dopo la pubblicazione iniziale nel marzo 2023, OpenAI ha continuato a perfezionare il modello distribuendo diverse varianti ottimizzate per velocità, costo e capacità.
GPT-4 Turbo Nel novembre 2023, durante la prima conferenza per sviluppatori di OpenAI (DevDay), è stato presentato GPT-4 Turbo. Questa versione offre una finestra di contesto significativamente ampliata a 128.000 token (equivalenti a circa 300 pagine di testo in un singolo prompt) e dispone di conoscenze aggiornate fino all'aprile 2023 (successivamente estese). GPT-4 Turbo è stato ottimizzato per essere più economico per gli sviluppatori rispetto al modello GPT-4 originale.
GPT-4o (Omni) Il 13 maggio 2024, OpenAI ha annunciato GPT-4o ("o" sta per "omni"). A differenza delle versioni precedenti che utilizzavano modelli separati per ascoltare (Whisper), vedere (Vision) e parlare (TTS), GPT-4o è un singolo modello "end-to-end" addestrato su testo, audio e immagini contemporaneamente. Questo gli permette di rispondere agli input audio in pochi millisecondi, con una latenza simile a quella umana, e di comprendere le intonazioni emotive.
Capacità multimodali A differenza delle versioni precedenti, GPT-4 (e in particolare le varianti GPT-4V e GPT-4o) può accettare un prompt di testo e immagini che, parallelamente all'impostazione di solo testo, consente all'utente di specificare qualsiasi compito di visione o di linguaggio. In particolare, genera output testuali (linguaggio naturale, codice, ecc.) con input costituiti da testo e immagini intercalati. In una serie di domini, tra cui documenti con testo e fotografie, diagrammi o schermate, GPT-4 mostra capacità simili a quelle degli input di solo testo.
Inizialmente, gli input di immagini erano un'anteprima di ricerca non disponibile al pubblico, ma nel settembre 2023 OpenAI ha distribuito la funzionalità "Vision" agli utenti Plus ed Enterprise, permettendo di analizzare foto, risolvere problemi matematici da immagini e descrivere scene complesse.
Inoltre, può essere potenziato con le tecniche di test-time sviluppate per i modelli linguistici di solo testo, tra cui il prompt di pochi colpi e la catena dei pensieri.
Sviluppo, costi e dataset L'addestramento di GPT-4 è stato un'impresa ingegneristica massiccia, con costi stimati superiori ai 100 milioni di dollari.
Riguardo ai dati di addestramento, OpenAI mantiene il massimo riserbo. Alcune fonti riportano che GPT-4 sia stato addestrato su dataset immensi. Una fonte specifica menziona che il modello sia stato addestrato su circa 570 GB di dati testuali (pari a circa 300 miliardi di parole), sebbene questo dato sia spesso associato al dataset filtrato del predecessore GPT-3 ("Common Crawl"), mentre per GPT-4 stime non ufficiali parlano di svariati Petabyte di dati e trilioni di token di addestramento.
In un evento pubblico tenutosi al MIT, Sam Altman, amministratore delegato di OpenAI, ha chiarito che esistono limiti fisici allo sviluppo di nuovi datacenter e che gli sviluppi dell'IA dovranno concentrarsi sull'efficienza piuttosto che sull'incremento indiscriminato del numero di parametri gestiti.
Sviluppi futuri e sicurezza Secondo alcuni rumors circolati nel 2023, la fine dell'apprendimento per un ipotetico GPT-5 era prevista per dicembre 2023, sebbene OpenAI abbia successivamente smentito di essere al lavoro su un modello chiamato "GPT-5" in tempi brevi, concentrandosi invece sul miglioramento di GPT-4 (come avvenuto con GPT-4 Turbo e GPT-4o).
A fine luglio 2023 GPT-4 ha aperto all'uso da parte degli utenti a pagamento e poi pubblicato l'API per la totalità degli sviluppatori.
Stimando il rischio che l'intelligenza artificiale nei prossimi 10 anni superi l'intelligenza umana, OpenAI ha creato un team dedicato, denominato "Superalignment", col compito di controllarne lo sviluppo e garantire che i sistemi di IA super-intelligenti agiscano secondo gli interessi umani.
Note
Voci correlate ChatGPT Generative pre-trained transformer GPT-3 OpenAI Intelligenza artificiale generativa Auto-GPT Microsoft Copilot Gemini (modello di linguaggio)
Collegamenti esterni
Pagina ufficiale di GPT-4 su OpenAI.com
Categoria:Intelligenza artificiale Categoria:Chat bot proprietari Categoria:OpenAI