Gemini este o familie de modele lingvistice multimodale de mari dimensiuni, dezvoltată de Google DeepMind, care servește drept succesor pentru LaMDA și PaLM 2. Cuprinzând modelele Gemini Ultra, Gemini Pro și Gemini Nano, familia a fost anunțată la 6 decembrie 2023 și a fost poziționată ca un concurent al GPT-4 dezvoltat de OpenAI. Această familie de modele alimentează chatbotul cu același nume.

Istoric

Dezvoltare

<div class="thumb tmulti tright"><div class="thumbinner multiimageinner" style="width:262px;max-width:262px"><div class="trow"><div class="tsingle" style="width:135px;max-width:135px"><div class="thumbimage" style="height:180px;overflow:hidden"></div></div><div class="tsingle" style="width:123px;max-width:123px"><div class="thumbimage" style="height:180px;overflow:hidden"></div></div></div>CEO-ul Google Sundar Pichai și CEO-ul DeepMind Demis Hassabis au condus dezvoltarea Gemini.</div></div> Google a anunțat modelul lingvistic Gemini, un LLM dezvoltat de filiala sa Google DeepMind, în cadrul conferinței Google I/O din 10 mai 2023. Acesta a fost prezentat ca un succesor mai puternic al PaLM 2, dezvăluit la același eveniment. CEO-ul Google, Sundar Pichai, a declarat că Gemini se afla încă în fazele incipiente de dezvoltare. Spre deosebire de alte LLM-uri, Gemini se remarcă prin faptul că nu a fost antrenat exclusiv pe un corpus de text, ci este conceput ca un model multimodal. Aceasta înseamnă că poate procesa simultan mai multe tipuri de date, inclusiv text, imagini, audio, video și cod de computer. Dezvoltarea sa a rezultat din colaborarea dintre DeepMind și Google Brain, două divizii ale Google care au fuzionat sub denumirea Google DeepMind în luna precedentă. Într-un interviu acordat revistei Wired, CEO-ul DeepMind, Demis Hassabis, a evidențiat capabilitățile avansate ale Gemini, sugerând că acestea ar putea permite modelului să depășească ChatGPT al OpenAI, bazat pe GPT-4. Creșterea popularității ChatGPT a determinat Google să își accelereze eforturile în domeniul inteligenței artificiale prin proiecte precum LaMDA și Bard. Hassabis a menționat, de asemenea, punctele forte ale programului AlphaGo de la DeepMind, care a atras atenția globală în 2016 prin victoria sa împotriva campionului de Go Lee Sedol, afirmând că Gemini va combina capacitățile AlphaGo cu cele ale altor LLM-uri dezvoltate de Google DeepMind.

În august 2023, The Information a publicat un raport care prezenta foaia de parcurs a Google pentru Gemini, indicând că lansarea era vizată pentru sfârșitul anului 2023. Potrivit raportului, Google urmărea să depășească OpenAI și alți concurenți prin combinarea capabilităților conversaționale, prezente în majoritatea LLM-urilor, cu generarea de imagini bazată pe inteligență artificială. Această combinație ar permite modelului Gemini să creeze imagini contextuale și să fie adaptat la o gamă mai largă de cazuri de utilizare. Similar dezvoltării lui Bard, cofondatorul Google, Sergey Brin, a fost implicat în dezvoltarea Gemini, alături de sute de ingineri de la Google Brain și DeepMind. Ulterior, acesta a fost descris drept „colaborator principal” al proiectului. Deoarece Gemini a fost antrenat, printre altele, pe transcrieri ale videoclipurilor de pe YouTube, au fost implicați și consilieri juridici pentru a filtra eventualele materiale protejate prin drepturi de autor.

Pe fondul informațiilor privind lansarea iminentă a Gemini, OpenAI și-a accelerat eforturile de a integra în GPT-4 caracteristici multimodale similare. The Information a relatat în septembrie că mai multe companii au primit acces anticipat la o versiune preliminară a modelului, pe care Google intenționa să îl ofere clienților prin intermediul serviciului Google Cloud Vertex AI. Publicația a mai precizat că Google echipa Gemini cu noi capabilități pentru a concura atât cu GPT-4, cât și cu GitHub Copilot dezvoltat de Microsoft.

Lansare La 6 decembrie 2023, Pichai și Hassabis au anunțat „Gemini 1.0” în cadrul unei conferințe de presă virtuale. Prezentarea a inclus trei modele: Gemini Ultra, conceput pentru sarcini extrem de complexe; Gemini Pro, destinat unei game largi de utilizări; și Gemini Nano, creat pentru sarcini rulate pe dispozitiv. La momentul lansării, Gemini Pro a fost integrat în Bard, iar Gemini Nano a fost integrat în smartphone-ul Pixel 8 Pro. Gemini Ultra era destinat să alimenteze Bard Advanced și să devină disponibil dezvoltatorilor de software la începutul anului 2024. Alte produse în care Google intenționa să implementeze Gemini includeau Search, Ads, Chrome, Duet AI din Google Workspace și AlphaCode 2. Disponibilitatea inițială a fost limitată la limba engleză. Prezentat drept „cel mai mare și mai capabil model de inteligență artificială” al Google și conceput pentru a imita comportamentul uman, compania a precizat că Gemini nu va fi disponibil pe scară largă până în anul următor, din cauza necesității unei „testări extinse a siguranței”. Instruirea și rularea lui Gemini se bazau pe unitățile de procesare tensorială (TPU) ale Google, iar denumirea face referire atât la fuziunea DeepMind–Google Brain, cât și la programul Gemini al NASA.

S-a afirmat că Gemini Ultra a depășit GPT-4, Claude 2 de la Anthropic, Inflection-2 de la Inflection AI, LLaMA 2 de la Meta și Grok 1 de la xAI într-o varietate de benchmarkuri din industrie. La rândul său, Gemini Pro a fost considerat superior lui GPT-3.5. Gemini Ultra a devenit primul model lingvistic despre care s-a raportat că a depășit experții umani la testul Massive Multitask Language Understanding (MMLU), care acoperă 57 de domenii, obținând un scor de aproximativ 90%. La 13 decembrie, Gemini Pro a fost pus la dispoziția clienților Google Cloud prin platformele AI Studio și Vertex AI. Gemini Nano urma să fie disponibil ulterior și pentru dezvoltatorii Android. Hassabis a dezvăluit, de asemenea, că DeepMind explorează modalități de a combina Gemini cu robotica, pentru a permite interacțiunea fizică cu mediul. Respectând un ordin executiv semnat de președintele american Joe Biden în octombrie, Google a declarat că va împărtăși rezultatele testării Gemini Ultra cu guvernul federal al Statelor Unite. Compania s-a aflat, de asemenea, în discuții cu guvernul Regatului Unit pentru a respecta principiile stabilite la Summitul privind siguranța IA din Bletchley Park, din noiembrie.

Actualizări În ianuarie 2024, Google a încheiat un parteneriat cu Samsung pentru a integra Gemini Nano și Gemini Pro în gama de smartphone-uri Galaxy S24. Luna următoare, Bard și Duet AI au fost unificate sub marca Gemini, iar „Gemini Advanced with Ultra 1.0” a fost lansat ca parte a unui nou nivel „AI Premium” al serviciului de abonament Google One. De asemenea, Gemini Pro a beneficiat de o lansare globală.

În februarie 2024, Google a lansat „Gemini 1.5” cu disponibilitate limitată, prezentându-l ca un model mai puternic și mai capabil decât versiunea 1.0 Ultra. Această „schimbare semnificativă” a fost posibilă datorită unor progrese tehnice, inclusiv o nouă arhitectură, o abordare de tip mixture-of-experts și o fereastră de context extinsă, de aproximativ un milion de tokeni, echivalentă cu circa o oră de video fără sunet, 11 ore de audio, 30.000 de linii de cod sau aproximativ 700.000 de cuvinte. Tot în acea lună, Google a introdus Gemma, o familie de modele lingvistice mari (LLM) gratuite și open-source, concepute ca versiuni mai ușoare ale lui Gemini. Acestea sunt disponibile în două dimensiuni, cu rețele neuronale de aproximativ două și șapte miliarde de parametri. Mai multe publicații au interpretat lansarea ca un răspuns la decizia Meta și a altor companii de a-și face modelele AI open-source, dar și ca o schimbare față de practica îndelungată a Google de a-și menține tehnologiile de inteligență artificială în regim proprietar. Google a anunțat, de asemenea, un model suplimentar, Gemini 1.5 Flash, în cadrul keynote-ului I/O din 2024.

Gemma 2 a fost lansat la 27 iunie 2024.

Specificații tehnice Prima generație de Gemini („Gemini 1”) cuprinde trei modele care utilizează aceeași arhitectură software. Toate modelele sunt bazate pe arhitecturi de tip transformator, cu modificări care le permit să fie antrenate și utilizate eficient pe TPU-uri. Acestea au o lungime a contextului de 32.768 de tokeni și folosesc mecanisme de atenție de tip multi-query.

Două versiuni ale Gemini Nano, Nano-1 (1,8 miliarde de parametri) și Nano-2 (3,25 miliarde de parametri), sunt distilate din modele Gemini mai mari și sunt concepute pentru a fi utilizate pe dispozitive de margine, precum smartphone-urile. Fiind un model multimodal, Gemini poate procesa mai multe tipuri de date în cadrul aceleiași ferestre de context. Tipurile de date pot fi intercalate și nu trebuie prezentate într-o ordine fixă, ceea ce permite o interacțiune conversațională naturală și multimodală. De exemplu, un utilizator poate iniția o conversație folosind o combinație de text, imagini, video și audio, în orice ordine, iar Gemini poate răspunde într-un mod la fel de flexibil. Imaginile de intrare pot avea rezoluții diferite, în timp ce videoclipurile sunt introduse sub forma unei secvențe de imagini. Semnalul audio este eșantionat la 16 kHz și convertit într-o secvență de tokeni de către Modelul Universal de Vorbire. Setul de date de antrenament al lui Gemini este multimodal și multilingv, fiind alcătuit din „documente web, cărți și cod, inclusiv date de imagine, audio și video”.

A doua generație de Gemini („Gemini 1.5”) include două modele principale. Gemini 1.5 Pro utilizează o arhitectură de tip mixture of experts multimodală, cu o lungime a contextului de ordinul milioanelor de tokeni, în timp ce Gemini 1.5 Flash este o versiune distilată din Gemini 1.5 Pro, având o lungime a contextului de peste 2 milioane de tokeni.

Gemma 2 27B este antrenat pe documente web, cod și articole științifice. Gemma 2 9B este distilat din modelul 27B, iar Gemma 2 2B este distilat dintr-un model de 7B care a rămas nepublicat.

Începând din august 2024, modelele lansate includ:

Gemma 1 (2B, 7B) CodeGemma (2B și 7B) – versiuni Gemma 1 specializate pentru generarea de cod. Gemma 2 (2B, 9B, 27B) – modelul 27B este antrenat de la zero, iar versiunile 2B și 9B sunt distilate. RecurrentGemma (2B, 9B) – bazat pe arhitectura Griffin, în locul unui transformator clasic. PaliGemma (3B) – model de limbaj vizual care primește text și imagini și generează text, bazat pe PaLI.

Recepție

Lansarea lui Gemini a fost precedată de luni de speculații intense și anticipare, pe care MIT Technology Review le-a descris drept „apogeul hype-ului AI”. În august 2023, Dylan Patel și Daniel Nishball de la firma de cercetare SemiAnalysis au publicat o postare pe blog în care afirmau că lansarea lui Gemini va „cuceri lumea” și va depăși GPT-4, determinându-l pe CEO-ul OpenAI, Sam Altman, să ironizeze duo-ul pe platforma X (fostul Twitter). Magnatul tehnologic Elon Musk, care a cofondat OpenAI, a intervenit, întrebând: „Sunt cifrele greșite?”. Hugh Langley de la Business Insider a remarcat că Gemini ar putea reprezenta un moment crucial pentru Google, scriind: „Dacă Gemini impresionează, va ajuta Google să schimbe narațiunea că a fost surprinsă nepregătită de Microsoft și OpenAI. Dacă va dezamăgi, va încuraja criticii care spun că Google a rămas în urmă.”