Generative pre-trained transformer (GPT, , також генеративний попередньо тренований трансформер, рідше породжувальний попередньо натренований трансформер) — варіант «штучного інтелекту»Henry Kissinger, Eric Schmidt and Daniel Huttenlocher. A Robot Wrote This Book Reviewhttps://konkurent.ua/publication/112626/shtuchniy-intelekt-scho-bude-yakscho-ludini-ne-vdastsya-prokontroluvati-tehnologiu/ Штучний інтелект: що буде, якщо людині не вдасться проконтролювати технологію — це сімейство мовних моделей, які зазвичай навчаються на великому корпусі текстових даних для створення тексту, схожого на текст людини. Вони побудовані з використанням декількох блоків трансформної архітектури. Їх можна точно налаштувати для виконання різноманітних завдань обробки природної мови, таких як генерація тексту, переклад мови та класифікація тексту. «Попереднє навчання» в його назві означає початковий процес навчання на великому текстовому корпусі, під час якого модель вчиться передбачати наступне слово в уривку, що забезпечує надійну основу для успішної роботи моделі в наступних завданнях з обмеженою кількістю даних, що стосуються конкретного завдання.

Застосування ChatGPT (Chat Generative Pre-trained Transformer) — це чат-бот, запущений OpenAI у листопаді 2022 року. Він використовує і налаштований (підхід до перенесення навчання) як на кероване навчання, так і на навчання з підкріпленням. BioGPT — це GPT, який фокусується на відповідях на біомедичні запитання. Він розроблений Microsoft. ProtGPT2 — це GPT, який зосереджується на білковому дизайні.

Історія

11 червня 2018 року OpenAI опублікувала статтю під назвою «Покращення розуміння мови за допомогою генеративного попереднього навчання», в якому вони представили Generative Pre-trained Transformer (GPT). На той момент найефективніші нейронні моделі НЛП переважно використовували кероване навчання з великих обсягів даних, позначених вручну. Ця залежність від керованого навчання обмежувала їхнє використання в наборах даних, які не були добре анотованими, а також робила навчання надзвичайно великих моделей надто дорогим і трудомістким; багато мов (наприклад, суахілі чи гаїтянська креольська) важко перекладати та інтерпретувати за допомогою таких моделей через брак доступного тексту для побудови корпусу. На відміну від цього, «напівкерований» підхід GPT включав два етапи: некерований генеративний етап «попереднього навчання», на якому мета моделювання мови використовувалася для встановлення початкових параметрів, і керований етап дискримінаційного «тонкого налаштування», на якому ці параметри були адаптовані до цільового завдання.

+ Версії GPTАрхітектураКількість параметрівТренувальні даніДата релізуВартість тренуванняGPT-112-level, 12-headed Transformer decoder (no encoder), followed by linear-softmax.0,12 млрдBookCorpus: 4,5 ГБ тексту з 7000 невиданих книг різних жанрів11.06.20181 місяць на 8 GPU (1.7e+19 FLOP)GPT-2GPT-1, але з модифікованою нормалізацією1,5 млрдWebText: 40 ГБ тексту, 8 млн документів, 45 млн вебсторінок з позитивними оцінками на Reddit14.02.2019 (обмежена версія) / 05.11.2019 (повна версія)Десятки петафлопс/s-day (1.5e+21 FLOP)GPT-3GPT-2, but with modification to allow larger scaling.175 млрд570 ГБ звичайного тексту, 0,4 трлн токенів. Переважно CommonCrawl, WebText, Англійська Вікіпедія та два корпуси книг (Books1 and Books2)28.05.20203640 петафлопс/s-day (3.1e+23 FLOP)GPT-3.5Засекречена175 млрдІнформація засекречена15.03.2022Інформація засекреченаGPT-4ЗасекреченаНевідомоІнформація засекречена14.03.2023Інформація засекречена (орієнтовно 2.1e+25 FLOP)

Див. також Конструювання підказок Породжувальний штучний інтелект

Примітки