Модель генерування відео на основі тексту () — модель машинного навчання, яка здатна створювати відеоконтент на основі текстових описів, які надаються користувачем.

У 2020-х роках значний прогрес у створенні високоякісних відео, згенерованих за текстовими описами, відбувся завдяки розвитку дифузійних моделей. Це спеціальний тип моделей, які використовують принципи дифузії для генерації складних і реалістичних відеопослідовностей, базуючись на текстових даних.

Моделі Існують різні моделі, включаючи моделі з відкритим вихідним кодом. У 2022 році з'явилися перші значущі моделі цього типу:

CogVideo — перша текст-відео модель із 9,4 мільярда параметрів, розроблена для обробки китайськомовного вводу. Її демо-версія з відкритим кодом була представлена на GitHub у 2022 році. Make-A-Video — часткова текст-відео модель, випущена Meta Platforms у 2022 році, яка також генерує короткі відеокліпи за текстовими підказками. Imagen Video — модель від Google Brain (пізніше Google DeepMind), представлена у 2022 році, що використовує архітектуру 3D U-Net для створення високоякісних відео з тексту.

У березні 2023 року було опубліковано наукову статтю під назвою «VideoFusion: Декомпозовані дифузійні моделі для створення високоякісних відео» (VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation), у якій представлено новий підхід до генерації відео. Модель VideoFusion розкладає дифузійний процес на два компоненти: базовий шум і залишковий шум, які спільно використовуються між кадрами для забезпечення часової узгодженості. Використання попередньо навченої дифузійної моделі для зображень як базового генератора дозволило ефективно створювати високоякісні та узгоджені відеопослідовності. Точне налаштування попередньо навченої моделі на відеоданих усунуло розрив між даними зображень і відео, покращивши здатність моделі генерувати реалістичні та послідовні відеоролики.

Того ж місяця компанія Adobe представила свою модель Firefly AI.

У січні 2024 року компанія Google оголосила про розробку текст-відео моделі під назвою Lumiere, яка, як очікується, інтегруватиме розширені можливості редагування відео.

У той же період дослідники Маттіас Ніснер і Лурдес Агапіто з компанії Synthesia працювали над розробкою технік 3D-нейронного рендерингу. Ці техніки дозволяють синтезувати реалістичне відео, використовуючи 2D і 3D-нейронні представлення форми, зовнішнього вигляду та руху для контрольованого створення відео з аватарами.

У червні 2024 року Luma Labs запустила свій інструмент для генерації відео Dream Machine, який пропонує інтуїтивно зрозумілий інтерфейс і можливості створення відео на основі текстових або графічних підказок. Того ж місяця китайська компанія Kuaishou розширила доступ до своєї текст-відео моделі Kling AI для міжнародних користувачів, що дозволило створювати високоякісні відео з природним рухом.

У липні 2024 року ByteDance, власник TikTok, через свою дочірню компанію Faceu Technology випустив у Китаї модель Jimeng AI, яка підтримує створення коротких відео (до 5 секунд) на основі текстових і графічних підказок.

До вересня 2024 року китайська компанія MiniMax представила свою модель video-01, приєднавшись до інших провідних китайських компаній у сфері штучного інтелекту, таких як Zhipu AI, Baichuan і Moonshot AI, які активно сприяють розвитку AI-технологій у Китаї.

У грудні 2024 року компанія Lightricks запустила LTX Video як модель із відкритим вихідним кодом, що забезпечує гнучкість для розробників і творців контенту. У липні 2025 року Lightricks оновила LTX Video, додавши можливість генерувати відеокліпи тривалістю до 60 секунд.

Окрім основних текст-відео моделей, у сфері генерації відео на основі текстових описів з'явилися альтернативні підходи та моделі: Phenaki від Google, Hour One, Colossyan, Gen-3 Alpha від Runway, та Sora від OpenAI.

Додатково з'явилися такі моделі, як Plug-and-Play, Text2LIVE і TuneAVideo, які пропонують унікальні підходи до генерації та редагування відео.

У 2025 році Black Forest Labs, розробники моделі FLUX.1, анонсували свою текст-відео модель SOTA. Компанія Google планувала запуск інструменту Veo для створення коротких відео на платформі YouTube Shorts у 2025 році. У травні 2025 року Google представила ітерацію Veo 3, яка вирізняється значними покращеннями в генерації аудіо, що раніше було обмеженням для текст-відео моделей.

У липні 2025 року Lightricks випустила оновлення для LTX Video, яке дозволило генерувати відеокліпи тривалістю до 60 секунд.

Архітектура та навчання Для створення моделей генерування відео на основі тексту використовується кілька архітектур, які запозичують принципи з моделей генерування зображення на основі тексту, але адаптовані для обробки часової динаміки відео. Основні архітектури включають:

Рекурентна нейронна мережа (RNN), зокрема мережі з довгою короткочасною пам'яттю (LSTM), які застосовуються в моделях трансформації пікселів (Pixel Transformation Models) і стохастичних моделях генерації відео (Stochastic Video Generation Models). Ці моделі сприяють часовій узгодженості та підвищенню реалізму згенерованих відеопослідовностей шляхом збереження контексту між кадрами. Генеративна змагальна мережа (GANs) — використовуються для створення реалістичних відеокадрів шляхом змагання генератора та дискримінатора. Вони ефективні в генерації візуально привабливих зображень, але можуть мати проблеми з часовою узгодженістю у відео. Варіаційний автокодувальник (VAEs) — застосовуються для прогнозування людського руху та моделювання складних розподілів даних, що дозволяє створювати природніші рухи в згенерованих відео, наприклад, для анімації персонажів або аватарів. Дифузійна модель — набула популярності завдяки своїй здатності генерувати високоякісні зображення та відео. У текст-відео моделях вони використовуються для поступового уточнення кадрів шляхом видалення шуму, що забезпечує високу деталізацію та часову послідовність. Прикладом є модель VideoFusion, яка розкладає дифузійний процес на базовий і залишковий шум для забезпечення часової когерентності.

Для навчання моделей генерування відео використовуються різноманітні набори даних, які містять як відеоконтент, так і текстові описи, що забезпечують точність і якість генерації. Основні набори даних для тренування відеокомпонентів включають:

WebVid-10M — набір даних із 10 мільйонами коротких відеокліпів, зібраних із вебресурсів, із текстовими описами, що охоплюють широкий спектр тем і сценаріїв. HDVILA-100M — великий набір даних, який містить 100 мільйонів відеокліпів високої роздільної здатності з анотаціями, що сприяють навчанню моделей для створення деталізованих і реалістичних відео. CCV (Conceptual Captions Video) — набір даних із відеокліпами, супроводжуваними текстовими підписами, які допомагають моделям розуміти зв'язок між текстом і візуальним контентом. ActivityNet — колекція відео, зосереджена на людських діях і активностях, із детальними текстовими анотаціями, що використовується для навчання моделей розпізнавання та генерації рухів. Panda-70M — набір даних із 70 мільйонами відеокліпів, що включає різноманітний вміст, від повсякденних сцен до професійних відео, із текстовими описами для тренування моделей.

Для навчання моделей інтерпретації текстових підказок використовуються спеціалізовані набори даних, такі як:

PromptSource — набір даних із різноманітними текстовими підказками, що допомагають моделям навчатися інтерпретувати широкий спектр запитів, від простих до складних. DiffusionDB — колекція текстових підказок, створених користувачами для дифузійних моделей, що забезпечує різноманітність стилів і форматів тексту для генерації контенту. VidProM — набір даних, який поєднує текстові описи з відеоконтентом, спеціально розроблений для навчання моделей зв'язку між текстом і відеопослідовностями.

Процес генерації моделей генерування відео передбачає синхронізацію текстових підказок із відеокадрами, що забезпечує їхню узгодженість і послідовність протягом усієї відеопослідовності.

Однак якість генерації відео може знижуватися зі збільшенням тривалості відео через обмеження обчислювальних ресурсів і складність збереження часової узгодженості. Довші відеопослідовності вимагають більших обсягів пам'яті та обчислювальної потужності, що може призводити до накопичення помилок, таких як артефакти, втрата деталей або невідповідність текстовому опису. Для вирішення цих проблем сучасні моделі, такі як Veo 3 від Google або оновлена LTX Video від Lightricks, використовують оптимізовані алгоритми, що дозволяють генерувати відео тривалістю до 60 секунд із мінімальними втратами якості. Крім того, комбінація попередньо навчених моделей на великих наборах даних, таких як WebVid-10M або HDVILA-100M, із тонким налаштуванням на специфічні відеодані сприяє покращенню якості та стабільності генерації.

Обмеження текст-відео моделей Незважаючи на швидкий прогрес у продуктивності текст-відео моделей, вони мають низку суттєвих обмежень, які впливають на їхню ефективність і практичне застосування:

Висока обчислювальна складність: Моделі, такі як Sora, Lumiere чи VideoFusion, потребують значних обчислювальних ресурсів для обробки складних текстових підказок і створення послідовних відеокадрів. Ця висока потреба в ресурсах обмежує можливість генерації тривалих відео високої якості, особливо на стандартному обладнанні. Наприклад, створення відео довжиною понад 60 секунд часто призводить до зниження роздільної здатності або появи артефактів через обмеження пам'яті та обчислювальної потужності. Потреба у великих наборах даних: Для досягнення високої якості та часової узгодженості моделі потребують тренування на великих і різноманітних наборах даних, таких як WebVid-10M, HDVILA-100M або Panda-70M. Збір, анотація та обробка таких даних є складним і дорогим процесом, що обмежує доступність технології для менших компаній чи дослідницьких груп. Крім того, якість даних безпосередньо впливає на здатність моделі точно відтворювати текстові описи. Неточність інтерпретації текстових підказок: Моделі часто неправильно інтерпретують семантичний контекст текстових описів, що призводить до невідповідності згенерованого відео очікуванням користувача. Наприклад, складні або неоднозначні підказки можуть викликати помилки у відтворенні об'єктів, дій чи стилістики. Такі моделі, як Make-A-Video, Imagen Video, Phenaki, CogVideo, GODIVA і NUWA, активно вдосконалюються для покращення розуміння семантики та точності відповідності тексту й відео. Проблеми з деталізацією та артефактами: У згенерованих відео часто спостерігаються проблеми з дрібними деталями, такими як спотворені руки, обличчя, текст чи об'єкти. Наприклад, текст у відео може бути нерозбірливим, а дрібні елементи, як-от пальці чи складні текстури, можуть виглядати деформованими. Ці проблеми особливо помітні в дифузійних моделях, таких як стабільні дифузійні моделі, які, хоча й ефективні для створення зображень, стикаються з труднощами при генерації послідовних відеокадрів.

Етичні та соціальні виклики Розгортання моделей генерування відео на основі тексту породжує низку етичних питань, пов'язаних із генерацією контенту, які мають значний вплив на суспільство, творців і споживачів контенту. Ці моделі можуть контент, який може бути неетичним або незаконним, зокрема відеоматеріали з відвертим змістом, графічним насильством, дезінформацією або зображеннями реальних осіб без їхньої згоди. Наприклад, створення глибоких підробок (deepfakes) може призвести до порушення приватності чи репутації осіб. Згенеровані відео часто важко відрізнити від справжніх, що ускладнює виявлення дезінформації чи маніпулятивного контенту. Це створює ризик використання таких відео для пропаганди, шахрайства або інших зловмисних цілей. Наприклад, модель може згенерувати правдоподібне відео, яке помилково приписує реальній особі слова чи дії, яких вона не вчиняла.

Впливи та застосування