Что будет с нейросетями для видео в 2025 году

За пару лет качество контента от нейросетей резко скакнуло вверх. В 2022 году они с трудом изображали пять пальцев на руке, а в 2024 пользователи уже не всегда отличают реальное фото от сгенерированного. Видео от ИИ тоже заметно меняются. В 2023 году все обсуждали жуткий ролик, как Уилл Смит поедает спагетти, а теперь все генерируют милые и смешные рилсы с котиками.

Разбираемся, чего ждать от нейросетей для генерации видео в следующем году и как мы сможем их использовать.

Как используют нейросети для видео сейчас

Нейросетей для создания видео уже много: Luma, Kling, Runway, Stable Video Diffusion, Pika. Почти все умеют делать одно и то же: 

Генерировать короткие ролики с нуля по промпту. Можно написать «кот едет на велосипеде по пляжу» — и нейросеть создаст анимацию на основе этого описания. Конечно, пока такие видео далеки от идеала: в них появляются артефакты, а движения персонажей выглядят неестественно.

Оживлять фотографии. Пользователи загружают фото животных, мемы и даже портреты писателей 19 века. А нейросеть создает иллюзию движения. Правда, есть и ограничения: сервисы иногда искажают черты лица, поэтому реалистичность «оживших» изображений пока оставляет желать лучшего.

Сшивать несколько фотографий в одно видео. Это позволяет создавать короткие анимированные истории или простые музыкальные клипы. Например, можно сделать reels из фотографий вашего отпуска или собрать мультик про кота.

Но несмотря на такие возможности, нейросети в основном используют только для развлечения. В социальных сетях популярны забавные ролики с животными. Например, видео с котами, которые моют посуду, катаются на мотоциклах или играют на музыкальных инструментах. Это своеобразные вирусные мемы, которые быстро распространяются в интернете.

Как делать классные мемы, которые «залетят» аудитории: опыт SMM-щиков Unisender

Источник: Видео на Youtube канале Grib

В рекламе нейросети применяют для создания спецэффектов, которые сложно или дорого делать «руками». Например, Coca-Cola использовала нейросеть Stable Diffusion, чтобы «оживить» картины в Лувре.

Какие ограничения есть у нейросетей для генерации видео

Нейросети пока сложно использовать для создания чего-то сложнее, чем короткие развлекательные ролики или мемы. У сервисов есть ограничения и проблемы, из-за которых трудно делать полноценные рекламные ролики или фильмы.

Нейросети создают короткие ролики. Большинство сервисов генерируют видео длительностью не более 5–10 секунд. В теории можно собрать из этого полноценную короткометражку, но придется делать отдельные короткие фрагменты и затем склеивать их в единое целое. Это трудоемкий процесс, который требует времени и специальных навыков монтажа.

Генерация по фото от нейросети Pika. Видео длится 5 секунд

Хорошие сервисы стоят дорого. Качественные нейросети для генерации видео — например, Kling, Minimax и Runway — платные. Чтобы создать видео на 1-2 минуты в Kling и Runway, придется потратить $15–30, а в Runway — $50. Для сравнения, за эти деньги можно нанять фрилансера, который смонтирует видео из отснятых материалов.

ИИ искажает черты персонажа. Нейросети не всегда точно воспроизводят черты лица по «оживленному» фото. В начале видео персонаж будет выглядеть реалистично, но через несколько секунд нейросеть может исказить его лицо до неузнаваемости.

Генерация отнимает много времени. Не само создание ролика нейросетью, а подбор промпта. Компании выставляют видео и пишут, что сервис собрал его за минуту, но по факту промпт-инженер мог придумывать запрос полдня. И это нормально, потому что нейросеть создает изображение с нуля и может ошибиться или сделать не то, что вы задумали.

Какие тенденции есть в развитии нейросетей для создания видео

В 2024 году уже наметились тенденции в развитии нейросетей для создания видео. Например, компания OpenAI представила сервис SORA, который генерирует гиперреалистичные ролики на основе текстовых описаний. SORA может моделировать сложные сцены с реалистичными персонажами и объектами благодаря 3D-моделям и глубокому пониманию языка. Пока что сервиса нет в свободном доступе.

У нейросетей появились и другие полезные функции: 

Рост качества генерации. Видео от нейросети существенно отличается от того, что пользователи получали год назад. Жуткие изображения вроде Уилла Смита, поедающего спагетти, теперь большая редкость. А статичные и «киношные» персонажи стали больше похожи на реальных людей.

Промпт: A cinematic documentary hand held close up of a woman standing in a busy Italian plaza smirking to herself, the background soft and out of focus, diffused overhead lighting. Her skin has freckles and small creases, her hair is down and a bit messy. Muted colors, diffused cinematic lighting, cool color grade.

Источник: Runway

Управление камерой. Сервисы позволяют выбирать тип камеры (панорамная, зум, кран) и настраивать ее движение. Например, можно создать видео с эффектом «облета» вокруг объекта или с плавным приближением к главному герою.

Источник: pika.art

Подбор аудио. Некоторые нейросети автоматически подбирают звуковое сопровождение и генерируют музыку. Например, Picolab анализирует содержание видео и добавляет подходящие звуковые эффекты — шум воды, пение птиц, музыку.

Качественная анимация движений. В видео от AI-сервисов движения стали ближе к естественным. Нейросети могут сделать сложные анимации рук, пальцев или показать целый танец.

Источник: Kling.ai

Функция липсинк. У нейросетей для генерации видео долгое время не было функции озвучки. Персонажи молчали или неестественно открывали рот. Но в октябре 2024 года нейросеть Runway добавила новую функцию — липсинк. Теперь можно загрузить фото и свое аудио, а нейросеть подстроит движение губ под звук. Чуть позже бета-версию с похожим инструментов выпустила нейросеть Captions и Kling.

Источник: Captions

Генерация мультфильма по видео. Некоторые нейросети раньше могли только стилизовать видео, но теперь научились превращать ролик в мультфильм. Нейросеть Runway анонсировала в октябре 2024 года такую функцию: загрузите свое видео и на выходе получите анимационную копию с полным сохранением мимики и движений.

Источник: Runway

Большинство сервисов заточены только под создание видео — работать с ним дальше нужно в специальных редакторах. Но в последнее время стали появляться решения и для таких задач. Например, видеоредактор от Adobe или встроенный редактор в Runway.

Чего ждать от нейросетей для видео в будущем

В 2025 году разработчики будут улучшать алгоритмы и модели, чтобы добиться максимальной реалистичности генерируемого контента. Основная цель — фотореализм, то есть создание видео, которые невозможно отличить от снятых человеком.

Также у некоторых сервисов скоро появится новая функция: можно будет загрузить фото с персонажем или собой и сделать его главным героем видео. Например, такой инструмент обещают добавить в MovieGen — нейросети от Meta. Пока что ее нет в общем доступе, но в 2025 году нейросеть обещают сделать открытой для всех желающих. Разработчики заявляют, что для создания видео с собой будет достаточно фото и текстового промпта. Пока есть только рендеры.

Источник: MovieGen

Функции вроде управления камерой или автоматический подбор аудио отойдут на второй план. У них ограниченная польза и результат не всегда соответствует ожиданиям. Главным фактором успеха в конкуренции между разработчиками станет именно качество генерации.

Коротко о главном

Нейросети для генерации видео уже дают впечатляющие результаты. Но их функций и инструментов пока не хватает, чтобы создавать полноценные рекламные ролики, рилсы или блоги.