Как генерировать видео в Luma AI

Во многих ИИ-сервисах для генерации картинок есть функция создания видео, но чаще всего результат получается «кривым». Например, пока автомобиль едет по дороге, у него несколько раз изменится форма фар, а у идущего по улице человека — цвет глаз или объем бровей. 

Решить эту проблему можно с помощью Dream Machine от компании Luma — это нейросеть, которая создает бесшовные видео. В статье расскажем, из каких характеристик состоит идеальный промпт и покажем, как создать короткий и длинный ролик по тексту и по картинке.

Как начать работу

Чтобы создать первое видео, нужно перейти на сайт нейросети Luma и войти через Google-аккаунт. На момент подготовки и публикации статьи сервис работает на территории России без ограничений.

Кроме того, нейросеть можно протестировать с помощью Telegram-ботов от сторонних разработчиков. Например, YES Ai BOT. Но нужно активировать платный тариф — около 500 рублей за подписку на месяц.

Как сгенерировать видео по промпту 

Интерфейс сайта Luma простой: чтобы создать видео, нужно ввести промпт в поле в середине экрана. Сервис поддерживает английский язык. 

Если кратко указать то, что будет на видео и поставить галочку возле пункта Enhance Prompt — сервис автоматически «доработает промпт», то есть добавит детали. По всем этапам генерации у разработчиков есть официальная инструкция.

Далее в статье мы указываем две версии промптов: во время работы мы писали запрос на русском, затем вставили его в онлайн-переводчик на английский язык и загрузили в нейросеть без редактуры.

Мы решили создать видео для рекламы приложения. Для этого написали краткий промпт первой сцены.

Можно не ограничиваться кратким промптом и вписать сразу полный — чтобы точно знать, какие детали нейросеть возьмет в работу и не полагаться на ее вкус. Для этого нужно убрать галочку с пункта Enhance Prompt. Разработчики советуют указывать около 4 предложений, подробно расписывая простыми словами:

Героя. Кто будет находиться в кадре и что делать.

Сюжет. Место действия, что будет происходить и где.

Детали. Мелкие предметы, оттенки или текстуры, на которых будет акцент.

Атмосферу. Настроение, цвета, эмоции героев.

Формат. Способы съемки, ракурсы.

Мы решили повторить задачу, но на этот раз опираться только на свой промпт.

Финальный результат можно скачать по кнопке Download — она находится под видео.

Как создать видео из картинки

Luma поддерживает генерацию по готовой картинке — причем можно как «оживить» одно фото, так и сделать плавный переход между несколькими снимками. Чтобы начать работу, нужно нажать на значок в левой части поля промпта и выбрать картинку с устройства.

Затем нужно вписать промпт — указать, что будет происходить на видео, что будут делать персонажи со снимка или как изменится мир вокруг. Например, пойдет снег или дождь, люди будут улыбаться.

Функция подойдет, если вы провели фотосессию и хотите создать видео на ее основе. Также можно подобрать несколько снимков от одного фотографа в одних и тех же локациях на фотостоках. Мы взяли такие кадры с детьми — на одном только мальчик, а на другом он идет за руку с девочкой. Из этих кадров нейросеть собрала короткое видео и сама доработала его по нашему промпту.

В Luma можно создать бесконечное видео — для этого есть функция Loop. Если нажать на галочку при генерации, получится «зациклить» происходящее в кадре. Такое видео можно разместить на заднем плане или как гифку к тексту. Например, для демонстрации работ в портфолио фотографа или продукта в рассылке.

Мы решили взять за основу фотографию с мотоциклистом и указали действие:

Главное — отметить галочкой функцию Loop.

Как использовать несколько нейросетей сразу

За основу для создания видео можно взять не фотографию, а уже сгенерированную картинку. Так получится сначала создать с нуля атмосферу и персонажей, а затем качественно «оживить» их.

Разработчики Luma советуют использовать популярные сервисы Midjourney, DALL·E, Leonardo, но в целом можно пробовать функции генерации видео с любой ИИ-картинкой.

В нейросети Kandinsky мы сгенерировали картинку, на которой богатая и эффектная женщина средних лет собирается поехать в салон красоты. С помощью нейросети «оживим» эту работу по промпту.

Как создать полноценный ролик через Luma

Для решения рабочих и личных задач ролика на 5 секунд может не хватить. Например, нужно показать сразу несколько действий или рассказать целую историю. В этом случае поможет функция Extend — она позволяет продлить готовое видео еще на 5 секунд. Если снова нажать эту кнопку на новом видео — оно продлится снова.

Задача пользователя — ввести новый промпт и объяснить, что будет в продолжении ролика. Мы решили взять готовое видео по фотографии с детьми и продлить его. Если раньше ребята встретились и обнялись, теперь пусть начнут бежать друг за другом. Использовали промпт:

Плюсы и минусы сервиса

У сервиса Luma есть преимущества перед гигантами вроде Sora — сервис можно протестировать бесплатно, а результат иногда готов уже через пару минут после ввода промпта.

Еще нам понравилось, что сервис учитывает размер исходной фотографии при генерации — можно сделать как горизонтальное, так и вертикальное видео. Это актуально при создании контента для соцсетей: постов, сторис и рилсов. 

Оплатить сервис с карты российского банка нельзя. В бесплатной версии придется мириться с ограничением в 30 генераций в месяц и 20 в день. А в результате все видео будут только с водяным знаком в правом верхнем углу экрана и с лицензией для некоммерческого использования.

С картой иностранного банка можно подключить один из платных тарифов, чтобы убрать водяной знак и использовать генерации в коммерческих целях. Например, в рекламе. Минимальная стоимость — $23,99 в месяц или около 2100  ₽ при оплате за год.

После тестирования Luma сложилось впечатление, что нейросеть при всех преимуществах еще нужно дорабатывать. Даже в официальной инструкции по промптам видно, что у готовых видео хромают детали.

На наших генерациях выше тоже не все гладко. У детей проблемы с суставами рук и ног, а на видео с машинами появился странный персонаж, которого в промпте точно не было. Отправлять в Luma тот же промпт повторно практически не имеет смысла — артефакты будут появляться даже в детализированных запросах.

Мы столкнулись с еще одной особенностью: промпт можно написать на любом языке, и он пойдет в генерацию, но результат будет непредсказуемым. Например, из русского промпта «мужчина в светлой футболке и со светлыми волосами сидит на диване с телефоном в руках» Luma поняла только «мужчина» — и создала политика, будто из американских фильмов.

Luma — хороший сервис для тех, кто хочет решить простые задачи по генерации. Например, анимировать фотографию или «оживить» любимую картинку. Но эта нейросеть не подойдет для сложных задач — мини-фильмов из нескольких сцен, буктрейлеров к книгам. Попробуйте также другие нейросети для генерации видео: возможно, какая-то из них оптимально подойдет для ваших задач.