Runway — нейросеть для генерации и редактирования видео, аудио и картинок. Это многофункциональный ИИ-инструмент, один из ведущих в своей нише. В статье разберем функции нейронки и покажем, как создать в ней видео бесплатно.
Runway находится в свободном доступе для российских пользователей. Чтобы начать работать, достаточно зарегистрироваться: например, через аккаунт Google или Apple.
Какими версиями можно пользоваться:
На бесплатном тарифе доступны Gen-3 Alpha Turbo и Gen-2. После регистрации пользователь разово получает 125 кредитов. Генерация самого простого видео стоит 25 кредитов. Для тех, кому недостаточно этих возможностей, предусмотрены платные подписки стоимостью от $144 до $1500 в год.
Разбираем на примере Gen-3 Alpha Turbo.
После регистрации попадаем в рабочее пространство, на страницу Home. Чтобы начать генерировать, нужно найти плитку с подписью Start a new session и нажать ее.
Откроется рабочая страница. На панели слева — поле для добавления файлов. Загружаем или перетаскиваем референсное изображение → в поле ниже можем описать добавленный файл (опционально, но так нейросети будет проще разобрать суть картинки) → настраиваем разрешение: 1280х768 или 768х1280 → устанавливаем длительность: 5 или 10 секунд.
Для примера возьмем стоковую картинку с котятами. Загружаем ее, делаем подпись kittens и генерируем со стандартными параметрами. Создание 5-секундного видео стоит 25 кредитов. Результат:
Теперь сгененируем видео по двум изображениям.
После загрузки первой картинки на панели слева появляется плашка для добавления ключевых кадров — Add keyframe. Нажимаем и загружаем вторую картинку.
В этом видео первая картинка переходит во вторую, наподобие покадровой анимации.
С роликом можно работать дальше: сделать простой монтаж, поменять соотношение сторон. Бесплатные форматы для скачивания: MP4 и GIF. За 10 кредитов видео можно улучшить качество видео до 4К.
Контроль камеры. Функция позволяет настроить угол наклона, ракурс для видео: отклонения по вертикали/горизонтали, перспективу и прочее. Раздел Camera control находится там же, на панели слева, — вторая иконка сверху.
Установим рандомные параметры для изображения.
Получился эффект поворота камеры.
Act-One. Одна из флагманских функций нейросети, позволяющая с точностью копировать эмоции, мимику в заданной стилистике. Например, загрузив видео с человеком, можно сделать аналогичную мультяшную версию. Исходный ролик должен быть длительностью до 30 секунд и с отчетливым выражением эмоций.
Для доступа к функции нужно нажать на третью иконку на панели инструментов. Далее нужно загрузить видео или сделать запись с камеры. Чтобы задать стилистику генерируемому ролику, добавляем референс: из готового каталога или свой. Это может быть персонаж фильма, мультика или любой нарисованный герой.
Вот такие работы получаются:
Изменение соотношения сторон видео. Этот инструмент — четвертая иконка. Горизонтальное видео можно сделать вертикальным, и наоборот. Используем видео, которое создали с контролем камеры. Можно скачать и загрузить ролик. Или же — нажать на Actions под сгенерированным видео и выбрать Expand Video.
Получаем аналогичное вертикальное видео.
В Runway — 35 инструментов для работы с контентом. Кроме генерации видео, с помощью нейросети можно выполнять следующие задачи:
С главной страницы переходим в раздел «Все инструменты» («All tools») в меню слева.
Разберем некоторые функции. Frame Interpolation — это покадровый переход одной картинки в другую, по сути, превращение. Нужно загрузить минимум два изображения и указать длительность видео в окне справа.
Вот так сакура превращается в барбарис:
А теперь создадим липсинк. Загружаем стоковое видео, где отчетливо видно лицо мужчины. В поле ниже добавляем одну строчку текста «Привет! Как дела?». В настройках диалога выбираем голос персонажа.
Генерируем и получаем 1-секундный ролик. Видно, что мужчина проговаривает слова, но озвучка не самая удачная: на русском языке есть сильный акцент.
Следующая функция — Super-Slow Motion, сильное замедление видео, до 0,1, то есть до 10% от исходного.
Загружаем видеофайл, устаналиваем нужную скорость и генерируем.
При 0,19 получается такой ролик:
В нейросетях уже создают полноценные ролики с сюжетом. Показываем интересные работы, сгенерированные в Runway.
Be An Elephant — «Будь слоном». Социальное видео с размышлениями об обществе, природе и жизненных ценностях.
You Are, Unfortunately, an A.I. Artist — «К сожалению, ты ИИ-художник». Видео со странной зверушкой в очках, повествующее о тяготах жизни нейросетевых художников. Мрачная эстетика.
Ephemera — «Эфемерное». А на что похоже это облако? Человек? Рука? Ролик с легкими фигурными облаками.
Wasting Time — «Трата времени». Медузы плавно раскачиваются под спокойную музыку, постепенно заполоняя всю Вселенную. Видео для релакса.
We Can’t Swim — «Мы не умеем плавать». Грустная романтика двух призраков.
Нейросети продолжают бурно развиваться. Читайте в нашей статье, чего ждать от инструментов для генерации видео в ближайшее время.
Делимся новостями и свежими статьями, рассказываем о новинках сервиса
Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы и интервью с экспертами диджитала.
