Гид по нейросети Runway для работы с видео

Runway — нейросеть для генерации и редактирования видео, аудио и картинок. Это многофункциональный ИИ-инструмент, один из ведущих в своей нише. В статье разберем функции нейронки и покажем, как создать в ней видео бесплатно.

О нейросети Runway

Runway находится в свободном доступе для российских пользователей. Чтобы начать работать, достаточно зарегистрироваться: например, через аккаунт Google или Apple.

Какими версиями можно пользоваться:

• Gen-3 Alpha — платная полная версия с максимальной точностью и динамикой движений. Позволяет генерировать ролики по изображению, исходному видео или тексту.
• Gen-3 Alpha Turbo — упрощенная версия, позволяющая генерировать видео только по картинке. Работает быстрее остальных.
• Gen-2 — модель предыдущего поколения.

На бесплатном тарифе доступны Gen-3 Alpha Turbo и Gen-2. После регистрации пользователь разово получает 125 кредитов. Генерация самого простого видео стоит 25 кредитов. Для тех, кому недостаточно этих возможностей, предусмотрены платные подписки стоимостью от $144 до $1500 в год.

Как сгенерировать видео в Runway

Разбираем на примере Gen-3 Alpha Turbo.

После регистрации попадаем в рабочее пространство, на страницу Home. Чтобы начать генерировать, нужно найти плитку с подписью Start a new session и нажать ее.

Откроется рабочая страница. На панели слева — поле для добавления файлов. Загружаем или перетаскиваем референсное изображение → в поле ниже можем описать добавленный файл (опционально, но так нейросети будет проще разобрать суть картинки) → настраиваем разрешение: 1280х768 или 768х1280 → устанавливаем длительность: 5 или 10 секунд.

Для примера возьмем стоковую картинку с котятами. Загружаем ее, делаем подпись kittens и генерируем со стандартными параметрами. Создание 5-секундного видео стоит 25 кредитов. Результат:

Теперь сгененируем видео по двум изображениям.

После загрузки первой картинки на панели слева появляется плашка для добавления ключевых кадров — Add keyframe. Нажимаем и загружаем вторую картинку.

В этом видео первая картинка переходит во вторую, наподобие покадровой анимации.

С роликом можно работать дальше: сделать простой монтаж, поменять соотношение сторон. Бесплатные форматы для скачивания: MP4 и GIF. За 10 кредитов видео можно улучшить качество видео до 4К.

Другие инструменты нейросети Runway

Контроль камеры. Функция позволяет настроить угол наклона, ракурс для видео: отклонения по вертикали/горизонтали, перспективу и прочее. Раздел Camera control находится там же, на панели слева, — вторая иконка сверху. 

Установим рандомные параметры для изображения.

Получился эффект поворота камеры.

Act-One. Одна из флагманских функций нейросети, позволяющая с точностью копировать эмоции, мимику в заданной стилистике. Например, загрузив видео с человеком, можно сделать аналогичную мультяшную версию. Исходный ролик должен быть длительностью до 30 секунд и с отчетливым выражением эмоций. 

Для доступа к функции нужно нажать на третью иконку на панели инструментов. Далее нужно загрузить видео или сделать запись с камеры. Чтобы задать стилистику генерируемому ролику, добавляем референс: из готового каталога или свой. Это может быть персонаж фильма, мультика или любой нарисованный герой.

Вот такие работы получаются:

Изменение соотношения сторон видео. Этот инструмент — четвертая иконка. Горизонтальное видео можно сделать вертикальным, и наоборот. Используем видео, которое создали с контролем камеры. Можно скачать и загрузить ролик. Или же — нажать на Actions под сгенерированным видео и выбрать Expand Video.  

Получаем аналогичное вертикальное видео.

В Runway — 35 инструментов для работы с контентом. Кроме генерации видео, с помощью нейросети можно выполнять следующие задачи:

• Генерировать аудио, картинки по текстовому промпту и другим изображениям, а также 3D-объекты.
• Обрабатывать картинки: перемещать и стирать элементы, работать с цветом.
• Обрабатывать видео: делать липсинки (синхронизацию звука с движением губ), субтитры, транскрипты, удалять фон.
• Обрабатывать аудио: очищать звук, убирать тишину.

С главной страницы переходим в раздел «Все инструменты» («All tools») в меню слева. 

Разберем некоторые функции. Frame Interpolation — это покадровый переход одной картинки в другую, по сути, превращение. Нужно загрузить минимум два изображения и указать длительность видео в окне справа.

Вот так сакура превращается в барбарис:

А теперь создадим липсинк. Загружаем стоковое видео, где отчетливо видно лицо мужчины. В поле ниже добавляем одну строчку текста «Привет! Как дела?». В настройках диалога выбираем голос персонажа.

Генерируем и получаем 1-секундный ролик. Видно, что мужчина проговаривает слова, но озвучка не самая удачная: на русском языке есть сильный акцент.

Следующая функция — Super-Slow Motion, сильное замедление видео, до 0,1, то есть до 10% от исходного.

Загружаем видеофайл, устаналиваем нужную скорость и генерируем.

При 0,19 получается такой ролик:

Примеры AI-фильмов в Runway

В нейросетях уже создают полноценные ролики с сюжетом. Показываем интересные работы, сгенерированные в Runway.

Be An Elephant — «Будь слоном». Социальное видео с размышлениями об обществе, природе и жизненных ценностях.  

You Are, Unfortunately, an A.I. Artist — «К сожалению, ты ИИ-художник». Видео со странной зверушкой в очках, повествующее о тяготах жизни нейросетевых художников. Мрачная эстетика.

Ephemera — «Эфемерное». А на что похоже это облако? Человек? Рука? Ролик с легкими фигурными облаками.

Wasting Time — «Трата времени». Медузы плавно раскачиваются под спокойную музыку, постепенно заполоняя всю Вселенную. Видео для релакса.

We Can’t Swim — «Мы не умеем плавать». Грустная романтика двух призраков.

Нейросети продолжают бурно развиваться. Читайте в нашей статье, чего ждать от инструментов для генерации видео в ближайшее время.