Подробный гайд по нейросети SORA от OpenAI

В начале декабря 2024 года OpenAI, компания-разработчик ChatGPT, выпустила нейросеть для создания видео — SORA. Работы ИИ получаются качественными и вполне могут конкурировать с живой съемкой. Разберемся, как пользоваться сервисом и генерировать реалистичные видео.

Как получить доступ к SORA

Хотя SORA вышла в открытый доступ, пользоваться ей можно не во всех регионах. Под ограничения попала не только Россия: Нидерланды, Германия, Армения и многие-многие другие страны тоже в блоке. Для этих регионов на сайте будет заглушка «Sora is not available in your country yet». Чтобы она пропала, нужно сменить IP-адрес на США.

На первой странице сайта загружены примеры видео, сгенерированных пользователями, и кнопка Log in в правом верхнем углу. SORA входит в план подписки на ChatGPT. Если вы покупали доступ к нейросетям OpenAI, вводите почту уже зарегистрированного аккаунта.

На ChatGPT есть два тарифа подписки:

ChatGPT Plus за $20 в месяц. Вы получите тысячу кредитов (валюта на генерацию), которых хватит примерно на 50 роликов. Точное количество зависит от параметров настройки. Например, видео на пять секунд с разрешением 480p обойдется в 25 кредитов, а с 720р — в 60 кредитов. Подробнее о том, как рассчитывается стоимость генерации, разработчики написали здесь.

У тарифа PLUS есть ограничения по параметрам видео: оно не может быть дольше пяти секунд и в разрешении не выше 720р.

ChatGPT Pro за $200 в месяц. Вы получите 10 тысяч кредитов и доступ к остальным настройкам: длительность 10, 15, 20 секунд, разрешение 1080p. Теоретически вы сможете создать в 10 раз больше видео, но некоторые обойдутся сильно дороже. Например, ролик на 20 секунд с разрешением 1080p будет стоить 2 тысячи кредитов.

Купить кредиты дополнительно нельзя, их количество обновляется строго раз в месяц. Если вы достигли лимита, все еще можете создавать видео в Relaxed mode. Такая генерация будет «не в приоритете», поэтому займет гораздо больше времени.

Как пользоваться SORA

SORA понимает промпты только на английском языке. Интерфейс интуитивно понятный, так что разобраться в нем будет несложно.

Explore — работы других пользователей сервиса. Чтобы посмотреть ленту, перейдите в Recent (недавно сгенерированные ролики), или Featured (популярные работы). Если вам что-то понравится, сохраните в раздел Likes.

Вы можете работать с любым роликом других пользователей. Нажмите на понравившийся в ленте, и у вас откроется поле для редактирования. Изучите промпт целиком, измените его и создайте новое видео, расширьте, обрежьте или зациклите кадры инструментами платформы.

Library — библиотека ваших работ. Все видео публикуются в разделе All videos. Вы можете добавлять избранные ролики в Favorites или отправлять в архив. В Uploads хранятся все файлы, которые вы загружали.

Еще вы можете создать свою папку для видео, чтобы добавить туда ролики одной тематики или по одному проекту.

В правом верхнем углу есть три кнопки: фильтр, вид и «в работе». Вы можете фильтровать видео, выбирать, как показывать ролики: списком или плиткой, обрезанные или в полном размере. Под знаком Activity отображаются видео в работе.

При клике на аватарку вашего аккаунта откроется окно с настройками, справочником, обучающими роликами, текущим планом и остатком кредитов.

В настройках вы можете поменять имя, цвет темы сервиса и тариф. Еще там есть кнопки Publish to explore и Improve the model for everyone. Выключите Publish to explore, если не хотите показывать работы другим пользователям. Improve the model for everyone позволяет нейросети обучаться на ваших роликах.

Как генерировать видео

Качество сгенерированного видео зависит от того, насколько хорошо вы пропишите промпт. Лучше объяснить все подробно, чтобы как можно меньше деталей оставить на волю нейросети. Если у нее будет слишком большая свобода для творчества, в видео появятся артефакты.

Вот пример готового промпта:

Ракурс и движение камеры. «Статичный боковой общий план». 

Персонаж, действие и место. «Старик со сгорбленной спиной в черной куртке тянет мешок по пустому полю».

Детали. «Вокруг холмы».

Освещение. «Приглушенный свет закатного солнца».

Стиль съемки. «Фотореализм».

Добавлять много деталей тоже не стоит — так нейросеть запутается, возьмет основную мысль, а об остальном просто забудет. В примерах работ других пользователей часто встречается эта ошибка: они кадр за кадром описывают сюжет, как должны менять планы, но SORA показывает лишь одно действие.

Если не хотите составлять промпт самостоятельно, попросите о помощи ChatGPT. Отправьте ему такой запрос, в скобках пропишите свои детали.

Когда промпт готов, вставьте его в окно для генерации и выберите основные параметры: соотношение сторон, размер, длительность и количество роликов. Затем нажмите на стрелку и дождитесь, когда работа появится в ленте.

Среди инструментов настройки еще есть фильтры. Их пять:

• Archival — создает рамку вокруг видео как в архивной съемке.
• Film Noir — кинематографическая съемка в стиле Америки 30-х годов.
• Cardboard & Papercraft — делает все объекты из картона или бумаги.
• Whimsical stop motion — изображает причудливую анимацию.
• Baloon world — добавляет в мир вашего видео воздушные шары.

Текстовый промпт — основной инструмент генерации, но не единственный. Разработчики подготовили видео инструкции о том, как пользоваться остальными функциями SORA: Storyboard, Recut, Remix, Blend, Loop. По клику на значок аккаунта вы найдете обучающие ролики в разделе Video tutorials.

Ниже мы разберем все инструменты генерации и некоторые дополнительные возможности сервиса.

Как пользоваться Storyboard

Storyboard — инструмент создания видео с раскадровкой. Только вместо картинок и планов вы описываете текстом, что и где должно быть. Storyboard точно стоит использовать, если у вас промпт с несколькими действиями. Так нейросеть ничего не забудет и нарисует сюжет последовательно.

Нажмите на кнопку Storyboard в окне ввода промпта, откроется интерфейс функции.

Введите промпт. Справа рядом с иконкой корзины есть карандаш (Expand caption), который распишет ваш запрос более подробно. Когда первый кадр готов, наведите курсор на временную шкалу внизу и нажмите на нее, чтобы создать следующий кадр.

Как редактировать видео

Все сгенерированные видео можно редактировать. У SORA есть для этого несколько инструментов: Recut, Remix, Blend, Loop.

Recut. Когда нажимаете на эту функцию, открывается редактор Storyboard. В редакторе можно обрезать уже существующее видео и добавить новый блок с промптом, чтобы расширить его.

Этот инструмент стоит использовать, чтобы убрать артефакты на видео. Например, если в конце видео девушка странно поворачивает голову или собака превращается в другую породу, обрежьте и пропишите новый промпт. Скорее всего, артефакт исчезнет.

Remix. Изменение видео по промпту. Например, вы можете добавить в окружение больше людей или изменить погоду. В настройках укажите, как новые данные должны повлиять на ролик: сильно (strong), средне (mild) или слегка (subtle).

Blend. Это смешение двух роликов в один. Когда кликнете на инструмент, у вас откроется редактор с «кривой». «Кривая» изменяет силу влияния одного видео на другое: чем больше она находится на дорожке одного из роликов, тем сильнее этот ролик влияет на результат генерации.

Вы можете не трогать кривую и просто выбрать три варианта слияния роликов:

• Transition — сохраняет анимацию первого видео, но рисует его в стиле второго.
• Sample blend — переносит персонажа из одного видео в мир другого.
• Mix blend — это нечто среднее: персонаж перемещается между двумя мирами и при этом повторяет анимацию второго видео.

Loop. Этот инструмент зацикливает видео, чтобы его конец плавно переходил в начало. В редакторе можно выбрать только длину итогового ролика.

Как анимировать изображение

В окне ввода промпта есть «+» — можно загрузить фото или видео, дописать текстовый запрос и оживить картинку. Нейросеть не всегда именно анимирует картинку. Чаще она заимствует персонажа или окружение и создает в ролике абсолютно новый сюжет.

Не все изображения получается анимировать через нейросеть. Фотографии природы или города получаются хорошо. Но с персонажами сложнее: чаще SORA помещает их в другие обстоятельства и создает новый сюжет. 

Что в итоге

SORA — крутой сервис, но уже далеко не единственный в своем роде. Задолго до выпуска нейросети энтузиасты вовсю тестировали Kling, Runway, Luma AI и оставались в восторге. И в отличие от остальных, SORA нельзя попробовать бесплатно.

По качеству картинки SORA не уступает, но и не сильно превосходит другие нейросети. Проработка деталей, реалистичность у сервиса на высоте, но в большинстве видео все еще часто появляются артефакты, а детали промпта ИИ иногда игнорирует.