Kling AI — новая нейросеть от китайской компании Kuaishou, предназначенная для генерации видео и изображений. Сервис подходит для оживления портретов, создания реалистичных анимаций и живого окружения.
В гайде рассказываем, как пользоваться платформой, генерировать видео и изображения.
Есть бесплатная версия. В ней пользователь получает 66 кредитов в день. Генерация одного видео в стандартном режиме стоит 10 кредитов, в профессиональном — 35. Одной картинки — 0,20 кредитов по текстовому промпту и 0,30 — с дополнительным референсным изображением.
Еще можно генерировать контент на основе опубликованных на сайте работ, поменяв заданные параметры и промпт. Стоимость генерации такая же.
Нейросеть также предлагает платные тарифы на 660, 3000 и 6000 кредитов в месяц за $79,2, $293,04 и $728,64 соответственно.
Если тариф — это слишком много, кредиты можно покупать отдельными пакетами: 330 — за $5, 660 — за $10, 1320 — $20, 3500 — $50, 7500 — $100, 16 000 — $200.
Чтобы получить бесплатные кредиты, нужно войти или зарегистрироваться в сервисе. Нажимаем Sign In или Sign in for free credits в правом верхнем углу. Дальше откроется окошко, где нужно ввести почту и пароль.
Указываем email и пароль. Если уже есть, сразу вводим данные в форму.
Можно приступать к работе.
Нейросеть известна тем, что генерирует качественные ролики, но в ней можно делать и отличные картинки. Чтобы перейти к созданию контента, можно нажать на плитки в центре страницы или на соответствующие разделы меню: AI Images и AI Videos.
Для создания картинки нужно перейти в раздел AI Images и ввести текстовый промпт. Например, “an orange cat eating ice cream”, т.е. «оранжевый кот ест мороженое». Дополнительно можно загрузить референсное изображение, на которое нейросеть будет ориентироваться при генерации. Это необязательно, но повышает точность генерации. Рядом с картинкой есть ползунок, который регулирует силу референса — насколько исходник будет влиять на результат.
Далее нужно выбрать соотношение сторон и указать количество генераций. У меня соотношение 1:1 и одна картинка. Теперь нажимаем «Сгенерировать» и смотрим результат.
Получилась картинка, близкая к исходнику.
В разделе с генерацией видео доступно два варианта создания роликов: по тексту и по картинке. Также можно сгенерировать свое видео на основе чужого.
Генерация видео по текстовому запросу. Работает так же, как с изображениями: нужно задать промпт, задать настройки и отправить генерацию.
В настройках можно:
В разделе Camera movement можно настроить камеру, ракурс, с которого ведется съемка. Доступно несколько ракурсов:
Для примера возьмем Tilt — это крен по горизонтали, который меняет перспективу: левая или правая часть выходят вперед.
Следующее поле — негативный промпт. Сюда при желании пишут то, чего не должно быть на видео. В нашем случае — блюр и холодный свет.
Для примера мы задали промпт “an astronaut walking on the moon that is slowly spinning” («астронавт гуляет по Луне, которая медленно вращается»). Оставили стандартный формат 16:9 и среднюю степень следования запросу.
В итоге получилось видео, полностью соответствующее настройкам: астронавт гуляет по Луне, которая медленно вращается, камера плавно двигается по горизонтали и меняет перспективу.
Также генерацию можно разделить на 4 части. Для этого в начале запроса нужно написать 4 camera angles. Вот пример промпта: “4 camera angles, representing winter, spring, summer, and autumn” («4 ракурса камеры, представляющие зиму, весну, лето и осень»).
Нейросеть сделала 1 видео, в котором разделила экран на 4 части. Правда, времена года смешались, и во всех видео нейронка показала зиму.
Генерация видео по картинке. Генерировать по картинке можно 2 способами: с финальным фреймом и без него. Финальный фрейм — это конечный кадр, к которому должна прийти нейронка. Если добавить финальный фрейм, то остальные настройки генерации будут недоступны.
Чтобы сгенерировать видно, нужно зайти в раздел Image to Video и добавить картинку в соответствующее поле: «Загрузить/Перетащить/Вставить». Еще есть вариант «Выбрать из истории», то есть из предыдущих генераций, если они были.
Другой способ — найти одну из сгенерированных нами картинок, открыть ее и внизу нажать Bring to Life (Оживить). Сделаем видео на примере созданного ранее кота с мороженым.
Для финального фрейма я нашла в интернете картинку, где кот принюхивается к лежащему на полу рожку мороженого. Таким кадром и должно завершиться видео.
На итоговом видео кадр резко переключается под конец. Требования соблюдены, хоть и переход получился странным.
Если убрать фрейм для концовки, появится дополнительная функция — Motion Brush. Она нужна для детальной прорисовки того, как будут двигаться элементы на видео.
Чтобы настроить передвижение объектов, кликните на Motion Brush. Откроется новое окно, в котором нужно выделять элементы и задавать им направление движения.
Каждая область будет иметь свой цвет. Зону можно закрасить самостоятельно или через автосегментацию — второй способ быстрее, так как нейросеть сама выделяет объекты. Чтобы включить эту функцию, перетаскиваем ползунок рядом с надписью Auto-Segmentation.
Нажимаем на Area в столбце справа от рабочего поля, закрашиваем нужную область, кликаем на Track рядом с Area и рисуем стрелочку — в этом направлении будет двигаться объект. В моем примере будут два кота, которые потянутся друг к другу. Их разделяет табуретка — ее сделаем статичной зоной, чтобы она не сдвинулась во время кошачьих игр. Для этого в правой половине окна находим Add Static Area, кликаем на поле и выделяем область на изображении.
Нажимаем «Подтвердить» и закрываем окно.
Получилось неплохое видео. Полосатый кот тянется лапой к шее рыжего, а рыжий — захватывает собрата снизу.
Генерация на основе другого видео. За 10 кредитов можно клонировать чужой ролик, выложенный на сайте, и использовать его в своей работе. Для этого выбираем понравившееся видео и нажимаем Clone&Try.
Этот ролик создан на базе картинки по промпту “dog swimming, water ripples spreading” («собака плавает, идет рябь по воде»), дополнительных параметров нет. Если попробовать сгенерировать видео на его основе, всплывает напоминание о том, что придется убрать фишки, доступные только с премиумом-тарифом, а именно — профессиональный режим.
Фактически это означает, что в бесплатной версии можно скопировать видео только в более низком качестве. В платной ограничений нет.
Добавим к запросу “red ball floats in the water” («красный мячик плавает в воде»). Мяча не появилось, зато собака начала качаться на волнах, хотя в исходнике просто плыла.
В руководстве по работе с нейросетью сказано, что она пока плохо воспринимает количество предметов и испытывает трудности с построением сложной траектории. Например, с генерацией прыгающего мяча. Проверим.
По запросу 5 candles платформа выдает не 5 свечей, а почему-то 3. Но выглядят они реалистично.
По промпту “a bouncing ball, football field” («прыгающий мяч, футбольное поле») мяч не прыгает вообще.
Еще у нейросетей часто бывают трудности с конечностями. Чтобы оценить, как справляется с этим Kling AI, протестируем промпт “woman with a wedding ring on her finger “(«женщина с обручальным кольцом на пальце»).
Рука прорисована четко, но кольца получилось два. Опять же, проблемы с количеством объектов.
Реальных людей сервис не генерирует — вероятно, из этических соображений. По запросу “Donald Trump drinking coffee in the cafe” («Дональд Трамп пьет кофе в кафе») выдает ролик с неизвестным мужчиной в костюме.
Kling AI генерирует точные и качественные видео даже в бесплатной версии. Простую работу сервис создает около 5 минут, но с некоторыми запросами пока не справляется: с определенным количеством элементов или сложной физической траекторией.
У платформы понятный интерфейс, в нем легко разобраться. А наличие бесплатных кредитов — неоспоримое преимущество. Но есть и существенный минус: иногда сервис надолго зависает, и на генерацию ролика уходит аж несколько часов.
Делимся новостями и свежими статьями, рассказываем о новинках сервиса
Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы и интервью с экспертами диджитала.
