Как генерировать и клонировать голос с помощью нейросети ElevenLabs

ElevenLabs — одна из самых продвинутых нейросетей, которая позволяет создавать уникальные, реалистичные голоса или клонировать свой собственный. С ней не нужно часами записывать подкаст, создавать звуковые эффекты и озвучку для аудиокниги. Умный сервис за пару минут превратит текст в эмоциональную и естественную речь или переведет аудио на другой язык. В статье рассказываем, как создавать профессиональный аудиоконтент в ElevenLabs без усилий.

Возможности нейросети ElevenLabs

Озвучивает текст на разных языках. В библиотеке сервиса есть сотни голосов для озвучки. 

Меняет голос в аудио. Переозвучивает загруженные записи голосами, доступными в библиотеке. 

Генерирует голоса. В нейросети можно создать уникальные голоса по описанию и использовать их в контенте. На созданных голосах можно зарабатывать, если разместить их в библиотеке для общего пользования — сервис начисляет вознаграждения авторам самых популярных голосов. 

Клонирует голоса. Вы записываете свой голос, а нейросеть на его основе разрабатывает клона. Затем можно озвучивать различные тексты своим же голосом. Функция доступна в платной версии.

Генерирует звуковые эффекты по описанию. Сервис создает 4 варианта звука под один запрос в разделе «Sound Effects». 

Озвучивает книги и тексты длиннее 5 тысяч символов. Причем можно выбрать разные голоса для одного документа, например, наделить каждого персонажа книги особенным голосом. Функция доступна по подписке «Creator».

Удаляет посторонние шумы с аудио. Нейросеть безошибочно определяет лишние звуки, даже если это чужие разговоры, и убирает их с записи.

Переводит видео на 32 языка и сохраняет оригинальный голос озвучки.

Создает плеер в виде HTML-кода для сайтов. Можно сгенерировать аудио под каждый текст и статью на лендинге и облегчить чтение слабовидящим пользователям. Функция доступна на тарифе «Creator».

Как использовать ElevenLabs

Перейдите на сайт сервиса и нажмите «Get started for free». 

Попробовать сервис можно без регистрации: пролистайте главный экран вниз — там будет окошко с главными функциями. Озвучьте текст, загрузите аудио для изменения голоса, переведите запись или создайте звуковые эффекты. Здесь же есть функция «клонировать голос», но попробовать ее не получится — можно только послушать чужие голоса. 

Без регистрации можно озвучить только 100 символов текста, скачать сгенерированные записи нельзя.

Зарегистрируйтесь в сервисе через Google-аккаунт или по почте. Во втором случае потребуется подтвердить электронный адрес. После ответьте на несколько вопросов от ИИ: как вас зовут, для чего будете использовать ElevenLabs, откуда узнали о нейросети. Минута опроса и откроется главный экран сервиса. 

Интерфейс платформы полностью на английском, но нейросеть понимает текст на русском и грамотно озвучивает его. Единственное, промпты для звуковых эффектов надо писать по-английски.

Давайте разберемся, где и что находится в интерфейсе.

Сбоку — все инструменты ElevenLabs и настройки профиля. Тут же можно посмотреть, сколько у вас осталось квот для генераций.

Заглянем в настройки аккаунта, щелкнув по никнейму. Здесь можно изменить пароль, получить API-ключ для интеграции с другими сервисами, вступить в партнерку сервиса, создать дополнительный аккаунт для заработка на своих голосах и проанализировать продажи. 

Также в меню есть инструкции для всех функций и инструментов нейросети. Когда в ElevenLabs выходят обновления, там сразу появляются гайды с видеоинструкцией на английском языке.

В библиотеке голосовых моделей «Voices» лежат сотни голосов под разные задачи. Голоса можно сортировать по типам контента, для которых они подойдут. Например, для озвучки книг, статей или разговоров. Нажмите на иконку ползунков, чтобы открыть дополнительные фильтры.

В фильтрах можно искать голоса по полу, возрасту, качеству, языку и акценту. 

Теперь изучим основные инструменты платформы, которые доступны бесплатно и на тарифе «Starter». Мы подробнее рассказали о них в возможностях сервиса, а теперь покажем, как их использовать.

«Text to Speech» (Преобразование текста в аудио). Функция находится в разделе «Speech». Работать с ней просто: вставьте текст до 5 тысяч знаков, затем выберите голос для озвучки и кликните на «Generate speech».

В зависимости от объема текста с вас спишут квоты.

В настройках проверьте, что используете последние модели: продвинутую «Eleven Multilingual v 2» или быструю «Eleven Turbo v 2.5». 

Задайте параметры голоса:

• Установите стабильность («Stability») для голоса: чем выше показатель, тем сдержаннее и спокойнее будет звучать голос. Низкая стабильность добавляет голосу вольную интонацию и произношение. 
• Сходство («Similarity») означает, насколько выбранный голос будет приближен к его оригинальному звучанию. 
• Усиление стиля («Style Exaggeration») отвечает за степень выразительности и эмоциональности голоса.
• «Speaker Boost» делает голос громче. 

Чтобы сбросить настройки, нажмите «Reset».

Готовые аудио появляются внизу экрана и в истории генераций. Нажмите на значок загрузки рядом с аудио, чтобы скачать.

«Speech to Speech» (Изменение голоса). Функция работает аналогично, только вместо текста вы загружаете либо записываете аудио и нажимаете на «Generate speech». Для прослушивания своей записи нажмите «Play», для удаления — на значок корзины.

«Sound Effects» (Звуковые эффекты). На английском языке опишите звук, который хотите получить в результате, и нажмите «Generate Sound Effects». Нейросеть сгенерирует 4 варианта за 200 квот. Под полем ввода есть готовые промпты для некоторых эффектов.

Больше готовых промптов есть в разделе «Explore». В библиотеке есть звуки животных, механизмов, музыкальных инструментов.

«Dubbing studio» (Перевод). Загрузите видео или аудио весом до 500 МБ и длительностью до 45 минут или вставьте ссылку с любого из представленных ресурсов, дайте название, выберите язык перевода. Как все настроите, нажмите «Create». Файл с переводом появится внизу экрана. 

«Voice Isolator» (Удаление шумов с фона). Загрузите или запишите аудио до 500 МБ и нажмите «Isolate voice».

Недавно в нейросети появился «Voiceover Studio» (Редактор видео и аудиофайлов). Загружаете файл весом до 500 МБ и длительностью до 45 минут, а затем накладываете на него звуковые эффекты и озвучку. Пока инструмент представлен в бета-версии, поэтому работает через раз. Например, в бесплатной версии он доступен, но не хочет открывать загруженные видео в редакторе.

Теперь перейдем к более сложным инструментам ElevenLabs.

Как сгенерировать голос

В разделе «Voices» выберите «Add a new voice».

Далее нажмите «Voice Design».

Выберите пол, возраст, акцент и насколько сильно этот акцент проявляется в голосе. Сгенерировать можно только голос на английском, поэтому на выбор 5 акцентов: английский, американский, австралийский, африканский и индийский. 

Введите фразу для тренировки голоса, модель будет проговаривать ее. Затем кликните «Generate» и прослушайте голос. Если все нравится — нажмите «Use Voice».

Дайте название созданному голосу, добавьте описание и характеристики, например, акцент или возраст. Нажмите «Create Voice».

Модель появится в списке ваших голосов в разделе «Voices». Можно поделиться моделью с другими по ссылке или ID. Для этого нажмите на голос, а затем в панели сбоку выберите ID или значок рядом. Во втором случае откроется плашка, где надо переключить «Sharing» в режим «On».