Audio8 TTS (offline, voice clone, 11 languages)

Что он делает

Перед установкой

Audio8 TTS нагружает компьютер сильнее, чем лёгкие движки дублирования:

• Диск: около 1 ГБ для модели, загружается при озвучивании первой реплики.
• Память: около 1,6 ГБ во время синтеза речи и до 3 ГБ на короткое время, когда он впервые слышит нового говорящего.
• Время: каждая секунда речи создаётся две-три секунды, на Intel Core i7-13700T. Десятиминутное видео может занять около получаса.
• Процессор: любой 64-битный процессор Intel или AMD либо Apple Silicon. Видеокарта не используется.

Для быстрого дубляжа Sopro или Chatterbox клонируют голоса примерно в реальном времени или быстрее, но на меньшем числе языков.

Голоса

На вкладке Говорящие выберите Audio8 TTS как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.

1 голос.

У Audio8 TTS один голос, Speaker's own voice, и нет готовых голосов: каждая реплика клонирует говорящего. Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра длиной от 3 до 12 секунд или из нескольких коротких, склеенных вместе. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Fallback reference clip в настройках дополнения используется, только когда образец вырезать нельзя.

Subtitld передаёт текст субтитра вместе с образцом, и Audio8 TTS использует его, чтобы точнее приблизиться к говорящему. Без него, например если исходный язык проекта не задан, дополнение клонирует только по звучанию образца, чуть менее точно. Если ваши субтитры пересказывают речь, а не записывают её дословно, включите Don't send the subtitles of the reference clip.

Первая реплика каждого говорящего занимает на несколько секунд больше, пока дополнение слушает его образец. Оно его запоминает, поэтому следующие реплики говорящего начинаются сразу.

Модели

Модель одна — Audio8 TTS Preview 0.6B, в 4-битной ONNX-сборке для процессоров, которую публикуют её создатели. Она не входит в дополнение: при первом озвучивании она загружается в общий кэш моделей Subtitld с Hugging Face, с закреплённой ревизией, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения модель сохраняет.

Дополнение запускает эту сборку без PyTorch. С тем же голосом, репликой и seed оно даёт ровно то же, что и собственная среда выполнения Audio8.

Настройки

В разделе «Настройки › Дополнения › Audio8 TTS (offline, voice clone, 11 languages)» нажмите «Настроить».

Языки

Китайский, кантонский, японский, корейский, английский, нидерландский, французский, немецкий, итальянский, польский и испанский. Говорящий, клонированный из клипа на одном из них, говорит на всех остальных. Для проекта на любом другом языке появится сообщение об этом: выберите для него другой движок дублирования.

Audio8 называет эту модель предварительной версией: это языки, которые она рекомендует. Мы проверили по одному предложению на каждом из них с помощью Whisper и оценки сходства голоса, а не на слух на каждом языке.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Платформы

Linux x86-64, macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модель и озвучивает ею.

Устранение неполадок

• network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.
• disk_fullНедостаточно места на диске для модели, около 1 ГБ.
• unsupported_languageЯзык проекта не входит в эти одиннадцать или не задан. Задайте его в проекте или выберите другой движок дублирования.
• unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.
• bad_paramsВ реплике нет текста, или клон не получил образца: откройте видео или задайте Fallback reference clip. В сообщении сказано, что именно.
• out_of_memoryКомпьютеру не хватило памяти. Закройте другие программы: Audio8 TTS нужно около 3 ГБ свободной памяти.
• internalВнутри дополнения произошёл сбой; подробности в сообщении.

Лицензия

Подходит для коммерческой работы: дополнение лицензировано по Apache-2.0, как и код Audio8 TTS и веса Audio8 TTS Preview 0.6B. Созданный дубляж принадлежит вам. Клонированный голос звучит как реальный человек: клонируйте голоса, которые вы вправе использовать, и указывайте, что дубляж синтетический, там, где это важно.