Sopro (offline, voice clone, 4 languages)

Что он делает

Перед установкой

Sopro почти не нагружает компьютер:

• Диск: около 340 МБ для модели, загружается при первой реплике.
• Память: около 1 ГБ во время синтеза речи.
• Процессор: любой 64-битный процессор Intel или AMD либо Apple Silicon. Видеокарта не используется.

Клонируйте голос только с согласия его владельца. Автор Sopro просит никогда не использовать его, чтобы выдавать себя за другого человека.

Голоса

На вкладке Говорящие выберите Sopro как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.

Голосов: 9.

С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра или из нескольких коротких, склеенных вместе. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Fallback reference clip в настройках дополнения используется, только когда образец вырезать нельзя. Лучший образец — от 5 до 20 секунд речи одного говорящего, без музыки и других голосов.

Каждый готовый голос — это доброволец LibriVox, читающий книгу на своём языке. Каждый готовый голос говорит на всех четырёх языках; его собственный язык лишь даёт ему акцент, поэтому для самого естественного дубляжа выберите голос языка вашего проекта.

Модели

У Sopro одна модель для всех четырёх языков. Она не входит в дополнение: при первом озвучивании она загружается в общий кэш моделей Subtitld с Hugging Face, с закреплённой ревизией, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения модель сохраняет.

Дополнение запускает ONNX-сборку Sopro, которую публикует его автор, без PyTorch. Мы сравнили её с официальной сборкой на PyTorch на одних и тех же репликах на всех четырёх языках: она ошибалась не чаще и звучала так же близко к говорящему.

Настройки

В разделе «Настройки › Дополнения › Sopro (offline, voice clone, 4 languages)» нажмите «Настроить».

Языки

Английский, европейский португальский, французский и немецкий. Текст на бразильском португальском тоже читается, но с европейским акцентом. Для проекта на любом другом языке появится сообщение об этом: выберите для него другой движок дублирования.

Там, где это важно, пишите числа и символы словами: «1 + 2» Sopro читает менее надёжно, чем «one plus two». Слово из другого языка внутри предложения может быть произнесено неправильно.

• en
• pt
• fr
• de

Платформы

Linux x86-64, macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модель и озвучивает ею.

Устранение неполадок

• network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.
• disk_fullНедостаточно места на диске для модели, около 340 МБ.
• unsupported_languageЯзык проекта не входит в эти четыре или не задан. Задайте его в проекте или выберите другой движок дублирования.
• unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.
• bad_paramsВ реплике нет текста, или клон не получил образца: откройте видео или задайте Fallback reference clip. В сообщении сказано, что именно.
• out_of_memoryКомпьютеру не хватило памяти. Закройте другие программы: Sopro нужно около 1 ГБ.
• internalВнутри дополнения произошёл сбой; подробности в сообщении.

Лицензия

Подходит для коммерческой работы: дополнение, Sopro и модель Sopro V2 Turbo лицензированы по Apache-2.0. Готовые голоса — записи LibriVox в общественном достоянии; английские взяты через LibriTTS-R под CC-BY-4.0, и дополнение указывает авторство каждой из них. Созданный дубляж принадлежит вам.