Reverb офлайн, клонирование голоса, 7 языков, некоммерческая

ГолосаОфлайнТолько CPUКлонирование голосаНекоммерческое

Озвучивает ваши субтитры на английском, немецком, французском, испанском, итальянском, польском и португальском с помощью Reverb-TTS от Software Mansion AI Labs: одним из 16 голосов или собственным голосом каждого говорящего, клонированным из нескольких секунд видео и его субтитров. Работает на процессоре вашего компьютера, без видеокарты. Модель предназначена только для некоммерческого использования.

Установите из Subtitld

Настройки Дополнения Reverb (offline, voice clone, 7 languages, non-commercial) Установка

Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.

Исходный код на GitHub
Языки
7
Модели
3
Голоса
17
Загрузка дополнения
40–65 MB
ОЗУ, не меньше
2.5 GB

Что он делает

Семь языков

Английский, немецкий, французский, испанский, итальянский, польский и португальский. Числа, даты, цены и единицы измерения читаются словами, так, как принято в каждом языке.

Собственный голос говорящего

Subtitld вырезает из видео несколько секунд каждого говорящего и передаёт их вместе с субтитрами, которые в них произносятся. Reverb клонирует этот голос на любом из своих семи языков. Или выберите один из 16 голосов.

Exact или Fast

Exact запускает модель в том виде, в каком она опубликована. Fast работает примерно вдвое быстрее и загружается меньшим объёмом, ценой небольшой потери точности.

Офлайн после первой реплики

Модель загружается один раз, когда она впервые нужна для реплики. После этого ничего не покидает ваш компьютер.

Некоммерческая модель. Веса Reverb-TTS и её стандартные голоса распространяются под CC-BY-NC-4.0, которая не разрешает коммерческое использование. Код дополнения лицензирован по Apache-2.0, но это не меняет условий для весов. Для коммерческой работы ZONOS3-Mini тоже клонирует голоса на всех этих семи языках, а его веса — под Apache-2.0.

Перед установкой

  • Диск: 640 МБ для модели, загружается при первой реплике; вместо этого 378 МБ, если выбрать Fast до первой реплики. При первом использовании собственного голоса говорящего — ещё 327 МБ.
  • Память: около 1,5 ГБ во время синтеза речи.
  • Время: на Intel Core i7-13700T, занятом другой работой, секунда речи создавалась примерно за 0,8 секунды в режиме Exact и примерно за 0,6 секунды в режиме Fast.
  • Процессор: 64-битный процессор Intel или AMD либо Apple Silicon. Видеокарта не используется.

Голоса

На вкладке Говорящие выберите Reverb как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.

Голосов: 17.

Язык записи Женские Мужские
Английский Диктор, шёпот Диктор 1, диктор 2, сердитый
Французский Француженка Француз
Немецкий Немка Немец
Итальянский Итальянец, экспрессивный итальянец
Польский Поляк
Португальский Португалка Португалец
Испанский Испанец 1, испанец 2

Это собственные стандартные голоса Reverb. Каждый голос говорит на всех языках, но с акцентом того языка, на котором он записан. Для языка, у которого здесь нет своего голоса или нет женского голоса, используйте собственный голос говорящего.

С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта — из одного его субтитра или из нескольких коротких, склеенных вместе, — и передаёт то, что в нём сказано: текст этих субтитров. Reverb нужно и то, и другое. Он продолжает речь от образца и его слов, а без слов терял бы первые слова каждой реплики.

Поэтому субтитры должны быть на том языке, на котором говорят в видео. Если вы их перевели, Subtitld передаёт исходный текст, при условии что он знает, на каком языке звук: укажите его в поле Язык субтитров на панели Транскрипция. Иначе реплика остановится с сообщением об этом. Субтитры, которые пересказывают сказанное, а не записывают его дословно, ухудшают клон.

Лучший образец — от 3 до 10 секунд чистой речи одного человека близко к микрофону. Образец короче 2 секунд отклоняется, а образец длиннее 15 секунд обычно даёт худшие реплики. Fallback reference clip в настройках дополнения вместе с его Fallback clip's transcript используется, только когда образец вырезать нельзя.

Каждая реплика создаётся с зерном, которое передаёт Subtitld, поэтому одна и та же реплика тем же голосом каждый раз получается одинаковой.

Модели

Модель не входит в дополнение: она загружается в общий кэш моделей Subtitld, когда впервые нужна для реплики, из собственного выпуска дополнения на GitHub, где веса Reverb хранятся преобразованными для ONNX Runtime, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения её сохраняет.

Модель ЗагрузкаПодходит для
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices По умолчанию reverb
640 MB
Каждая реплика в режиме Exact, по умолчанию: сеть, декодер и 16 голосов
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Каждая реплика в режиме Fast, вместо сети Exact: всего 378 МБ вместе с декодером
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
Собственный голос говорящего, при первом озвучивании таким голосом

Exact и Fast используют общий декодер и общие голоса (111 МБ): различается только сеть — 529 МБ для Exact и 266 МБ для Fast. Если позже переключиться с одной на другую, вторая сеть загрузится, когда впервые понадобится для реплики.

Дополнение запускает Reverb на ONNX Runtime, без PyTorch. Сэмплер и подготовка текста Reverb перенесены из собственного кода Software Mansion. Случайные числа берутся из другого источника, поэтому одно и то же зерно даёт здесь другой вариант, чем в собственном пакете Reverb; сеть Exact проверена на то, что она предсказывает то же, что и этот пакет.

Настройки

В разделе «Настройки › Дополнения › Reverb (offline, voice clone, 7 languages, non-commercial)» нажмите «Настроить».

CPU threads
По умолчанию: 0

0 использует логические процессоры компьютера, но не больше 8. Больше потоков редко ускоряет работу; меньше — компьютер отзывчивее во время озвучивания.

Quality steps
По умолчанию: 8

Сколько проходов модель делает по каждой реплике. 8 — собственная настройка Reverb; меньше — быстрее, но с большим числом ошибок.

Speed
По умолчанию: exact

Exact запускает модель в том виде, в каком её опубликовала Software Mansion. Fast запускает её в 8-битных целых числах, примерно вдвое быстрее, с отдельной загрузкой на 266 МБ: её реплики обычно звучат так же, но она дальше отходит от опубликованной модели и чаще ошибается.

Fallback reference clip
По умолчанию: пусто

Клип для голоса-клона, когда Subtitld не может вырезать его из видео, например если видео не открыто: от 3 до 10 секунд чистой речи одного человека.

Fallback clip's transcript
По умолчанию: пусто

Точно то, что говорится в резервном клипе, слово в слово. Reverb клонирует по клипу и его словам, поэтому без этого текста резервный клип отклоняется.

Языки

Английский, немецкий, французский, испанский, итальянский, польский и португальский. Для проекта на любом другом языке появится сообщение об этом: выберите для него другой движок дублирования.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Платформы

Система ЗагрузкаПроверено
Linux x86-64 64.9 MBОзвучено на всех семи языках и клонирован голос реальной моделью в CI
macOS (Apple silicon) 45.6 MBОзвучено на всех семи языках и клонирован голос реальной моделью в CI (Apple Silicon)
Windows x86-64 40.5 MBОзвучено на всех семи языках и клонирован голос реальной моделью в CI

Linux x86-64 (glibc 2.35 или новее, как в Ubuntu 22.04, Debian 12 или Fedora 36), macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модель, озвучивает реплику на каждом языке и клонирует голос.

Устранение неполадок

  • network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.
  • disk_fullНедостаточно места на диске для модели: 640 МБ (378 МБ в режиме Fast) и ещё 327 МБ для собственного голоса говорящего.
  • unsupported_languageЯзык проекта не входит в эти семь или не задан. Задайте его в проекте или выберите другой движок дублирования.
  • unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.
  • bad_paramsВ реплике нет текста, или голос-клон не получил образца или его транскрипта. Для переведённого проекта укажите в Язык субтитров язык, на котором говорят; если видео не открыто, задайте Fallback reference clip и его транскрипт. В сообщении сказано, что именно.
  • out_of_memoryКомпьютеру не хватило памяти. Закройте другие программы: Reverb нужно около 1,5 ГБ свободной памяти.
  • internalВнутри дополнения произошёл сбой; подробности в сообщении.

Лицензия

Дополнение
Apache-2.0
с собственным кодом Reverb, перенесённым на numpy
Движок
MIT
ONNX Runtime
Модель
CC-BY-NC-4.0
Веса Reverb-TTS v1.0.0, от Software Mansion AI Labs; только для некоммерческого использования
Голоса
CC-BY-NC-4.0
16 стандартных голосов Reverb; только для некоммерческого использования
Чтение текста
MIT, Unicode-3.0
Verbalis от Software Mansion, с таблицей из Unicode Character Database

Дополнение лицензировано по Apache-2.0, как и перенесённый в него код Reverb. Веса Reverb-TTS и её 16 стандартных голосов — под CC-BY-NC-4.0: только для некоммерческого использования. В файле лицензии, который поставляется с моделью, сказано, что было изменено при её преобразовании. ONNX Runtime — под MIT, и Verbalis, который читает числа и даты, — тоже под MIT.

Используйте ответственно. Клонированный голос звучит как настоящий человек. Клонируйте только те голоса, которые вы вправе использовать, с согласия говорящего; не выдавайте себя за реальных людей и не используйте созданную речь для обмана, мошенничества или травли. Сообщайте слушателям, когда они слышат синтетический голос.

Версии

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Другие дополнения группы «Голоса»