Reverb офлайн, клонирование голоса, 7 языков, некоммерческая
Озвучивает ваши субтитры на английском, немецком, французском, испанском, итальянском, польском и португальском с помощью Reverb-TTS от Software Mansion AI Labs: одним из 16 голосов или собственным голосом каждого говорящего, клонированным из нескольких секунд видео и его субтитров. Работает на процессоре вашего компьютера, без видеокарты. Модель предназначена только для некоммерческого использования.
Настройки Дополнения Reverb (offline, voice clone, 7 languages, non-commercial) Установка
Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.
- Языки
- 7
- Модели
- 3
- Голоса
- 17
- Загрузка дополнения
- 40–65 MB
- ОЗУ, не меньше
- 2.5 GB
Что он делает
Английский, немецкий, французский, испанский, итальянский, польский и португальский. Числа, даты, цены и единицы измерения читаются словами, так, как принято в каждом языке.
Subtitld вырезает из видео несколько секунд каждого говорящего и передаёт их вместе с субтитрами, которые в них произносятся. Reverb клонирует этот голос на любом из своих семи языков. Или выберите один из 16 голосов.
Exact запускает модель в том виде, в каком она опубликована. Fast работает примерно вдвое быстрее и загружается меньшим объёмом, ценой небольшой потери точности.
Модель загружается один раз, когда она впервые нужна для реплики. После этого ничего не покидает ваш компьютер.
Некоммерческая модель. Веса Reverb-TTS и её стандартные голоса распространяются под CC-BY-NC-4.0, которая не разрешает коммерческое использование. Код дополнения лицензирован по Apache-2.0, но это не меняет условий для весов. Для коммерческой работы ZONOS3-Mini тоже клонирует голоса на всех этих семи языках, а его веса — под Apache-2.0.
Перед установкой
- Диск: 640 МБ для модели, загружается при первой реплике; вместо этого 378 МБ, если выбрать Fast до первой реплики. При первом использовании собственного голоса говорящего — ещё 327 МБ.
- Память: около 1,5 ГБ во время синтеза речи.
- Время: на Intel Core i7-13700T, занятом другой работой, секунда речи создавалась примерно за 0,8 секунды в режиме Exact и примерно за 0,6 секунды в режиме Fast.
- Процессор: 64-битный процессор Intel или AMD либо Apple Silicon. Видеокарта не используется.
Голоса
На вкладке Говорящие выберите Reverb как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.
Голосов: 17.
| Язык записи | Женские | Мужские |
|---|---|---|
| Английский | Диктор, шёпот | Диктор 1, диктор 2, сердитый |
| Французский | Француженка | Француз |
| Немецкий | Немка | Немец |
| Итальянский | Итальянец, экспрессивный итальянец | |
| Польский | Поляк | |
| Португальский | Португалка | Португалец |
| Испанский | Испанец 1, испанец 2 |
Это собственные стандартные голоса Reverb. Каждый голос говорит на всех языках, но с акцентом того языка, на котором он записан. Для языка, у которого здесь нет своего голоса или нет женского голоса, используйте собственный голос говорящего.
С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта — из одного его субтитра или из нескольких коротких, склеенных вместе, — и передаёт то, что в нём сказано: текст этих субтитров. Reverb нужно и то, и другое. Он продолжает речь от образца и его слов, а без слов терял бы первые слова каждой реплики.
Поэтому субтитры должны быть на том языке, на котором говорят в видео. Если вы их перевели, Subtitld передаёт исходный текст, при условии что он знает, на каком языке звук: укажите его в поле Язык субтитров на панели Транскрипция. Иначе реплика остановится с сообщением об этом. Субтитры, которые пересказывают сказанное, а не записывают его дословно, ухудшают клон.
Лучший образец — от 3 до 10 секунд чистой речи одного человека близко к микрофону. Образец короче 2 секунд отклоняется, а образец длиннее 15 секунд обычно даёт худшие реплики. Fallback reference clip в настройках дополнения вместе с его Fallback clip's transcript используется, только когда образец вырезать нельзя.
Каждая реплика создаётся с зерном, которое передаёт Subtitld, поэтому одна и та же реплика тем же голосом каждый раз получается одинаковой.
Модели
Модель не входит в дополнение: она загружается в общий кэш моделей Subtitld, когда впервые нужна для реплики, из собственного выпуска дополнения на GitHub, где веса Reverb хранятся преобразованными для ONNX Runtime, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения её сохраняет.
| Модель | Загрузка | Подходит для |
|---|---|---|
| Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices По умолчанию reverb | Каждая реплика в режиме Exact, по умолчанию: сеть, декодер и 16 голосов | |
| Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast | Каждая реплика в режиме Fast, вместо сети Exact: всего 378 МБ вместе с декодером | |
| Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder | Собственный голос говорящего, при первом озвучивании таким голосом |
Exact и Fast используют общий декодер и общие голоса (111 МБ): различается только сеть — 529 МБ для Exact и 266 МБ для Fast. Если позже переключиться с одной на другую, вторая сеть загрузится, когда впервые понадобится для реплики.
Дополнение запускает Reverb на ONNX Runtime, без PyTorch. Сэмплер и подготовка текста Reverb перенесены из собственного кода Software Mansion. Случайные числа берутся из другого источника, поэтому одно и то же зерно даёт здесь другой вариант, чем в собственном пакете Reverb; сеть Exact проверена на то, что она предсказывает то же, что и этот пакет.
Настройки
В разделе «Настройки › Дополнения › Reverb (offline, voice clone, 7 languages, non-commercial)» нажмите «Настроить».
00 использует логические процессоры компьютера, но не больше 8. Больше потоков редко ускоряет работу; меньше — компьютер отзывчивее во время озвучивания.
8Сколько проходов модель делает по каждой реплике. 8 — собственная настройка Reverb; меньше — быстрее, но с большим числом ошибок.
exactExact запускает модель в том виде, в каком её опубликовала Software Mansion. Fast запускает её в 8-битных целых числах, примерно вдвое быстрее, с отдельной загрузкой на 266 МБ: её реплики обычно звучат так же, но она дальше отходит от опубликованной модели и чаще ошибается.
Клип для голоса-клона, когда Subtitld не может вырезать его из видео, например если видео не открыто: от 3 до 10 секунд чистой речи одного человека.
Точно то, что говорится в резервном клипе, слово в слово. Reverb клонирует по клипу и его словам, поэтому без этого текста резервный клип отклоняется.
Языки
Английский, немецкий, французский, испанский, итальянский, польский и португальский. Для проекта на любом другом языке появится сообщение об этом: выберите для него другой движок дублирования.
endefresitplpt
Платформы
| Система | Загрузка | Проверено |
|---|---|---|
| Linux x86-64 | 64.9 MB | Озвучено на всех семи языках и клонирован голос реальной моделью в CI |
| macOS (Apple silicon) | 45.6 MB | Озвучено на всех семи языках и клонирован голос реальной моделью в CI (Apple Silicon) |
| Windows x86-64 | 40.5 MB | Озвучено на всех семи языках и клонирован голос реальной моделью в CI |
Linux x86-64 (glibc 2.35 или новее, как в Ubuntu 22.04, Debian 12 или Fedora 36), macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модель, озвучивает реплику на каждом языке и клонирует голос.
Устранение неполадок
network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.disk_fullНедостаточно места на диске для модели: 640 МБ (378 МБ в режиме Fast) и ещё 327 МБ для собственного голоса говорящего.unsupported_languageЯзык проекта не входит в эти семь или не задан. Задайте его в проекте или выберите другой движок дублирования.unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.bad_paramsВ реплике нет текста, или голос-клон не получил образца или его транскрипта. Для переведённого проекта укажите в Язык субтитров язык, на котором говорят; если видео не открыто, задайте Fallback reference clip и его транскрипт. В сообщении сказано, что именно.out_of_memoryКомпьютеру не хватило памяти. Закройте другие программы: Reverb нужно около 1,5 ГБ свободной памяти.internalВнутри дополнения произошёл сбой; подробности в сообщении.
Лицензия
Дополнение лицензировано по Apache-2.0, как и перенесённый в него код Reverb. Веса Reverb-TTS и её 16 стандартных голосов — под CC-BY-NC-4.0: только для некоммерческого использования. В файле лицензии, который поставляется с моделью, сказано, что было изменено при её преобразовании. ONNX Runtime — под MIT, и Verbalis, который читает числа и даты, — тоже под MIT.
Используйте ответственно. Клонированный голос звучит как настоящий человек. Клонируйте только те голоса, которые вы вправе использовать, с согласия говорящего; не выдавайте себя за реальных людей и не используйте созданную речь для обмана, мошенничества или травли. Сообщайте слушателям, когда они слышат синтетический голос.
Версии
- 26.11.1
Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.
The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's
models-1release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isreverb-<version>-libquadmath-source.tar.gzin this release.
Другие дополнения группы «Голоса»
-
Piper Офлайн
158 офлайн-голосов на 49 языках, каждый отдельной небольшой загрузкой.
-
Kokoro Офлайн
54 офлайн-голоса на девяти языках, все из одной модели на 82 МБ.
-
Supertonic Офлайн
Десять офлайн-голосов, каждый может говорить на всех 31 языке.
-
sanoTTS Офлайн
Крохотные офлайн-голоса, 28 на 14 языках, каждый меньше 10 МБ.
-
Parler-TTS Офлайн
Английские голоса, которые следуют письменному описанию; 34 именованных диктора.
-
Qwen3-TTS Клонирование
Десять языков, девять голосов и клонирование по 3 секундам речи говорящего.
-
Coqui XTTS Клонирование
Клонирование голоса на 16 языках, с некоммерческой лицензией модели.
-
F5-TTS Клонирование
Только клонирование голоса, на английском и китайском; некоммерческая модель.
-
VoxCPM2 Клонирование
30 языков в 48 кГц, голосом самого говорящего или описанным голосом. Тяжёлое.
-
Pocket TTS Офлайн
Быстрое и лёгкое, только процессор. 23 голоса на семи европейских языках.
-
Sopro Клонирование
Собственный голос говорящего, быстро на процессоре. Четыре языка.
-
KittenTTS 2 Клонирование
Собственный голос говорящего на 16 языках, на процессоре. Веса под ограничительной лицензией.
-
Ming-3.0-tts Клонирование
7 языков в 44,1 кГц: клонированные, встроенные или описанные голоса, с эмоциями. Тяжёлое.
-
Scylla's Band Офлайн
Четырнадцать голосов на шести языках, легко и быстро на процессоре. Только готовые голоса.
-
Audio8 TTS Клонирование
Собственный голос говорящего на 23 языках, включая кантонский и арабский. Медленно на процессоре.
-
Inflect Офлайн
Естественная английская речь от крошечной модели, быстро на любом процессоре.
-
Paradee Офлайн
Четыре естественных английских голоса, американские и британские, от одной модели размером 8,5 МБ.
-
BlueTTS Клонирование
Иврит и идиш, плюс ещё пять языков. Собственный голос говорящего, быстро на процессоре.
-
ZONOS3-Mini Клонирование
43 языка, от арабского до вьетнамского. Собственный голос говорящего, на процессоре.
-
Chatterbox Клонирование
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…