Chatterbox офлайн, клонирование голоса, 20 языков
Озвучивает ваши субтитры на 20 языках с помощью Chatterbox от Resemble AI: собственным голосом каждого говорящего, клонированным из нескольких секунд видео, или одним из 8 готовых голосов. Клонированный голос говорит на любом языке, на каком бы языке ни был исходный клип. Работает на процессоре вашего компьютера примерно в реальном времени, без видеокарты.
Настройки Дополнения Chatterbox (offline, voice clone, 20 languages) Установка
Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.
- Языки
- 20
- Модели
- 2
- Голоса
- 9
- Загрузка дополнения
- 39–62 MB
- ОЗУ, не меньше
- 2 GB
Послушать
Что он делает
Subtitld вырезает из видео несколько секунд каждого говорящего и передаёт их с каждой репликой. Chatterbox клонирует этот голос на любом из своих 20 языков, так что португальского актёра можно озвучить по-немецки, и он по-прежнему будет звучать как он сам.
Multilingual говорит на всех 20 языках. Turbo говорит только по-английски, звучит ближе к говорящему, требует меньше памяти и читает теги вроде [laugh] и [sigh], написанные в субтитре.
Работает на процессоре примерно в реальном времени, без видеокарты: 10-секундная реплика занимает около 10 секунд.
Дополнение лицензировано по Apache-2.0, Chatterbox и его модели — по MIT, а готовые голоса — это чтецы LibriVox, в общественном достоянии.
Перед установкой
- Диск: Multilingual загружает 1,3 ГБ при первой реплике, Turbo — 725 МБ.
- Память: около 1,7 ГБ во время синтеза речи с Multilingual, около 1 ГБ с Turbo.
- Процессор: любой 64-битный процессор Intel или AMD либо Apple Silicon. Видеокарта не используется.
Клонируйте голос только с согласия его владельца. Собственные сборки Chatterbox помечают звук неслышимым водяным знаком; это дополнение так не делает, поэтому ответственность за то, как используется клонированный голос, лежит на вас.
Голоса
На вкладке Говорящие выберите Chatterbox как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.
Голосов: 9.
С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра или из нескольких коротких, склеенных вместе. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Fallback reference clip в настройках дополнения используется, только когда образец вырезать нельзя. Лучший образец — от 5 до 20 секунд речи одного говорящего, без музыки и других голосов; дополнение использует его первые 10 секунд.
| Готовые голоса | |
|---|---|
| Женские | английский, португальский, французский, немецкий |
| Мужские | английский, португальский, французский, немецкий |
Каждый готовый голос — это доброволец LibriVox, читающий книгу на своём языке; это те же чтецы, что и в дополнении Sopro. Каждый готовый голос говорит на всех 20 языках; его собственный язык лишь даёт ему акцент, поэтому для самого естественного дубляжа выберите голос, ближайший к языку вашего проекта.
Модели
Ни одна из моделей не входит в дополнение: та, которой вы пользуетесь, при первом озвучивании загружается в общий кэш моделей Subtitld с Hugging Face, с закреплённой ревизией, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения модели сохраняет.
| Модель | Язык | Загрузка | Подходит для |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) По умолчанию multilingual | | Все 20 языков; по умолчанию | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Только английский: ближе к говорящему, меньше памяти, читает [laugh], [sigh] и [cough] |
Дополнение запускает ONNX-экспорт Chatterbox, без PyTorch. В нашем тесте из 10 предложений на английском, португальском, французском, немецком, испанском, итальянском, русском и польском, каждое клонированное двумя голосами, Multilingual ошибся в 2,4% слов и звучал близко к говорящему; Turbo не ошибся ни разу на английском и звучал ещё ближе.
Настройки
В разделе «Настройки › Дополнения › Chatterbox (offline, voice clone, 20 languages)» нажмите «Настроить».
multilingualTurbo говорит только по-английски. Если выбран Turbo, реплики на других языках озвучивает Multilingual. В памяти одновременно находится только одна модель.
0.5Только для Multilingual: сколько эмоций голос вкладывает в речь. 0,5 — значение по умолчанию самого Chatterbox; больше — драматичнее и обычно быстрее.
00 использует половину логических процессоров компьютера, но не больше 8. Меньше потоков — компьютер отзывчивее во время озвучивания.
Клип для голоса-клона, когда Subtitld не может вырезать его из видео, например если видео не открыто: от 5 до 20 секунд речи одного человека.
Языки
Английский, арабский, греческий, датский, испанский, итальянский, корейский, малайский, немецкий, нидерландский, норвежский, польский, португальский, русский, суахили, турецкий, финский, французский, хинди и шведский. Для проекта на любом другом языке появится сообщение об этом: выберите для него другой движок дублирования.
В Chatterbox есть также иврит, японский и китайский, которые дополнение не включает: ивриту нужна вторая модель для расстановки огласовок, японскому — конвертер, лицензия которого не позволяет его встраивать, а китайский в наших тестах выходил искажённым.
Там, где это важно, пишите числа и символы словами. Реплика произносится за один раз, до 40 секунд речи.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Платформы
| Система | Загрузка | Проверено |
|---|---|---|
| Linux x86-64 | 62.5 MB | Озвучено обеими моделями на реальной машине и в самом Subtitld |
| macOS (Apple silicon) | 43.7 MB | В CI установленное дополнение загружает модель и озвучивает ею (Apple Silicon) |
| Windows x86-64 | 38.7 MB | В CI установленное дополнение загружает модель и озвучивает ею |
Linux x86-64, macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модель и озвучивает ею.
Устранение неполадок
network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.disk_fullНедостаточно места на диске для модели: 1,3 ГБ для Multilingual, 725 МБ для Turbo.unsupported_languageЯзык проекта не входит в эти 20 или не задан. Задайте его в проекте или выберите другой движок дублирования.unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.bad_paramsВ реплике нет текста, или клон не получил образца: откройте видео или задайте Fallback reference clip. В сообщении сказано, что именно.out_of_memoryКомпьютеру не хватило памяти. Закройте другие программы или выберите Turbo для английского: ему нужно около 1 ГБ.internalВнутри дополнения произошёл сбой; подробности в сообщении.
Лицензия
Подходит для коммерческой работы: дополнение лицензировано по Apache-2.0, а Chatterbox и обе модели — по MIT. Готовые голоса — записи LibriVox в общественном достоянии; английские взяты через LibriTTS-R под CC-BY-4.0, и дополнение указывает авторство каждой из них. Созданный дубляж принадлежит вам.
Версии
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Другие дополнения группы «Голоса»
-
Piper Офлайн
158 офлайн-голосов на 49 языках, каждый отдельной небольшой загрузкой.
-
Kokoro Офлайн
54 офлайн-голоса на девяти языках, все из одной модели на 82 МБ.
-
Supertonic Офлайн
Десять офлайн-голосов, каждый может говорить на всех 31 языке.
-
sanoTTS Офлайн
Крохотные офлайн-голоса, 28 на 14 языках, каждый меньше 10 МБ.
-
Parler-TTS Офлайн
Английские голоса, которые следуют письменному описанию; 34 именованных диктора.
-
Qwen3-TTS Клонирование
Десять языков, девять голосов и клонирование по 3 секундам речи говорящего.
-
Coqui XTTS Клонирование
Клонирование голоса на 16 языках, с некоммерческой лицензией модели.
-
F5-TTS Клонирование
Только клонирование голоса, на английском и китайском; некоммерческая модель.
-
VoxCPM2 Клонирование
30 языков в 48 кГц, голосом самого говорящего или описанным голосом. Тяжёлое.
-
Pocket TTS Офлайн
Быстрое и лёгкое, только процессор. 23 голоса на семи европейских языках.
-
Sopro Клонирование
Собственный голос говорящего, быстро на процессоре. Четыре языка.
-
KittenTTS 2 Клонирование
Собственный голос говорящего на 16 языках, на процессоре. Веса под ограничительной лицензией.
-
Ming-3.0-tts Клонирование
7 языков в 44,1 кГц: клонированные, встроенные или описанные голоса, с эмоциями. Тяжёлое.
-
Scylla's Band Офлайн
Четырнадцать голосов на шести языках, легко и быстро на процессоре. Только готовые голоса.
-
Audio8 TTS Клонирование
Собственный голос говорящего на 23 языках, включая кантонский и арабский. Медленно на процессоре.
-
Inflect Офлайн
Естественная английская речь от крошечной модели, быстро на любом процессоре.
-
Paradee Офлайн
Четыре естественных английских голоса, американские и британские, от одной модели размером 8,5 МБ.
-
BlueTTS Клонирование
Иврит и идиш, плюс ещё пять языков. Собственный голос говорящего, быстро на процессоре.
-
ZONOS3-Mini Клонирование
43 языка, от арабского до вьетнамского. Собственный голос говорящего, на процессоре.
-
Reverb Клонирование
Семь европейских языков и собственный голос говорящего, на процессоре; некоммерческая модель.
-
OmniVoice Клонирование
646 языков, собственный голос говорящего и на других языках; некоммерческая модель.
-
VoxMel Клонирование
Английский и китайский (путунхуа), с точными клонами собственного голоса говорящего.
-
tiny-voca Офлайн
Два голоса на американском английском от модели на 4,5 млн параметров, без всяких загрузок.