Chatterbox офлайн, клонирование голоса, 20 языков

ГолосаОфлайнТолько CPUКлонирование голосаКоммерческое использование разрешено

Озвучивает ваши субтитры на 20 языках с помощью Chatterbox от Resemble AI: собственным голосом каждого говорящего, клонированным из нескольких секунд видео, или одним из 8 готовых голосов. Клонированный голос говорит на любом языке, на каком бы языке ни был исходный клип. Работает на процессоре вашего компьютера примерно в реальном времени, без видеокарты.

Установите из Subtitld

Настройки Дополнения Chatterbox (offline, voice clone, 20 languages) Установка

Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.

Исходный код на GitHub
Языки
20
Модели
2
Голоса
9
Загрузка дополнения
39–62 MB
ОЗУ, не меньше
2 GB

Послушать

Что он делает

Собственный голос говорящего на другом языке

Subtitld вырезает из видео несколько секунд каждого говорящего и передаёт их с каждой репликой. Chatterbox клонирует этот голос на любом из своих 20 языков, так что португальского актёра можно озвучить по-немецки, и он по-прежнему будет звучать как он сам.

Две модели

Multilingual говорит на всех 20 языках. Turbo говорит только по-английски, звучит ближе к говорящему, требует меньше памяти и читает теги вроде [laugh] и [sigh], написанные в субтитре.

На любом компьютере

Работает на процессоре примерно в реальном времени, без видеокарты: 10-секундная реплика занимает около 10 секунд.

Бесплатно для коммерческой работы

Дополнение лицензировано по Apache-2.0, Chatterbox и его модели — по MIT, а готовые голоса — это чтецы LibriVox, в общественном достоянии.

Перед установкой

  • Диск: Multilingual загружает 1,3 ГБ при первой реплике, Turbo — 725 МБ.
  • Память: около 1,7 ГБ во время синтеза речи с Multilingual, около 1 ГБ с Turbo.
  • Процессор: любой 64-битный процессор Intel или AMD либо Apple Silicon. Видеокарта не используется.

Клонируйте голос только с согласия его владельца. Собственные сборки Chatterbox помечают звук неслышимым водяным знаком; это дополнение так не делает, поэтому ответственность за то, как используется клонированный голос, лежит на вас.

Голоса

На вкладке Говорящие выберите Chatterbox как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.

Голосов: 9.

С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра или из нескольких коротких, склеенных вместе. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Fallback reference clip в настройках дополнения используется, только когда образец вырезать нельзя. Лучший образец — от 5 до 20 секунд речи одного говорящего, без музыки и других голосов; дополнение использует его первые 10 секунд.

Готовые голоса
Женские английский, португальский, французский, немецкий
Мужские английский, португальский, французский, немецкий

Каждый готовый голос — это доброволец LibriVox, читающий книгу на своём языке; это те же чтецы, что и в дополнении Sopro. Каждый готовый голос говорит на всех 20 языках; его собственный язык лишь даёт ему акцент, поэтому для самого естественного дубляжа выберите голос, ближайший к языку вашего проекта.

Модели

Ни одна из моделей не входит в дополнение: та, которой вы пользуетесь, при первом озвучивании загружается в общий кэш моделей Subtitld с Hugging Face, с закреплённой ревизией, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения модели сохраняет.

МодельЯзык ЗагрузкаПодходит для
Chatterbox Multilingual (0.5B, 4-bit ONNX) По умолчанию multilingual
1.3 GB
Все 20 языков; по умолчанию
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Только английский: ближе к говорящему, меньше памяти, читает [laugh], [sigh] и [cough]

Дополнение запускает ONNX-экспорт Chatterbox, без PyTorch. В нашем тесте из 10 предложений на английском, португальском, французском, немецком, испанском, итальянском, русском и польском, каждое клонированное двумя голосами, Multilingual ошибся в 2,4% слов и звучал близко к говорящему; Turbo не ошибся ни разу на английском и звучал ещё ближе.

Настройки

В разделе «Настройки › Дополнения › Chatterbox (offline, voice clone, 20 languages)» нажмите «Настроить».

Model
По умолчанию: multilingual

Turbo говорит только по-английски. Если выбран Turbo, реплики на других языках озвучивает Multilingual. В памяти одновременно находится только одна модель.

Expressiveness
По умолчанию: 0.5

Только для Multilingual: сколько эмоций голос вкладывает в речь. 0,5 — значение по умолчанию самого Chatterbox; больше — драматичнее и обычно быстрее.

CPU threads
По умолчанию: 0

0 использует половину логических процессоров компьютера, но не больше 8. Меньше потоков — компьютер отзывчивее во время озвучивания.

Fallback reference clip
По умолчанию: пусто

Клип для голоса-клона, когда Subtitld не может вырезать его из видео, например если видео не открыто: от 5 до 20 секунд речи одного человека.

Языки

Английский, арабский, греческий, датский, испанский, итальянский, корейский, малайский, немецкий, нидерландский, норвежский, польский, португальский, русский, суахили, турецкий, финский, французский, хинди и шведский. Для проекта на любом другом языке появится сообщение об этом: выберите для него другой движок дублирования.

В Chatterbox есть также иврит, японский и китайский, которые дополнение не включает: ивриту нужна вторая модель для расстановки огласовок, японскому — конвертер, лицензия которого не позволяет его встраивать, а китайский в наших тестах выходил искажённым.

Там, где это важно, пишите числа и символы словами. Реплика произносится за один раз, до 40 секунд речи.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Платформы

Система ЗагрузкаПроверено
Linux x86-64 62.5 MBОзвучено обеими моделями на реальной машине и в самом Subtitld
macOS (Apple silicon) 43.7 MBВ CI установленное дополнение загружает модель и озвучивает ею (Apple Silicon)
Windows x86-64 38.7 MBВ CI установленное дополнение загружает модель и озвучивает ею

Linux x86-64, macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модель и озвучивает ею.

Устранение неполадок

  • network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.
  • disk_fullНедостаточно места на диске для модели: 1,3 ГБ для Multilingual, 725 МБ для Turbo.
  • unsupported_languageЯзык проекта не входит в эти 20 или не задан. Задайте его в проекте или выберите другой движок дублирования.
  • unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.
  • bad_paramsВ реплике нет текста, или клон не получил образца: откройте видео или задайте Fallback reference clip. В сообщении сказано, что именно.
  • out_of_memoryКомпьютеру не хватило памяти. Закройте другие программы или выберите Turbo для английского: ему нужно около 1 ГБ.
  • internalВнутри дополнения произошёл сбой; подробности в сообщении.

Лицензия

Дополнение
Apache-2.0
Движок
MIT
Chatterbox, от Resemble AI; ONNX Runtime — MIT
Модель
MIT
Веса Chatterbox Multilingual и Turbo, в их ONNX-экспорте
Готовые голоса
Public domain, CC-BY-4.0
Чтецы LibriVox; английские — через LibriTTS-R

Подходит для коммерческой работы: дополнение лицензировано по Apache-2.0, а Chatterbox и обе модели — по MIT. Готовые голоса — записи LibriVox в общественном достоянии; английские взяты через LibriTTS-R под CC-BY-4.0, и дополнение указывает авторство каждой из них. Созданный дубляж принадлежит вам.

Версии

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Другие дополнения группы «Голоса»