Chatterbox офлайн, клонування голосу, 20 мов

ГолосиОфлайнЛише CPUКлонування голосуКомерційне використання дозволено

Озвучує ваші субтитри 20 мовами за допомогою Chatterbox від Resemble AI: власним голосом кожного мовця, клонованим з кількох секунд відео, або одним із 8 готових голосів. Клонований голос говорить будь-якою мовою, хоч би якою мовою був кліп. Працює на процесорі вашого комп’ютера приблизно в реальному часі, без відеокарти.

Встановіть його з Subtitld

Налаштування Додатки Chatterbox (offline, voice clone, 20 languages) Встановити

Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.

Джерело на GitHub
Мови
20
Моделі
2
Голоси
9
Завантаження додатка
39–62 MB
ОЗП, щонайменше
2 GB

Послухати

Що це робить

Власний голос мовця іншою мовою

Subtitld вирізає з відео кілька секунд кожного мовця й передає їх із кожною реплікою. Chatterbox клонує цей голос будь-якою з 20 своїх мов, тож португальського актора можна дублювати німецькою, і він усе одно звучатиме як він сам.

Дві моделі

Multilingual говорить усіма 20 мовами. Turbo говорить лише англійською, звучить ближче до мовця, потребує менше пам’яті й читає теги на кшталт [laugh] і [sigh], написані в субтитрі.

На будь-якому комп’ютері

Працює на процесорі приблизно в реальному часі, без відеокарти: 10-секундна репліка займає близько 10 секунд.

Безкоштовно для комерційної роботи

Додаток має ліцензію Apache-2.0, Chatterbox і його моделі — MIT, а готові голоси — це читці LibriVox, суспільне надбання.

Перед встановленням

  • Диск: Multilingual завантажує 1,3 ГБ під час першої репліки, Turbo — 725 МБ.
  • Пам’ять: близько 1,7 ГБ під час синтезу мовлення з Multilingual, близько 1 ГБ з Turbo.
  • Процесор: будь-який 64-розрядний процесор Intel або AMD чи Apple Silicon. Відеокарта не використовується.

Клонуйте голос лише за згодою його власника. Власні збірки Chatterbox позначають звук нечутним водяним знаком; цей додаток цього не робить, тож відповідальність за те, як використовується клонований голос, лежить на вас.

Голоси

На вкладці Мовці оберіть Chatterbox як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.

9 голосів.

З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту: з одного його субтитру або з кількох коротких, з’єднаних разом. Якщо ви відокремили музику від голосу для цього відео, зразок береться лише з голосу. Fallback reference clip у налаштуваннях додатка використовується лише тоді, коли зразок вирізати не вдалося. Найкращий зразок — від 5 до 20 секунд, де мовець говорить сам, без музики й інших голосів; додаток використовує його перші 10 секунд.

Готові голоси
Жіночі Англійська, португальська, французька, німецька
Чоловічі Англійська, португальська, французька, німецька

Кожен готовий голос — це волонтер LibriVox, який читає книжку відповідною мовою; це ті самі читці, що й у додатку Sopro. Кожен готовий голос говорить усіма 20 мовами; його власна мова дає йому лише акцент, тож для найприроднішого дубляжу оберіть голос, найближчий до мови вашого проєкту.

Моделі

Жодна з моделей не входить до додатка: та, якою ви користуєтеся, під час першого озвучування завантажується до спільного кешу моделей Subtitld з Hugging Face, із закріпленою ревізією, і кожен файл перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка моделі зберігає.

МодельМова ЗавантаженняДобре для
Chatterbox Multilingual (0.5B, 4-bit ONNX) За замовчуванням multilingual
1.3 GB
Усі 20 мов; типова
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Лише англійська: ближче до мовця, менше пам’яті, читає [laugh], [sigh] і [cough]

Додаток запускає ONNX-експорт Chatterbox, без PyTorch. У нашому тесті з 10 речень англійською, португальською, французькою, німецькою, іспанською, італійською, російською та польською, кожне клоноване двома голосами, Multilingual помилився в 2,4% слів і звучав близько до мовця; Turbo не помилився жодного разу англійською й звучав ще ближче.

Параметри

У Налаштуваннях › Додатки › Chatterbox (offline, voice clone, 20 languages) › Налаштувати.

Model
За замовчуванням: multilingual

Turbo говорить лише англійською. Коли вибрано Turbo, репліки іншими мовами озвучує Multilingual. У пам’яті одночасно перебуває лише одна модель.

Expressiveness
За замовчуванням: 0.5

Лише для Multilingual: скільки емоцій голос вкладає в мовлення. 0,5 — власне типове значення Chatterbox; вище — драматичніше й зазвичай швидше.

CPU threads
За замовчуванням: 0

0 використовує половину логічних процесорів комп’ютера, але не більше 8. Менше потоків — комп’ютер чутливіший під час озвучування.

Fallback reference clip
За замовчуванням: порожньо

Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: від 5 до 20 секунд мовлення однієї людини.

Мови

Англійська, арабська, грецька, данська, іспанська, італійська, корейська, малайська, нідерландська, німецька, норвезька, польська, португальська, російська, суахілі, турецька, фінська, французька, гінді та шведська. Для проєкту будь-якою іншою мовою з’явиться відповідне повідомлення: оберіть для нього інший рушій дублювання.

Chatterbox також має іврит, японську та китайську, які додаток не включає: івриту потрібна друга модель, щоб розставити огласовки, японській — конвертер, ліцензія якого не дозволяє його вбудовувати, а китайська в наших тестах виходила спотвореною.

Там, де це важливо, пишіть числа й символи словами. Репліка вимовляється за один раз, до 40 секунд мовлення.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Платформи

Система ЗавантаженняПеревірено
Linux x86-64 62.5 MBОзвучено обома моделями на справжньому комп’ютері та в самому Subtitld
macOS (Apple silicon) 43.7 MBУ CI встановлений додаток завантажує модель і озвучує нею (Apple Silicon)
Windows x86-64 38.7 MBУ CI встановлений додаток завантажує модель і озвучує нею

Linux x86-64, macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній з них CI встановлює додаток так само, як це робить Subtitld, завантажує модель і озвучує нею.

Усунення несправностей

  • network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.
  • disk_fullНедостатньо місця на диску для моделі: 1,3 ГБ для Multilingual, 725 МБ для Turbo.
  • unsupported_languageМова проєкту не входить до цих 20 або не задана. Задайте її в проєкті або оберіть інший рушій дублювання.
  • unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.
  • bad_paramsУ репліці немає тексту, або клон не отримав зразка: відкрийте відео або встановіть Fallback reference clip. Повідомлення вказує, що саме.
  • out_of_memoryКомп’ютеру забракло пам’яті. Закрийте інші програми або оберіть Turbo для англійської: йому потрібно близько 1 ГБ.
  • internalУсередині додатка стався збій; подробиці в повідомленні.

Ліцензія

Додаток
Apache-2.0
Рушій
MIT
Chatterbox, від Resemble AI; ONNX Runtime — MIT
Модель
MIT
Ваги Chatterbox Multilingual і Turbo, в їхньому ONNX-експорті
Готові голоси
Public domain, CC-BY-4.0
Читці LibriVox; англійські — через LibriTTS-R

Підходить для комерційної роботи: додаток має ліцензію Apache-2.0, а Chatterbox і обидві моделі — MIT. Готові голоси — це записи LibriVox, які є суспільним надбанням; англійські надходять через LibriTTS-R за ліцензією CC-BY-4.0, і додаток зазначає автора кожного з них. Створений дубляж належить вам.

Версії

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Інші додатки групи «Голоси»