Chatterbox офлайн, клонування голосу, 20 мов
Озвучує ваші субтитри 20 мовами за допомогою Chatterbox від Resemble AI: власним голосом кожного мовця, клонованим з кількох секунд відео, або одним із 8 готових голосів. Клонований голос говорить будь-якою мовою, хоч би якою мовою був кліп. Працює на процесорі вашого комп’ютера приблизно в реальному часі, без відеокарти.
Налаштування Додатки Chatterbox (offline, voice clone, 20 languages) Встановити
Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.
- Мови
- 20
- Моделі
- 2
- Голоси
- 9
- Завантаження додатка
- 39–62 MB
- ОЗП, щонайменше
- 2 GB
Послухати
Що це робить
Subtitld вирізає з відео кілька секунд кожного мовця й передає їх із кожною реплікою. Chatterbox клонує цей голос будь-якою з 20 своїх мов, тож португальського актора можна дублювати німецькою, і він усе одно звучатиме як він сам.
Multilingual говорить усіма 20 мовами. Turbo говорить лише англійською, звучить ближче до мовця, потребує менше пам’яті й читає теги на кшталт [laugh] і [sigh], написані в субтитрі.
Працює на процесорі приблизно в реальному часі, без відеокарти: 10-секундна репліка займає близько 10 секунд.
Додаток має ліцензію Apache-2.0, Chatterbox і його моделі — MIT, а готові голоси — це читці LibriVox, суспільне надбання.
Перед встановленням
- Диск: Multilingual завантажує 1,3 ГБ під час першої репліки, Turbo — 725 МБ.
- Пам’ять: близько 1,7 ГБ під час синтезу мовлення з Multilingual, близько 1 ГБ з Turbo.
- Процесор: будь-який 64-розрядний процесор Intel або AMD чи Apple Silicon. Відеокарта не використовується.
Клонуйте голос лише за згодою його власника. Власні збірки Chatterbox позначають звук нечутним водяним знаком; цей додаток цього не робить, тож відповідальність за те, як використовується клонований голос, лежить на вас.
Голоси
На вкладці Мовці оберіть Chatterbox як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.
9 голосів.
З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту: з одного його субтитру або з кількох коротких, з’єднаних разом. Якщо ви відокремили музику від голосу для цього відео, зразок береться лише з голосу. Fallback reference clip у налаштуваннях додатка використовується лише тоді, коли зразок вирізати не вдалося. Найкращий зразок — від 5 до 20 секунд, де мовець говорить сам, без музики й інших голосів; додаток використовує його перші 10 секунд.
| Готові голоси | |
|---|---|
| Жіночі | Англійська, португальська, французька, німецька |
| Чоловічі | Англійська, португальська, французька, німецька |
Кожен готовий голос — це волонтер LibriVox, який читає книжку відповідною мовою; це ті самі читці, що й у додатку Sopro. Кожен готовий голос говорить усіма 20 мовами; його власна мова дає йому лише акцент, тож для найприроднішого дубляжу оберіть голос, найближчий до мови вашого проєкту.
Моделі
Жодна з моделей не входить до додатка: та, якою ви користуєтеся, під час першого озвучування завантажується до спільного кешу моделей Subtitld з Hugging Face, із закріпленою ревізією, і кожен файл перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка моделі зберігає.
| Модель | Мова | Завантаження | Добре для |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) За замовчуванням multilingual | | Усі 20 мов; типова | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Лише англійська: ближче до мовця, менше пам’яті, читає [laugh], [sigh] і [cough] |
Додаток запускає ONNX-експорт Chatterbox, без PyTorch. У нашому тесті з 10 речень англійською, португальською, французькою, німецькою, іспанською, італійською, російською та польською, кожне клоноване двома голосами, Multilingual помилився в 2,4% слів і звучав близько до мовця; Turbo не помилився жодного разу англійською й звучав ще ближче.
Параметри
У Налаштуваннях › Додатки › Chatterbox (offline, voice clone, 20 languages) › Налаштувати.
multilingualTurbo говорить лише англійською. Коли вибрано Turbo, репліки іншими мовами озвучує Multilingual. У пам’яті одночасно перебуває лише одна модель.
0.5Лише для Multilingual: скільки емоцій голос вкладає в мовлення. 0,5 — власне типове значення Chatterbox; вище — драматичніше й зазвичай швидше.
00 використовує половину логічних процесорів комп’ютера, але не більше 8. Менше потоків — комп’ютер чутливіший під час озвучування.
Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: від 5 до 20 секунд мовлення однієї людини.
Мови
Англійська, арабська, грецька, данська, іспанська, італійська, корейська, малайська, нідерландська, німецька, норвезька, польська, португальська, російська, суахілі, турецька, фінська, французька, гінді та шведська. Для проєкту будь-якою іншою мовою з’явиться відповідне повідомлення: оберіть для нього інший рушій дублювання.
Chatterbox також має іврит, японську та китайську, які додаток не включає: івриту потрібна друга модель, щоб розставити огласовки, японській — конвертер, ліцензія якого не дозволяє його вбудовувати, а китайська в наших тестах виходила спотвореною.
Там, де це важливо, пишіть числа й символи словами. Репліка вимовляється за один раз, до 40 секунд мовлення.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Платформи
| Система | Завантаження | Перевірено |
|---|---|---|
| Linux x86-64 | 62.5 MB | Озвучено обома моделями на справжньому комп’ютері та в самому Subtitld |
| macOS (Apple silicon) | 43.7 MB | У CI встановлений додаток завантажує модель і озвучує нею (Apple Silicon) |
| Windows x86-64 | 38.7 MB | У CI встановлений додаток завантажує модель і озвучує нею |
Linux x86-64, macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній з них CI встановлює додаток так само, як це робить Subtitld, завантажує модель і озвучує нею.
Усунення несправностей
network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.disk_fullНедостатньо місця на диску для моделі: 1,3 ГБ для Multilingual, 725 МБ для Turbo.unsupported_languageМова проєкту не входить до цих 20 або не задана. Задайте її в проєкті або оберіть інший рушій дублювання.unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.bad_paramsУ репліці немає тексту, або клон не отримав зразка: відкрийте відео або встановіть Fallback reference clip. Повідомлення вказує, що саме.out_of_memoryКомп’ютеру забракло пам’яті. Закрийте інші програми або оберіть Turbo для англійської: йому потрібно близько 1 ГБ.internalУсередині додатка стався збій; подробиці в повідомленні.
Ліцензія
Підходить для комерційної роботи: додаток має ліцензію Apache-2.0, а Chatterbox і обидві моделі — MIT. Готові голоси — це записи LibriVox, які є суспільним надбанням; англійські надходять через LibriTTS-R за ліцензією CC-BY-4.0, і додаток зазначає автора кожного з них. Створений дубляж належить вам.
Версії
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Інші додатки групи «Голоси»
-
Piper Офлайн
158 офлайн-голосів 49 мовами, кожен — окреме невелике завантаження.
-
Kokoro Офлайн
54 офлайн-голоси дев’ятьма мовами з однієї моделі на 82 МБ.
-
Supertonic Офлайн
Десять офлайн-голосів, кожен може говорити всіма 31 мовою.
-
sanoTTS Офлайн
Крихітні офлайн-голоси, 28 голосів 14 мовами, кожен менше 10 МБ.
-
Parler-TTS Офлайн
Англійські голоси за письмовим описом; 34 іменовані мовці.
-
Qwen3-TTS Клон
Десять мов, дев’ять голосів і клонування з 3 секунд мовлення мовця.
-
Coqui XTTS Клон
Клонування голосу 16 мовами, з некомерційною ліцензією моделі.
-
F5-TTS Клон
Лише клонування голосу, англійською та китайською; некомерційна модель.
-
VoxCPM2 Клон
30 мов у 48 кГц, голосом самого мовця або описаним голосом. Важкий.
-
Pocket TTS Офлайн
Швидкий і легкий, лише ЦП. 23 голоси сімома європейськими мовами.
-
Sopro Клон
Власний голос мовця, швидко на ЦП. Чотири мови.
-
KittenTTS 2 Клон
Власний голос мовця 16 мовами, на ЦП. Ваги за обмежувальною ліцензією.
-
Ming-3.0-tts Клон
7 мов у 44,1 кГц: клоновані, вбудовані або описані голоси, з емоціями. Важкий.
-
Scylla's Band Офлайн
Чотирнадцять голосів шістьма мовами, легко й швидко на ЦП. Лише готові голоси.
-
Audio8 TTS Клон
Власний голос мовця 23 мовами, зокрема кантонською та арабською. Повільно на ЦП.
-
Inflect Офлайн
Природне англійське мовлення від крихітної моделі, швидко на будь-якому ЦП.
-
Paradee Офлайн
Чотири природні англійські голоси, американські й британські, від однієї моделі розміром 8,5 МБ.
-
BlueTTS Клон
Іврит та їдиш, а також ще п’ять мов. Власний голос мовця, швидко на ЦП.
-
ZONOS3-Mini Клон
43 мови, від арабської до в’єтнамської. Власний голос мовця, на ЦП.
-
Reverb Клон
Сім європейських мов і власний голос мовця, на ЦП; некомерційна модель.
-
OmniVoice Клон
646 мов, власний голос мовця будь-якою мовою; некомерційна модель.
-
VoxMel Клон
Англійська та китайська (мандаринська), з точними клонами власного голосу мовця.
-
tiny-voca Офлайн
Два американські англійські голоси від моделі на 4,5 мільйона параметрів, без жодних завантажень.