Chatterbox offline, klonování hlasu, 20 jazyků
Nadabuje vaše titulky ve 20 jazycích pomocí Chatterbox od Resemble AI, vlastním hlasem každého mluvčího naklonovaným z několika sekund videa, nebo jedním z 8 přednastavených hlasů. Naklonovaný hlas mluví všemi jazyky, ať je klip v jakémkoli jazyce. Běží na procesoru vašeho vlastního počítače zhruba v reálném čase, bez grafické karty.
Nastavení Doplňky Chatterbox (offline, voice clone, 20 languages) Instalovat
Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.
- Jazyky
- 20
- Modely
- 2
- Hlasy
- 9
- Stažení doplňku
- 39–62 MB
- RAM, alespoň
- 2 GB
Poslechněte si
Co dělá
Subtitld vystřihne z videa několik sekund každého mluvčího a pošle je s každým řádkem. Chatterbox tento hlas naklonuje v kterémkoli ze svých 20 jazyků, takže portugalského herce lze nadabovat německy a pořád zní sám sebou.
Multilingual mluví všemi 20 jazyky. Turbo mluví jen anglicky, zní věrněji mluvčímu, potřebuje méně paměti a přečte značky jako [laugh] a [sigh] napsané v titulku.
Běží na procesoru zhruba v reálném čase, bez grafické karty: 10sekundový řádek trvá asi 10 sekund.
Doplněk je pod Apache-2.0, Chatterbox i jeho modely pod MIT a přednastavené hlasy jsou čtenáři LibriVox, jejichž nahrávky jsou volným dílem.
Před instalací
- Disk: Multilingual stáhne při prvním řádku 1,3 GB, Turbo 725 MB.
- Paměť: asi 1,7 GB během mluvení s Multilingual, asi 1 GB s Turbo.
- Procesor: jakýkoli 64bitový procesor Intel nebo AMD, nebo Apple Silicon. Grafická karta se nepoužívá.
Klonujte hlas jen se souhlasem jeho majitele. Oficiální sestavení Chatterbox označují svůj zvuk neslyšitelným vodoznakem; tento doplněk ne, takže odpovědnost za to, jak naklonovaný hlas použijete, nesete vy.
Hlasy
V záložce Mluvčí zvolte u mluvčího Chatterbox jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.
9 hlasů.
S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku, nebo z několika krátkých spojených. Pokud jste pro toto video oddělili hudbu od hlasu, vzorek pochází jen z hlasu. Fallback reference clip v nastavení doplňku se použije jen tehdy, když vzorek vystřihnout nelze. Nejlepší vzorek je 5 až 20 sekund samotného mluvčího, bez hudby a jiných hlasů; doplněk použije jeho prvních 10 sekund.
| Přednastavené hlasy | |
|---|---|
| Ženy | Angličtina, portugalština, francouzština, němčina |
| Muži | Angličtina, portugalština, francouzština, němčina |
Každý přednastavený hlas patří dobrovolníkovi LibriVox, který čte knihu v daném jazyce; jsou to stejní čtenáři jako v doplňku Sopro. Každý přednastavený hlas mluví všemi 20 jazyky; jeho vlastní jazyk mu dává jen přízvuk, proto pro nejpřirozenější dabing vyberte ten, který má k jazyku vašeho projektu nejblíž.
Modely
Ani jeden model není uvnitř doplňku: ten, který používáte, se stáhne do sdílené mezipaměti modelů Subtitld při prvním dabingu, z Hugging Face v pevně dané revizi, s každým souborem ověřeným. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku modely ponechá.
| Model | Jazyk | Stažení | Vhodné pro |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) Výchozí multilingual | | Všech 20 jazyků; výchozí volba | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Jen angličtina: věrnější mluvčímu, méně paměti a přečte [laugh], [sigh] a [cough] |
Doplněk spouští exporty Chatterbox do ONNX, bez PyTorch. V našem testu 10 vět v angličtině, portugalštině, francouzštině, němčině, španělštině, italštině, ruštině a polštině, každé naklonované ze dvou hlasů, udělal Multilingual chybu ve 2,4 % slov a zněl mluvčímu podobně; Turbo neudělal v angličtině žádnou chybu a zněl mu ještě podobněji.
Možnosti
V Nastavení › Doplňky › Chatterbox (offline, voice clone, 20 languages) › Nastavit.
multilingualTurbo mluví jen anglicky. Když je zvolen Turbo, řádky v jiných jazycích namluví Multilingual. V paměti je vždy jen jeden model.
0.5Jen Multilingual: kolik emocí hlas vloží do řeči. 0,5 je výchozí hodnota samotného Chatterbox; vyšší je dramatičtější a mívá rychlejší tempo.
00 použije polovinu logických procesorů počítače, nejvýše 8. Méně vláken nechá počítač během dabingu lépe reagovat.
Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: 5 až 20 sekund, kdy mluví jedna osoba.
Jazyky
Angličtina, arabština, dánština, finština, francouzština, hindština, italština, korejština, malajština, němčina, nizozemština, norština, polština, portugalština, ruština, řečtina, svahilština, španělština, švédština a turečtina. Projekt v jakémkoli jiném jazyce dostane zprávu, která to uvede: zvolte pro něj jiný modul dabingu.
Chatterbox umí také hebrejsky, japonsky a čínsky, ty ale doplněk vynechává: hebrejština potřebuje druhý model, který doplní samohlásková znaménka, japonština potřebuje převodník, jehož licence nedovoluje ho přibalit, a čínština v našich testech vycházela zkomoleně.
Tam, kde na tom záleží, pište čísla a symboly slovy. Řádek se namluví najednou, až 40 sekund řeči.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Platformy
| Systém | Stažení | Otestováno |
|---|---|---|
| Linux x86-64 | 62.5 MB | Nadabováno oběma modely na skutečném počítači a přímo v Subtitld |
| macOS (Apple silicon) | 43.7 MB | V CI nainstalovaný doplněk stáhne model a nadabuje s ním (Apple Silicon) |
| Windows x86-64 | 38.7 MB | V CI nainstalovaný doplněk stáhne model a nadabuje s ním |
Linux x86-64, macOS na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém z nich CI nainstaluje doplněk stejně jako Subtitld, stáhne model a nadabuje s ním.
Řešení potíží
network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.disk_fullNa disku není dost místa pro model: 1,3 GB pro Multilingual, 725 MB pro Turbo.unsupported_languageJazyk projektu není žádný z 20, nebo není nastaven. Nastavte ho v projektu, nebo zvolte jiný modul dabingu.unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.bad_paramsŘádek nemá text, nebo klonovaný hlas nedostal vzorek: otevřete video, nebo nastavte Fallback reference clip. Zpráva uvede, které.out_of_memoryPočítači došla paměť. Zavřete jiné programy, nebo pro angličtinu zvolte Turbo: potřebuje asi 1 GB.internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti.
Licence
Vhodné pro komerční práci: doplněk je pod Apache-2.0, Chatterbox i oba modely pod MIT. Přednastavené hlasy jsou nahrávky LibriVox, které jsou volným dílem; anglické pocházejí z LibriTTS-R, pod CC-BY-4.0, a doplněk u každého z nich uvádí autora. Dabing, který vytvoříte, je váš.
Verze
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Další doplňky skupiny Hlasy
-
Piper Offline
158 offline hlasů v 49 jazycích, každý jako samostatné malé stažení.
-
Kokoro Offline
54 offline hlasů v devíti jazycích, všechny z jediného modelu o velikosti 82 MB.
-
Supertonic Offline
Deset offline hlasů, každý umí mluvit všech 31 svých jazyků.
-
sanoTTS Offline
Drobné offline hlasy, 28 ve 14 jazycích, každý pod 10 MB.
-
Parler-TTS Offline
Anglické hlasy, které se řídí psaným popisem; 34 pojmenovaných mluvčích.
-
Qwen3-TTS Klon
Deset jazyků, devět hlasů a klonování z 3 sekund mluvčího.
-
Coqui XTTS Klon
Klonování hlasu v 16 jazycích, s nekomerční licencí modelu.
-
F5-TTS Klon
Jen klonování hlasu, v angličtině a čínštině; nekomerční model.
-
VoxCPM2 Klon
30 jazyků v 48 kHz, hlasem mluvčího nebo popsaným hlasem. Náročný.
-
Pocket TTS Offline
Rychlý a lehký, jen CPU. 23 hlasů v sedmi evropských jazycích.
-
Sopro Klon
Vlastní hlas mluvčího, rychle na CPU. Čtyři jazyky.
-
KittenTTS 2 Klon
Vlastní hlas mluvčího v 16 jazycích, na CPU. Váhy pod restriktivní licencí.
-
Ming-3.0-tts Klon
7 jazyků v 44,1 kHz: klonované, vestavěné nebo popsané hlasy, s emocemi. Náročný.
-
Scylla's Band Offline
Čtrnáct hlasů v šesti jazycích, nenáročné a rychlé na CPU. Jen přednastavené hlasy.
-
Audio8 TTS Klon
Vlastní hlas mluvčího ve 23 jazycích, včetně kantonštiny a arabštiny. Na CPU pomalý.
-
Inflect Offline
Přirozená anglická řeč z malinkého modelu, rychle na jakémkoli CPU.
-
Paradee Offline
Čtyři přirozené anglické hlasy, americké i britské, z jediného modelu o velikosti 8,5 MB.
-
BlueTTS Klon
Hebrejština a jidiš a k tomu pět dalších jazyků. Vlastní hlas mluvčího, rychle na CPU.
-
ZONOS3-Mini Klon
43 jazyků, od arabštiny po vietnamštinu. Vlastní hlas mluvčího, na CPU.
-
Reverb Klon
Sedm evropských jazyků a vlastní hlas mluvčího, na CPU; nekomerční model.
-
OmniVoice Klon
646 jazyků, vlastní hlas mluvčího napříč jazyky; nekomerční model.
-
VoxMel Klon
Angličtina a mandarínská čínština, s věrnými klony vlastního hlasu mluvčího.
-
tiny-voca Offline
Dva hlasy americké angličtiny z modelu se 4,5 miliony parametrů, bez jakéhokoli stahování.