VoxMel offline, klonování hlasu, 2 jazyky
Nadabuje vaše titulky v angličtině a mandarínské čínštině pomocí VoxMel od VoxDance Lab, vlastním hlasem každého mluvčího věrně naklonovaným z videa a jeho titulků, nebo jedním z osmi přednastavených hlasů. Běží na vašem vlastním počítači a doplněk, model i hlasy jsou všechny pod Apache-2.0.
Nastavení Doplňky VoxMel (offline, voice clone, 2 languages) Instalovat
Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.
- Jazyky
- 2
- Modely
- 1
- Hlasy
- 9
- Stažení doplňku
- 15–19 MB
- RAM, alespoň
- 2 GB
Poslechněte si
Co dělá
Subtitld vystřihne z videa několik sekund každého mluvčího a pošle je spolu s titulky, které v nich zazní. VoxMel tento hlas věrně naklonuje, v angličtině nebo mandarínské čínštině.
Dvě ženy a dva muži pro každý jazyk, pro mluvčí, které klonovat nechcete. VoxMel je vytvořil sám: nebyl pro ně nahrán hlas žádného člověka.
Klonovaný řádek trvá na novějším procesoru notebooku dvě až čtyři sekundy na sekundu řeči.
Doplněk, engine audio.cpp, váhy VoxMel i přednastavené hlasy jsou všechny pod Apache-2.0.
Před instalací
- Disk: asi 1,2 GB, z toho většinu tvoří model o velikosti 1,04 GB, stažený při prvním řádku, který dabujete.
- Paměť: asi 2 GB volných.
- Čas: na Intel Core i7-13700T trval řádek vlastním hlasem mluvčího dvě až čtyři sekundy na sekundu řeči. Na Macu s Apple Silicon běží na GPU.
- Jazyky: jen angličtina a mandarínská čínština. Pro jiné jazyky klonuje hlasy VoxCPM2 ve 30 jazycích a OmniVoice v 646.
Hlasy
V záložce Mluvčí zvolte u mluvčího VoxMel jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku: VoxMel sám tempo řídit neumí.
9 hlasů v 2 jazycích.
en4zh4
Klonovaný hlas
S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku o délce 3 až 12 sekund, nebo z několika krátkých spojených, a pošle s ním text titulku. VoxMel potřebuje vzorek i jeho slova. Fallback reference clip v nastavení doplňku spolu s jeho přepisem se použije jen tehdy, když vzorek vystřihnout nelze.
VoxMel klonuje nejlépe v rámci jednoho jazyka. Anglický dabing mluvčího, který mluví mandarínsky, funguje dobře; mandarínský dabing anglického mluvčího může některá slova zamlžit.
Clone the timbre only s tímto doplňkem nefunguje, protože VoxMel bez slov vzorku klonovat neumí. U mluvčích, kteří používají VoxMel, ho nechte vypnuté.
Přednastavené hlasy
Každý přednastavený hlas je krátký klip, který VoxMel vytvořil bez jakékoli referenční nahrávky, uložený i s jeho přesnými slovy. Každý řádek mluvčího, kterému přidělíte přednastavený hlas, klonuje tento klip, takže hlas zůstává stejný po celé video. Anglické hlasy se hodí pro anglické řádky a mandarínské pro mandarínské.
Modely
Je jen jeden model, VoxMel 0.6B s vokodérem Vocos, s váhami uloženými v 8 bitech, jak ho převedl projekt audio.cpp. Není uvnitř doplňku: stáhne se do sdílené mezipaměti modelů Subtitld při prvním dabingu, z Hugging Face v pevně dané revizi, a je ověřen. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku model ponechá.
| Model | Stažení | Vhodné pro |
|---|---|---|
| VoxMel 0.6B (8-bit) Výchozí voxmel | Každý hlas, v angličtině a mandarínské čínštině |
První řádek také načítá model, takže trvá déle než ty další. Na Macu s Apple Silicon doplněk úplně poprvé také vysloví jeden krátký testovací řádek na GPU, a pokud to nefunguje, použije CPU. Zrušit zastaví řádek mezi dvěma kroky, nebo zastaví stahování.
Možnosti
V Nastavení › Doplňky › VoxMel (offline, voice clone, 2 languages) › Nastavit.
32Jak jemně VoxMel vykreslí každý okamžik řeči. 32 je vlastní nastavení VoxMel; méně je rychlejší, s menším množstvím detailů.
3.5Jak věrně řeč sleduje text. 3,5 je vlastní nastavení VoxMel.
3Jak věrně klonovaný hlas sleduje klip. 3,0 je vlastní nastavení VoxMel; vyšší hodnota může znít podobněji, nebo křečovitě.
00 vybere výkonná jádra u procesorů, které mají i úsporná jádra. Méně vláken nechá počítač během dabingu lépe reagovat.
Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: 3 až 15 sekund, kdy mluví jedna osoba.
Přesně to, co zazní v záložním klipu, slovo od slova. VoxMel klonuje z klipu a jeho slov, takže bez toho je záložní klip odmítnut.
Jazyky
Angličtina a mandarínská čínština. VoxMel pozná jazyk z textu.
enzh
Platformy
| Systém | Stažení | Otestováno |
|---|---|---|
| Linux x86-64 | 18.8 MB | Nadabováno skutečným modelem na skutečném počítači a na AlmaLinux 8; v CI nainstalovaný doplněk stáhne model, mluví, naklonuje hlas a zruší řádek |
| macOS (Apple silicon) | 18.1 MB | V CI nainstalovaný doplněk stáhne model, mluví, naklonuje hlas a zruší řádek (Apple Silicon) |
| Windows x86-64 | 15.4 MB | V CI nainstalovaný doplněk stáhne model, mluví, naklonuje hlas a zruší řádek |
Linux x86-64 (jakákoli distribuce od roku 2018, glibc 2.28 nebo novější), macOS 13.3 nebo novější na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém CI doplněk nainstaluje, stáhne model a nechá ho mluvit, naklonovat hlas a zrušit řádek.
Řešení potíží
network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.disk_fullNa disku není dost místa pro model. Potřebuje asi 1,2 GB volného místa.oomNedostatek paměti. Zavřete jiné programy; VoxMel potřebuje asi 2 GB volných.bad_paramsŘádek nemá text, nebo klonovaný hlas nedostal vzorek nebo k němu slova. Zpráva uvede, co z toho. U klonovaného hlasu otevřete video a nechte Clone the timbre only vypnuté.unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti.
Licence
Vhodné pro komerční práci: doplněk, jeho přednastavené hlasy, engine audio.cpp i váhy VoxMel jsou všechny pod Apache-2.0 a vokodér Vocos i ggml jsou pod MIT. Dabing, který vytvoříte, je váš. Klonovaný hlas zní jako skutečná osoba: klonujte jen hlasy, které máte právo použít, a tam, kde na tom záleží, uveďte, že dabing je syntetický.
Verze
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Další doplňky skupiny Hlasy
-
Piper Offline
158 offline hlasů v 49 jazycích, každý jako samostatné malé stažení.
-
Kokoro Offline
54 offline hlasů v devíti jazycích, všechny z jediného modelu o velikosti 82 MB.
-
Supertonic Offline
Deset offline hlasů, každý umí mluvit všech 31 svých jazyků.
-
sanoTTS Offline
Drobné offline hlasy, 28 ve 14 jazycích, každý pod 10 MB.
-
Parler-TTS Offline
Anglické hlasy, které se řídí psaným popisem; 34 pojmenovaných mluvčích.
-
Qwen3-TTS Klon
Deset jazyků, devět hlasů a klonování z 3 sekund mluvčího.
-
Coqui XTTS Klon
Klonování hlasu v 16 jazycích, s nekomerční licencí modelu.
-
F5-TTS Klon
Jen klonování hlasu, v angličtině a čínštině; nekomerční model.
-
VoxCPM2 Klon
30 jazyků v 48 kHz, hlasem mluvčího nebo popsaným hlasem. Náročný.
-
Pocket TTS Offline
Rychlý a lehký, jen CPU. 23 hlasů v sedmi evropských jazycích.
-
Sopro Klon
Vlastní hlas mluvčího, rychle na CPU. Čtyři jazyky.
-
KittenTTS 2 Klon
Vlastní hlas mluvčího v 16 jazycích, na CPU. Váhy pod restriktivní licencí.
-
Ming-3.0-tts Klon
7 jazyků v 44,1 kHz: klonované, vestavěné nebo popsané hlasy, s emocemi. Náročný.
-
Scylla's Band Offline
Čtrnáct hlasů v šesti jazycích, nenáročné a rychlé na CPU. Jen přednastavené hlasy.
-
Audio8 TTS Klon
Vlastní hlas mluvčího ve 23 jazycích, včetně kantonštiny a arabštiny. Na CPU pomalý.
-
Inflect Offline
Přirozená anglická řeč z malinkého modelu, rychle na jakémkoli CPU.
-
Paradee Offline
Čtyři přirozené anglické hlasy, americké i britské, z jediného modelu o velikosti 8,5 MB.
-
BlueTTS Klon
Hebrejština a jidiš a k tomu pět dalších jazyků. Vlastní hlas mluvčího, rychle na CPU.
-
ZONOS3-Mini Klon
43 jazyků, od arabštiny po vietnamštinu. Vlastní hlas mluvčího, na CPU.
-
Reverb Klon
Sedm evropských jazyků a vlastní hlas mluvčího, na CPU; nekomerční model.
-
OmniVoice Klon
646 jazyků, vlastní hlas mluvčího napříč jazyky; nekomerční model.
-
tiny-voca Offline
Dva hlasy americké angličtiny z modelu se 4,5 miliony parametrů, bez jakéhokoli stahování.
-
Chatterbox Klon
Vlastní hlas mluvčího ve 20 jazycích, na CPU a bez účtu.