ZONOS3-Mini offline, klonování hlasu, 43 jazyků
Nadabuje vaše titulky ve 43 jazycích pomocí ZONOS3-Mini od společnosti Zyphra, jedním z 27 hlasů nebo vlastním hlasem každého mluvčího naklonovaným z několika sekund videa. Běží na procesoru vašeho vlastního počítače, asi dvakrát rychleji než v reálném čase, bez grafické karty.
Nastavení Doplňky ZONOS3-Mini (offline, voice clone, 43 languages) Instalovat
Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.
- Jazyky
- 43
- Modely
- 2
- Hlasy
- 28
- Stažení doplňku
- 19–24 MB
- RAM, alespoň
- 2 GB
Co dělá
Od arabštiny, bengálštiny a bulharštiny po turečtinu, urdštinu a vietnamštinu, včetně japonštiny, korejštiny, mandarínštiny, hindštiny a dalších osmi jazyků Indie. Čísla, data, ceny a jednotky se čtou podle gramatiky daného jazyka.
Subtitld vystřihne z videa vzorek každého mluvčího a pošle ho s každým řádkem. ZONOS3-Mini tento hlas naklonuje v kterémkoli ze svých jazyků. Nebo vyberte jeden z 27 hlasů.
Každý řádek se kontroluje, zatímco zaznívá, takže se žádná slova nepřeskočí, a skončí, jakmile je text přečten, místo aby pokračoval slovy, která v titulku nejsou.
Model se stáhne jednou, když ho poprvé potřebuje nějaký řádek. Potom už nic neopustí váš počítač.
Před instalací
- Disk: 1115 MB pro model, stažený při prvním řádku, a o 45 MB víc, když poprvé použijete vlastní hlas mluvčího.
- Paměť: asi 1,6 GB během mluvení.
- Čas: na Intel Core i7-13700T trvá vytvoření sekundy řeči asi půl sekundy. První řádek čeká asi o 4 sekundy déle, než se načte model, a první řádek vlastním hlasem mluvčího asi o 5 sekund déle, než se hlas naučí.
- Procesor: 64bitový procesor Intel nebo AMD s AVX2 (Intel od roku 2013, AMD od roku 2015), nebo Apple Silicon. Grafická karta se nepoužívá.
Hlasy
V záložce Mluvčí zvolte u mluvčího ZONOS3-Mini jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.
28 hlasů.
| Nahráno v jazyce | Ženy | Muži |
|---|---|---|
| Angličtina | Imogen (britská), Morgana (čarodějnice), Sakura (anime), Savannah (americká), Willow (ASMR) | Cillian (irský), Jett (energický), Rupert (britský), Thaddeus (hlasatel), Wyatt (americký) |
| Francouzština | Gaspard | |
| Němčina | Liesel | Wolfgang |
| Hindština | Ananya | Arjun |
| Italština | Ginevra | Lorenzo |
| Korejština | Seoyeon | Minjun |
| Mandarínština | Meilin (energická) | Haoran (energický) |
| Portugalština | Leonor | Thiago |
| Španělština | Ximena | Rodrigo |
| Telugština | Sravya | Chaitanya |
Jsou to výchozí hlasy samotné společnosti Zyphra. Každý hlas mluví každým jazykem, ale s přízvukem jazyka, ve kterém byl nahrán, a v jiném jazyce může být tento přízvuk silný: anglickému hlasu, který mluví rusky, se špatně rozumí. Pro jazyk, který tu nemá vlastní hlas, použijte vlastní hlas mluvčího.
S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku, nebo z několika krátkých spojených. Pokud jste pro toto video oddělili hudbu od hlasu, vzorek pochází jen z hlasu. Fallback reference clip v nastavení doplňku se použije jen tehdy, když vzorek vystřihnout nelze.
ZONOS3-Mini poslouchá až minutu vzorku a kopíruje hlas, ne slova ani přednes. Nejlepší vzorek je čistá řeč blízko mikrofonu: šum a ozvěna dělají klon méně podobný mluvčímu a nahrávka z telefonu dá hlas, který zní jako z telefonu.
Modely
Model není uvnitř doplňku: stáhne se do sdílené mezipaměti modelů Subtitld, když ho poprvé potřebuje nějaký řádek, z repozitáře společnosti Zyphra na Hugging Face v pevně dané revizi, s každým souborem ověřeným. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku ho ponechá.
| Model | Stažení | Vhodné pro |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Výchozí zonos3-mini | Každý řádek, v každém jazyce a každým hlasem | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | Vlastní hlas mluvčího, když jím poprvé dabujete |
Doplněk spouští vlastní runtime ggml společnosti Zyphra, stejný kód jako její lokální server, zabudovaný do doplňku bez PyTorch.
Ponechaný sám sobě model po krátkém řádku někdy mluví dál a přidá pár slov, která v titulku nejsou. Proto každý řádek běží pod kontrolou LACI, kontroly zarovnání od společnosti Zyphra: sleduje, která část textu právě zaznívá, zopakuje přeskočenou nebo zaseknutou pasáž a ukončí řádek, jakmile je text přečten. Doplněk pak řádek ustřihne v prvním tichu po tomto bodě. Toto ustřižení je vlastní pravidlo doplňku, ne společnosti Zyphra. V našem testu krátkých řádků titulků jich takto vyšlo čistě 61 z 64, oproti 37 z 64 bez toho. Řádek, který vyjde tichý, se vytvoří znovu.
Možnosti
V Nastavení › Doplňky › ZONOS3-Mini (offline, voice clone, 43 languages) › Nastavit.
00 použije logické procesory počítače, nejvýše 8. Víc je jen zřídka rychlejší; méně nechá počítač během dabingu lépe reagovat.
Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: 5 až 20 sekund, kdy mluví jedna osoba, čistě, ne nahrávka z telefonu.
Jazyky
Arabština, bengálština, bulharština, čínština (mandarínská), čeština, dánština, nizozemština, angličtina, finština, francouzština, gruzínština, němčina, řečtina, gudžarátština, hebrejština, hindština, maďarština, indonéština, italština, japonština, kannadština, korejština, malajština, malajálamština, maráthština, norština, urijština, polština, portugalština, paňdžábština, rumunština, ruština, slovenština, španělština, švédština, tagalština, tamilština, telugština, thajština, turečtina, ukrajinština, urdština a vietnamština. Projekt v jakémkoli jiném jazyce dostane zprávu, která to uvede: zvolte pro něj jiný modul dabingu.
Angličtina se řídí regionem projektu: Spojené království, Irsko, Austrálie, Nový Zéland, Jihoafrická republika a Indie dostanou britskou angličtinu, jakýkoli jiný region americkou angličtinu. Portugalština se čte jako brazilská portugalština a francouzština jako francouzština z Francie.
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
Platformy
| Systém | Stažení | Otestováno |
|---|---|---|
| Linux x86-64 | 19.0 MB | Nadabováno skutečným modelem z archivu vydání na AlmaLinux 8 a v CI |
| macOS (Apple silicon) | 24.0 MB | Nadabováno skutečným modelem v CI (Apple Silicon) |
| Windows x86-64 | 18.5 MB | Nadabováno skutečným modelem v CI |
Linux x86-64, macOS na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém z nich CI nainstaluje doplněk stejně jako Subtitld, stáhne model a nadabuje řádky v šesti jazycích, krátký řádek a klonovaný hlas.
Řešení potíží
network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.disk_fullNa disku není dost místa pro model: 1115 MB a o 45 MB víc pro vlastní hlas mluvčího.unsupported_languageJazyk projektu není žádný ze 43, nebo není nastaven. Nastavte ho v projektu, nebo zvolte jiný modul dabingu.unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.bad_paramsŘádek nemá text, nebo klonovaný hlas nedostal vzorek: otevřete video, nebo nastavte Fallback reference clip. Zpráva uvede, co z toho.out_of_memoryPočítači došla paměť. Zavřete jiné programy: ZONOS3-Mini potřebuje asi 2 GB volné paměti.internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti. Na starším procesoru bez AVX2 to zpráva uvede.
Licence
Doplněk je pod Apache-2.0. Váhy ZONOS3-Mini a jeho výchozí hlasy jsou pod Apache-2.0 a runtime společnosti Zyphra je pod MIT, takže komerční práce je povolena. Čtení textu, zyphra-textnorm, je pod MIT, s gramatikami převzatými z NeMo-text-processing od NVIDIA (Apache-2.0) a daty z Unicode CLDR.
Dabing, který vytvoříte, je váš. Klonovaný hlas zní jako skutečný člověk: klonujte hlasy, které máte právo používat, a tam, kde na tom záleží, uveďte, že je dabing syntetický.
Verze
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
Další doplňky skupiny Hlasy
-
Piper Offline
158 offline hlasů v 49 jazycích, každý jako samostatné malé stažení.
-
Kokoro Offline
54 offline hlasů v devíti jazycích, všechny z jediného modelu o velikosti 82 MB.
-
Supertonic Offline
Deset offline hlasů, každý umí mluvit všech 31 svých jazyků.
-
sanoTTS Offline
Drobné offline hlasy, 28 ve 14 jazycích, každý pod 10 MB.
-
Parler-TTS Offline
Anglické hlasy, které se řídí psaným popisem; 34 pojmenovaných mluvčích.
-
Qwen3-TTS Klon
Deset jazyků, devět hlasů a klonování z 3 sekund mluvčího.
-
Coqui XTTS Klon
Klonování hlasu v 16 jazycích, s nekomerční licencí modelu.
-
F5-TTS Klon
Jen klonování hlasu, v angličtině a čínštině; nekomerční model.
-
VoxCPM2 Klon
30 jazyků v 48 kHz, hlasem mluvčího nebo popsaným hlasem. Náročný.
-
Pocket TTS Offline
Rychlý a lehký, jen CPU. 23 hlasů v sedmi evropských jazycích.
-
Sopro Klon
Vlastní hlas mluvčího, rychle na CPU. Čtyři jazyky.
-
KittenTTS 2 Klon
Vlastní hlas mluvčího v 16 jazycích, na CPU. Váhy pod restriktivní licencí.
-
Ming-3.0-tts Klon
7 jazyků v 44,1 kHz: klonované, vestavěné nebo popsané hlasy, s emocemi. Náročný.
-
Scylla's Band Offline
Čtrnáct hlasů v šesti jazycích, nenáročné a rychlé na CPU. Jen přednastavené hlasy.
-
Audio8 TTS Klon
Vlastní hlas mluvčího v 11 jazycích, včetně kantonštiny. Na CPU pomalý.
-
Inflect Offline
Přirozená anglická řeč z malinkého modelu, rychle na jakémkoli CPU.
-
Paradee Offline
Čtyři přirozené anglické hlasy, americké i britské, z jediného modelu o velikosti 8,5 MB.
-
BlueTTS Klon
Hebrejština a jidiš a k tomu pět dalších jazyků. Vlastní hlas mluvčího, rychle na CPU.
-
Chatterbox Klon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…