ZONOS3-Mini offline, klonování hlasu, 43 jazyků

HlasyOfflinePouze CPUKlonování hlasuKomerční použití povoleno

Nadabuje vaše titulky ve 43 jazycích pomocí ZONOS3-Mini od společnosti Zyphra, jedním z 27 hlasů nebo vlastním hlasem každého mluvčího naklonovaným z několika sekund videa. Běží na procesoru vašeho vlastního počítače, asi dvakrát rychleji než v reálném čase, bez grafické karty.

Nainstalujte ho z Subtitld

Nastavení Doplňky ZONOS3-Mini (offline, voice clone, 43 languages) Instalovat

Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.

Zdrojový kód na GitHubu
Jazyky
43
Modely
2
Hlasy
28
Stažení doplňku
19–24 MB
RAM, alespoň
2 GB

Co dělá

43 jazyků

Od arabštiny, bengálštiny a bulharštiny po turečtinu, urdštinu a vietnamštinu, včetně japonštiny, korejštiny, mandarínštiny, hindštiny a dalších osmi jazyků Indie. Čísla, data, ceny a jednotky se čtou podle gramatiky daného jazyka.

Vlastní hlas mluvčího

Subtitld vystřihne z videa vzorek každého mluvčího a pošle ho s každým řádkem. ZONOS3-Mini tento hlas naklonuje v kterémkoli ze svých jazyků. Nebo vyberte jeden z 27 hlasů.

Řádky končí tam, kde končí text

Každý řádek se kontroluje, zatímco zaznívá, takže se žádná slova nepřeskočí, a skončí, jakmile je text přečten, místo aby pokračoval slovy, která v titulku nejsou.

Offline po prvním řádku

Model se stáhne jednou, když ho poprvé potřebuje nějaký řádek. Potom už nic neopustí váš počítač.

Před instalací

  • Disk: 1115 MB pro model, stažený při prvním řádku, a o 45 MB víc, když poprvé použijete vlastní hlas mluvčího.
  • Paměť: asi 1,6 GB během mluvení.
  • Čas: na Intel Core i7-13700T trvá vytvoření sekundy řeči asi půl sekundy. První řádek čeká asi o 4 sekundy déle, než se načte model, a první řádek vlastním hlasem mluvčího asi o 5 sekund déle, než se hlas naučí.
  • Procesor: 64bitový procesor Intel nebo AMD s AVX2 (Intel od roku 2013, AMD od roku 2015), nebo Apple Silicon. Grafická karta se nepoužívá.

Hlasy

V záložce Mluvčí zvolte u mluvčího ZONOS3-Mini jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.

28 hlasů.

Nahráno v jazyce Ženy Muži
Angličtina Imogen (britská), Morgana (čarodějnice), Sakura (anime), Savannah (americká), Willow (ASMR) Cillian (irský), Jett (energický), Rupert (britský), Thaddeus (hlasatel), Wyatt (americký)
Francouzština Gaspard
Němčina Liesel Wolfgang
Hindština Ananya Arjun
Italština Ginevra Lorenzo
Korejština Seoyeon Minjun
Mandarínština Meilin (energická) Haoran (energický)
Portugalština Leonor Thiago
Španělština Ximena Rodrigo
Telugština Sravya Chaitanya

Jsou to výchozí hlasy samotné společnosti Zyphra. Každý hlas mluví každým jazykem, ale s přízvukem jazyka, ve kterém byl nahrán, a v jiném jazyce může být tento přízvuk silný: anglickému hlasu, který mluví rusky, se špatně rozumí. Pro jazyk, který tu nemá vlastní hlas, použijte vlastní hlas mluvčího.

S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku, nebo z několika krátkých spojených. Pokud jste pro toto video oddělili hudbu od hlasu, vzorek pochází jen z hlasu. Fallback reference clip v nastavení doplňku se použije jen tehdy, když vzorek vystřihnout nelze.

ZONOS3-Mini poslouchá až minutu vzorku a kopíruje hlas, ne slova ani přednes. Nejlepší vzorek je čistá řeč blízko mikrofonu: šum a ozvěna dělají klon méně podobný mluvčímu a nahrávka z telefonu dá hlas, který zní jako z telefonu.

Modely

Model není uvnitř doplňku: stáhne se do sdílené mezipaměti modelů Subtitld, když ho poprvé potřebuje nějaký řádek, z repozitáře společnosti Zyphra na Hugging Face v pevně dané revizi, s každým souborem ověřeným. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku ho ponechá.

Model StaženíVhodné pro
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Výchozí zonos3-mini
1.1 GB
Každý řádek, v každém jazyce a každým hlasem
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
Vlastní hlas mluvčího, když jím poprvé dabujete

Doplněk spouští vlastní runtime ggml společnosti Zyphra, stejný kód jako její lokální server, zabudovaný do doplňku bez PyTorch.

Ponechaný sám sobě model po krátkém řádku někdy mluví dál a přidá pár slov, která v titulku nejsou. Proto každý řádek běží pod kontrolou LACI, kontroly zarovnání od společnosti Zyphra: sleduje, která část textu právě zaznívá, zopakuje přeskočenou nebo zaseknutou pasáž a ukončí řádek, jakmile je text přečten. Doplněk pak řádek ustřihne v prvním tichu po tomto bodě. Toto ustřižení je vlastní pravidlo doplňku, ne společnosti Zyphra. V našem testu krátkých řádků titulků jich takto vyšlo čistě 61 z 64, oproti 37 z 64 bez toho. Řádek, který vyjde tichý, se vytvoří znovu.

Možnosti

V Nastavení › Doplňky › ZONOS3-Mini (offline, voice clone, 43 languages) › Nastavit.

CPU threads
Výchozí: 0

0 použije logické procesory počítače, nejvýše 8. Víc je jen zřídka rychlejší; méně nechá počítač během dabingu lépe reagovat.

Fallback reference clip
Výchozí: prázdné

Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: 5 až 20 sekund, kdy mluví jedna osoba, čistě, ne nahrávka z telefonu.

Jazyky

Arabština, bengálština, bulharština, čínština (mandarínská), čeština, dánština, nizozemština, angličtina, finština, francouzština, gruzínština, němčina, řečtina, gudžarátština, hebrejština, hindština, maďarština, indonéština, italština, japonština, kannadština, korejština, malajština, malajálamština, maráthština, norština, urijština, polština, portugalština, paňdžábština, rumunština, ruština, slovenština, španělština, švédština, tagalština, tamilština, telugština, thajština, turečtina, ukrajinština, urdština a vietnamština. Projekt v jakémkoli jiném jazyce dostane zprávu, která to uvede: zvolte pro něj jiný modul dabingu.

Angličtina se řídí regionem projektu: Spojené království, Irsko, Austrálie, Nový Zéland, Jihoafrická republika a Indie dostanou britskou angličtinu, jakýkoli jiný region americkou angličtinu. Portugalština se čte jako brazilská portugalština a francouzština jako francouzština z Francie.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Platformy

Systém StaženíOtestováno
Linux x86-64 19.0 MBNadabováno skutečným modelem z archivu vydání na AlmaLinux 8 a v CI
macOS (Apple silicon) 24.0 MBNadabováno skutečným modelem v CI (Apple Silicon)
Windows x86-64 18.5 MBNadabováno skutečným modelem v CI

Linux x86-64, macOS na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém z nich CI nainstaluje doplněk stejně jako Subtitld, stáhne model a nadabuje řádky v šesti jazycích, krátký řádek a klonovaný hlas.

Řešení potíží

  • network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.
  • disk_fullNa disku není dost místa pro model: 1115 MB a o 45 MB víc pro vlastní hlas mluvčího.
  • unsupported_languageJazyk projektu není žádný ze 43, nebo není nastaven. Nastavte ho v projektu, nebo zvolte jiný modul dabingu.
  • unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.
  • bad_paramsŘádek nemá text, nebo klonovaný hlas nedostal vzorek: otevřete video, nebo nastavte Fallback reference clip. Zpráva uvede, co z toho.
  • out_of_memoryPočítači došla paměť. Zavřete jiné programy: ZONOS3-Mini potřebuje asi 2 GB volné paměti.
  • internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti. Na starším procesoru bez AVX2 to zpráva uvede.

Licence

Doplněk
Apache-2.0
Engine
MIT
Runtime ZONOS3-Mini od společnosti Zyphra, s ggml
Model
Apache-2.0
Váhy ZONOS3-Mini od společnosti Zyphra
Hlasy
Apache-2.0
Výchozí hlasy společnosti Zyphra
Čtení textu
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm, s gramatikami převzatými z NeMo-text-processing od NVIDIA a daty z Unicode CLDR

Doplněk je pod Apache-2.0. Váhy ZONOS3-Mini a jeho výchozí hlasy jsou pod Apache-2.0 a runtime společnosti Zyphra je pod MIT, takže komerční práce je povolena. Čtení textu, zyphra-textnorm, je pod MIT, s gramatikami převzatými z NeMo-text-processing od NVIDIA (Apache-2.0) a daty z Unicode CLDR.

Dabing, který vytvoříte, je váš. Klonovaný hlas zní jako skutečný člověk: klonujte hlasy, které máte právo používat, a tam, kde na tom záleží, uveďte, že je dabing syntetický.

Verze

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Další doplňky skupiny Hlasy

Aktualizováno · Z katalogu doplňků Nahlásit problém s tímto doplňkem