OmniVoice offline, klonování hlasu, 646 jazyků, nekomerční
Nadabuje vaše titulky v kterémkoli z 646 jazyků pomocí OmniVoice od k2-fsa, vlastním hlasem každého mluvčího naklonovaným z videa, a to i do jiného jazyka, nebo hlasem navrženým z několika vlastností. Běží na vašem vlastním počítači. Model je jen pro nekomerční použití.
Nastavení Doplňky OmniVoice (offline, voice clone, 646 languages, non-commercial) Instalovat
Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.
- Jazyky
- 655
- Modely
- 1
- Hlasy
- 12
- Stažení doplňku
- 14–17 MB
- RAM, alespoň
- 2.5 GB
Co dělá
Od afrikánštiny po zulštinu, s mnoha jazyky, kterými nemluví žádný jiný doplněk, a regionálními variantami arabštiny, čínštiny a dalších.
Subtitld vystřihne z videa několik sekund každého mluvčího a pošle je spolu s titulky, které v nich zazní. OmniVoice tento hlas naklonuje a zachová ho, i když je dabing v jiném jazyce.
Deset hotových hlasů, od dítěte po staršího muže, nebo hlas, který si poskládáte z několika vlastností: pohlaví, věk, výška hlasu, anglický přízvuk, šepot.
Model se stáhne jednou, když ho poprvé potřebuje nějaký řádek. Potom už nic neopustí váš počítač.
Nekomerční model. Váhy OmniVoice jsou pod CC-BY-NC, která komerční použití nepovoluje. Kód doplňku je pod Apache-2.0, ale to na podmínkách vah nic nemění. Pro komerční práci klonují hlasy také VoxCPM2 (30 jazyků) a ZONOS3-Mini (43 jazyků) a jejich váhy jsou pod Apache-2.0.
Před instalací
- Disk: asi 1,5 GB, z toho většinu tvoří model o velikosti 1,35 GB, stažený při prvním řádku, který dabujete.
- Paměť: asi 2,5 GB volných.
- Čas: na CPU trvá každá sekunda řeči několik sekund. Na Intel Core i7-13700T trval řádek vlastním hlasem mluvčího asi 6 sekund na sekundu řeči a první řádek navrženého hlasu trvá déle, protože doplněk mezitím hlas vytváří. Na Macu s Apple Silicon běží na GPU.
Pro rychlý dabing jsou Piper nebo Kokoro mnohem lehčí a Piper navíc pokrývá mnoho jazyků.
Hlasy
V záložce Mluvčí zvolte u mluvčího OmniVoice jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.
12 hlasů.
Klonovaný hlas
S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku o délce 3 až 12 sekund, nebo z několika krátkých spojených, a pošle s ním text titulku. OmniVoice potřebuje vzorek i jeho slova. Dabing může být v kterémkoli z jeho jazyků, ať je vzorek v jakémkoli jazyce. Fallback reference clip v nastavení doplňku spolu s jeho přepisem se použije jen tehdy, když vzorek vystřihnout nelze.
Clone the timbre only s tímto doplňkem nefunguje, protože OmniVoice bez slov vzorku klonovat neumí. U mluvčích, kteří používají OmniVoice, ho nechte vypnuté.
Navržené hlasy
OmniVoice si při každém čtení sady vlastností vymyslí nový hlas. Proto doplněk vytvoří hlas každého mluvčího jednou, jako krátkou větu, a každý řádek tohoto mluvčího ho použije znovu: hlas zůstává stejný po celé video a dva mluvčí se stejným navrženým hlasem stále znějí jako dva lidé.
Modely
Je jen jeden model, OmniVoice, s váhami uloženými v 8 bitech, jak ho převedl projekt audio.cpp. Není uvnitř doplňku: stáhne se do sdílené mezipaměti modelů Subtitld při prvním dabingu, z Hugging Face v pevně dané revizi, a je ověřen. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku model ponechá.
| Model | Stažení | Vhodné pro |
|---|---|---|
| OmniVoice (8-bit) Výchozí omnivoice | Každý hlas, ve všech 646 jazycích |
První řádek také načítá model, takže trvá déle než ty další. Na Macu s Apple Silicon doplněk úplně poprvé také vysloví jeden krátký testovací řádek na GPU, a pokud to nefunguje, použije CPU. Zrušit zastaví řádek mezi dvěma kroky, nebo zastaví stahování.
Možnosti
V Nastavení › Doplňky › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Nastavit.
16Kolik průchodů OmniVoice nad každým řádkem udělá. 16 je rychlé a zachová každé slovo; 32, vlastní nastavení OmniVoice, trvá dvakrát déle a mluvčímu se přiblíží o něco víc.
2Jak věrně řeč sleduje text a hlas. 2,0 je vlastní nastavení OmniVoice.
00 vybere výkonná jádra u procesorů, které mají i úsporná jádra. Méně vláken nechá počítač během dabingu lépe reagovat.
Pro hlas „Voice you describe“. Nechte vlastnost na Any a OmniVoice ji zvolí sám.
Pro hlas „Voice you describe“: od dítěte po starého člověka.
Pro hlas „Voice you describe“: od velmi hlubokého po velmi vysoký.
Pro hlas „Voice you describe“: přízvuk, se kterým mluví anglicky, například britský nebo indický.
Pro hlas „Voice you describe“: šeptaný hlas.
Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: 3 až 15 sekund, kdy mluví jedna osoba.
Přesně to, co zazní v záložním klipu, slovo od slova. OmniVoice klonuje z klipu a jeho slov, takže bez toho je záložní klip odmítnut.
Jazyky
Vlastní seznam 646 jazyků OmniVoice, mezi nimi arabština, bengálština, čínština a kantonština, angličtina, francouzština, němčina, hindština, indonéština, japonština, korejština, perština, portugalština, ruština, španělština, svahilština, turečtina, urdština, vietnamština, jorubština, zulština a stovky regionálních jazyků. Subtitld mu sdělí jazyk projektu; když jazyk nezná, OmniVoice ho pozná z textu.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Platformy
| Systém | Stažení | Otestováno |
|---|---|---|
| Linux x86-64 | 17.3 MB | Nadabováno skutečným modelem na skutečném počítači a na AlmaLinux 8; v CI nainstalovaný doplněk stáhne model, mluví, naklonuje hlas a zruší řádek |
| macOS (Apple silicon) | 16.6 MB | V CI nainstalovaný doplněk stáhne model, mluví, naklonuje hlas a zruší řádek (Apple Silicon) |
| Windows x86-64 | 14.0 MB | V CI nainstalovaný doplněk stáhne model, mluví, naklonuje hlas a zruší řádek |
Linux x86-64 (jakákoli distribuce od roku 2018, glibc 2.28 nebo novější), macOS 13.3 nebo novější na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém CI doplněk nainstaluje, stáhne model a nechá ho mluvit, naklonovat hlas a zrušit řádek.
Řešení potíží
network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.disk_fullNa disku není dost místa pro model. Potřebuje asi 1,5 GB volného místa.oomNedostatek paměti. Zavřete jiné programy; OmniVoice potřebuje asi 2,5 GB volných.bad_paramsŘádek nemá text, klonovaný hlas nedostal vzorek nebo k němu slova, nebo hlas, který popisujete, nemá nastavené žádné vlastnosti. Zpráva uvede, co z toho. U klonovaného hlasu otevřete video a nechte Clone the timbre only vypnuté.unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti.
Licence
Doplněk a engine audio.cpp jsou pod Apache-2.0 a ggml, na kterém audio.cpp běží, je pod MIT. Váhy OmniVoice od k2-fsa jsou pod CC-BY-NC: co s nimi nadabujete, je jen pro nekomerční použití. Klonovaný hlas zní jako skutečná osoba: klonujte jen hlasy, které máte právo použít, a tam, kde na tom záleží, uveďte, že dabing je syntetický.
Verze
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Další doplňky skupiny Hlasy
-
Piper Offline
158 offline hlasů v 49 jazycích, každý jako samostatné malé stažení.
-
Kokoro Offline
54 offline hlasů v devíti jazycích, všechny z jediného modelu o velikosti 82 MB.
-
Supertonic Offline
Deset offline hlasů, každý umí mluvit všech 31 svých jazyků.
-
sanoTTS Offline
Drobné offline hlasy, 28 ve 14 jazycích, každý pod 10 MB.
-
Parler-TTS Offline
Anglické hlasy, které se řídí psaným popisem; 34 pojmenovaných mluvčích.
-
Qwen3-TTS Klon
Deset jazyků, devět hlasů a klonování z 3 sekund mluvčího.
-
Coqui XTTS Klon
Klonování hlasu v 16 jazycích, s nekomerční licencí modelu.
-
F5-TTS Klon
Jen klonování hlasu, v angličtině a čínštině; nekomerční model.
-
VoxCPM2 Klon
30 jazyků v 48 kHz, hlasem mluvčího nebo popsaným hlasem. Náročný.
-
Pocket TTS Offline
Rychlý a lehký, jen CPU. 23 hlasů v sedmi evropských jazycích.
-
Sopro Klon
Vlastní hlas mluvčího, rychle na CPU. Čtyři jazyky.
-
KittenTTS 2 Klon
Vlastní hlas mluvčího v 16 jazycích, na CPU. Váhy pod restriktivní licencí.
-
Ming-3.0-tts Klon
7 jazyků v 44,1 kHz: klonované, vestavěné nebo popsané hlasy, s emocemi. Náročný.
-
Scylla's Band Offline
Čtrnáct hlasů v šesti jazycích, nenáročné a rychlé na CPU. Jen přednastavené hlasy.
-
Audio8 TTS Klon
Vlastní hlas mluvčího ve 23 jazycích, včetně kantonštiny a arabštiny. Na CPU pomalý.
-
Inflect Offline
Přirozená anglická řeč z malinkého modelu, rychle na jakémkoli CPU.
-
Paradee Offline
Čtyři přirozené anglické hlasy, americké i britské, z jediného modelu o velikosti 8,5 MB.
-
BlueTTS Klon
Hebrejština a jidiš a k tomu pět dalších jazyků. Vlastní hlas mluvčího, rychle na CPU.
-
ZONOS3-Mini Klon
43 jazyků, od arabštiny po vietnamštinu. Vlastní hlas mluvčího, na CPU.
-
Reverb Klon
Sedm evropských jazyků a vlastní hlas mluvčího, na CPU; nekomerční model.
-
Chatterbox Klon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…