BlueTTS offline, klonování hlasu, hebrejština + 6 jazyků
Nadabuje vaše titulky v hebrejštině, angličtině, němčině, španělštině, italštině, ruštině a jidiš pomocí BlueV3 od Maxima Melichova, jedním z 15 hlasů nebo vlastním hlasem každého mluvčího naklonovaným z asi deseti sekund videa. Běží na procesoru vašeho vlastního počítače, třikrát až pětkrát rychleji než v reálném čase, bez grafické karty.
Nastavení Doplňky BlueTTS (offline, voice clone, Hebrew + 6 languages) Instalovat
Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.
- Jazyky
- 7
- Modely
- 5
- Hlasy
- 16
- Stažení doplňku
- 37–62 MB
- RAM, alespoň
- 2.5 GB
Co dělá
BlueTTS vznikl především pro hebrejštinu: čte hebrejský text bez samohláskových znamének, včetně čísel, dat a cen, a anglická slova uvnitř hebrejského řádku čte anglicky. Mluví také jidiš, což umí jen málo modulů dabingu.
Subtitld vystřihne z videa asi deset sekund každého mluvčího a pošle je s každým řádkem. BlueTTS tento hlas naklonuje v kterémkoli ze svých sedmi jazyků. Nebo vyberte jeden z 15 hlasů.
Na procesoru notebooku mluví třikrát až pětkrát rychleji než v reálném čase. Grafická karta se nepoužívá.
Každá část se stáhne jednou, když ji poprvé potřebuje nějaký řádek. Potom už nic neopustí váš počítač.
Před instalací
Co BlueTTS potřebuje, závisí na jazycích, ve kterých dabujete:
- Disk: 428 MB pro model, stažený při prvním řádku. Hebrejština přidá 1,2 GB (nebo 312 MB s kompaktním modelem čtení), jidiš 307 MB a vlastní hlas mluvčího 136 MB, každé při prvním použití.
- Paměť: asi 700 MB během mluvení, asi 2 GB po načtení hebrejštiny.
- Čas: na Intel Core i7-13700T trvá vytvoření sekundy řeči asi pětinu sekundy, v hebrejštině třetinu sekundy. První hebrejský řádek čeká asi o 15 sekund déle, než se načte model čtení.
- Procesor: jakýkoli 64bitový procesor Intel nebo AMD, nebo Apple Silicon. Grafická karta se nepoužívá.
Hlasy
V záložce Mluvčí zvolte u mluvčího BlueTTS jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.
16 hlasů.
| Hlasy | |
|---|---|
| Ženy | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| Muži | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
Každý hlas mluví všemi sedmi jazyky, v každém jazyce svým vlastním přirozeným tempem. Vznikly z předčítačů korpusu audioknih LibriTTS-R.
S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku, nebo z několika krátkých spojených. Pokud jste pro toto video oddělili hudbu od hlasu, vzorek pochází jen z hlasu. Fallback reference clip v nastavení doplňku se použije jen tehdy, když vzorek vystřihnout nelze.
BlueTTS poslouchá zhruba prvních devět sekund vzorku a kopíruje barvu a výšku hlasu, ne jeho přednes. Nejlepší vzorek je čistá řeč blízko mikrofonu: šum a ozvěna dělají klon méně podobný mluvčímu a nahrávka z telefonu dá hlas, který zní jako z telefonu.
Modely
Model ani modely čtení nejsou uvnitř doplňku: každý se stáhne do sdílené mezipaměti modelů Subtitld, když ho poprvé potřebuje nějaký řádek, z Hugging Face v pevně dané revizi, s každým souborem ověřeným. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku je ponechá.
| Model | Stažení | Vhodné pro |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Výchozí bluev3 | Každý řádek: hlasy a to, jak se čte angličtina, němčina, španělština, italština a ruština | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | Vlastní hlas mluvčího, když jím poprvé dabujete | |
| RenikudPlus Hebrew G2P renikudplus | Hebrejština, když v ní poprvé dabujete (výchozí) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | Hebrejština, když zvolíte kompaktní model čtení | |
| ReNikud-yi Yiddish context model renikud-yi | Jidiš, když v něm poprvé dabujete |
Doplněk spouští vlastní kód BlueTTS na ONNX Runtime, bez PyTorch. Se stejným hlasem, řádkem a seedem dává přesně totéž co vlastní balíček BlueTTS pro Python.
Možnosti
V Nastavení › Doplňky › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Nastavit.
00 použije logické procesory počítače, nejvýše 8. Víc je jen zřídka rychlejší; méně nechá počítač během dabingu lépe reagovat.
8Kolik průchodů model udělá nad každým řádkem. 8 je nastavení samotného BlueTTS. 4 je asi 1,7krát rychlejší, s mírně nižší kvalitou.
accurateJak se hebrejský text převádí na zvuky. accurate je plný model, 1,2 GB, s asi 2 GB paměti. compact je tentýž model zmenšený, 312 MB: v našem testu přečetl asi 1 slovo z 200 jinak, častěji špatně.
Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: asi 10 sekund, kdy mluví jedna osoba, čistě, ne nahrávka z telefonu.
Jazyky
Hebrejština, angličtina, němčina, španělština, italština, ruština a jidiš. Projekt v jakémkoli jiném jazyce dostane zprávu, která to uvede: zvolte pro něj jiný modul dabingu.
Španělština se řídí regionem projektu: Španělsko dostane kastilštinu, jakýkoli jiný region latinskoamerickou španělštinu. Čísla, data, ceny a kódy se čtou slovy, kromě jidiš: čísla v jidiš pište slovy, jinak bude řádek odmítnut se zprávou, která to uvede.
heendeesitruyi
Platformy
| Systém | Stažení | Otestováno |
|---|---|---|
| Linux x86-64 | 61.7 MB | Nadabováno skutečným modelem na skutečném počítači, přes správce doplňků Subtitld, a v CI |
| macOS (Apple silicon) | 43.8 MB | Nadabováno skutečným modelem v CI (Apple Silicon) |
| Windows x86-64 | 37.3 MB | Nadabováno skutečným modelem v CI |
Linux x86-64, macOS na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém z nich CI nainstaluje doplněk stejně jako Subtitld, stáhne modely a nadabuje řádek v každém jazyce.
Řešení potíží
network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.disk_fullNa disku není dost místa pro model: 428 MB a až 1,7 GB navíc pro hebrejštinu, jidiš a vlastní hlas mluvčího.unsupported_languageJazyk projektu není žádný ze sedmi, nebo není nastaven. Nastavte ho v projektu, nebo zvolte jiný modul dabingu.unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.bad_paramsŘádek nemá text, řádek v jidiš obsahuje číslice, nebo klonovaný hlas nedostal vzorek: otevřete video, nebo nastavte Fallback reference clip. Zpráva uvede, co z toho.out_of_memoryPočítači došla paměť. Zavřete jiné programy: BlueTTS potřebuje asi 1 GB volné paměti, s hebrejštinou 2,5 GB.internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti.
Licence
Doplněk je pod Apache-2.0 a kód BlueTTS pod MIT. Hlasový model je také pod MIT, kromě vokodéru, části, která převádí výstup modelu na zvuk: ten je doladěný ze Supertonic-3 od Supertone a nese licenci BigScience OpenRAIL-M. Komerční práce je povolena, ale OpenRAIL-M zakazuje některá použití toho, co vytvoří, mimo jiné porušování zákona, klamání lidí a vydávání se za někoho bez jeho souhlasu. 15 hlasů je pod CC-BY-4.0. Německý a italský lexikon a část jidiš lexikonu jsou pod CC BY-SA; stahují se s modely a zůstávají tak, jak je jejich autoři zveřejnili.
Dabing, který vytvoříte, je váš. Klonovaný hlas zní jako skutečný člověk: klonujte hlasy, které máte právo používat, a tam, kde na tom záleží, uveďte, že je dabing syntetický.
Verze
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
Další doplňky skupiny Hlasy
-
Piper Offline
158 offline hlasů v 49 jazycích, každý jako samostatné malé stažení.
-
Kokoro Offline
54 offline hlasů v devíti jazycích, všechny z jediného modelu o velikosti 82 MB.
-
Supertonic Offline
Deset offline hlasů, každý umí mluvit všech 31 svých jazyků.
-
sanoTTS Offline
Drobné offline hlasy, 28 ve 14 jazycích, každý pod 10 MB.
-
Parler-TTS Offline
Anglické hlasy, které se řídí psaným popisem; 34 pojmenovaných mluvčích.
-
Qwen3-TTS Klon
Deset jazyků, devět hlasů a klonování z 3 sekund mluvčího.
-
Coqui XTTS Klon
Klonování hlasu v 16 jazycích, s nekomerční licencí modelu.
-
F5-TTS Klon
Jen klonování hlasu, v angličtině a čínštině; nekomerční model.
-
VoxCPM2 Klon
30 jazyků v 48 kHz, hlasem mluvčího nebo popsaným hlasem. Náročný.
-
Pocket TTS Offline
Rychlý a lehký, jen CPU. 23 hlasů v sedmi evropských jazycích.
-
Sopro Klon
Vlastní hlas mluvčího, rychle na CPU. Čtyři jazyky.
-
KittenTTS 2 Klon
Vlastní hlas mluvčího v 16 jazycích, na CPU. Váhy pod restriktivní licencí.
-
Ming-3.0-tts Klon
7 jazyků v 44,1 kHz: klonované, vestavěné nebo popsané hlasy, s emocemi. Náročný.
-
Scylla's Band Offline
Čtrnáct hlasů v šesti jazycích, nenáročné a rychlé na CPU. Jen přednastavené hlasy.
-
Audio8 TTS Klon
Vlastní hlas mluvčího v 11 jazycích, včetně kantonštiny. Na CPU pomalý.
-
Inflect Offline
Přirozená anglická řeč z malinkého modelu, rychle na jakémkoli CPU.
-
Paradee Offline
Čtyři přirozené anglické hlasy, americké i britské, z jediného modelu o velikosti 8,5 MB.
-
Chatterbox Klon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…