BlueTTS offline, klonování hlasu, hebrejština + 6 jazyků

HlasyOfflinePouze CPUKlonování hlasuKomerční použití povoleno

Nadabuje vaše titulky v hebrejštině, angličtině, němčině, španělštině, italštině, ruštině a jidiš pomocí BlueV3 od Maxima Melichova, jedním z 15 hlasů nebo vlastním hlasem každého mluvčího naklonovaným z asi deseti sekund videa. Běží na procesoru vašeho vlastního počítače, třikrát až pětkrát rychleji než v reálném čase, bez grafické karty.

Nainstalujte ho z Subtitld

Nastavení Doplňky BlueTTS (offline, voice clone, Hebrew + 6 languages) Instalovat

Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.

Zdrojový kód na GitHubu
Jazyky
7
Modely
5
Hlasy
16
Stažení doplňku
37–62 MB
RAM, alespoň
2.5 GB

Co dělá

Hebrejština a jidiš

BlueTTS vznikl především pro hebrejštinu: čte hebrejský text bez samohláskových znamének, včetně čísel, dat a cen, a anglická slova uvnitř hebrejského řádku čte anglicky. Mluví také jidiš, což umí jen málo modulů dabingu.

Vlastní hlas mluvčího

Subtitld vystřihne z videa asi deset sekund každého mluvčího a pošle je s každým řádkem. BlueTTS tento hlas naklonuje v kterémkoli ze svých sedmi jazyků. Nebo vyberte jeden z 15 hlasů.

Rychlý na každém počítači

Na procesoru notebooku mluví třikrát až pětkrát rychleji než v reálném čase. Grafická karta se nepoužívá.

Offline po prvním řádku

Každá část se stáhne jednou, když ji poprvé potřebuje nějaký řádek. Potom už nic neopustí váš počítač.

Před instalací

Co BlueTTS potřebuje, závisí na jazycích, ve kterých dabujete:

  • Disk: 428 MB pro model, stažený při prvním řádku. Hebrejština přidá 1,2 GB (nebo 312 MB s kompaktním modelem čtení), jidiš 307 MB a vlastní hlas mluvčího 136 MB, každé při prvním použití.
  • Paměť: asi 700 MB během mluvení, asi 2 GB po načtení hebrejštiny.
  • Čas: na Intel Core i7-13700T trvá vytvoření sekundy řeči asi pětinu sekundy, v hebrejštině třetinu sekundy. První hebrejský řádek čeká asi o 15 sekund déle, než se načte model čtení.
  • Procesor: jakýkoli 64bitový procesor Intel nebo AMD, nebo Apple Silicon. Grafická karta se nepoužívá.

Hlasy

V záložce Mluvčí zvolte u mluvčího BlueTTS jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.

16 hlasů.

Hlasy
Ženy Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Muži Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Každý hlas mluví všemi sedmi jazyky, v každém jazyce svým vlastním přirozeným tempem. Vznikly z předčítačů korpusu audioknih LibriTTS-R.

S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku, nebo z několika krátkých spojených. Pokud jste pro toto video oddělili hudbu od hlasu, vzorek pochází jen z hlasu. Fallback reference clip v nastavení doplňku se použije jen tehdy, když vzorek vystřihnout nelze.

BlueTTS poslouchá zhruba prvních devět sekund vzorku a kopíruje barvu a výšku hlasu, ne jeho přednes. Nejlepší vzorek je čistá řeč blízko mikrofonu: šum a ozvěna dělají klon méně podobný mluvčímu a nahrávka z telefonu dá hlas, který zní jako z telefonu.

Modely

Model ani modely čtení nejsou uvnitř doplňku: každý se stáhne do sdílené mezipaměti modelů Subtitld, když ho poprvé potřebuje nějaký řádek, z Hugging Face v pevně dané revizi, s každým souborem ověřeným. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku je ponechá.

Model StaženíVhodné pro
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Výchozí bluev3
428 MB
Každý řádek: hlasy a to, jak se čte angličtina, němčina, španělština, italština a ruština
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
Vlastní hlas mluvčího, když jím poprvé dabujete
RenikudPlus Hebrew G2P renikudplus
1.2 GB
Hebrejština, když v ní poprvé dabujete (výchozí)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
Hebrejština, když zvolíte kompaktní model čtení
ReNikud-yi Yiddish context model renikud-yi
307 MB
Jidiš, když v něm poprvé dabujete

Doplněk spouští vlastní kód BlueTTS na ONNX Runtime, bez PyTorch. Se stejným hlasem, řádkem a seedem dává přesně totéž co vlastní balíček BlueTTS pro Python.

Možnosti

V Nastavení › Doplňky › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Nastavit.

CPU threads
Výchozí: 0

0 použije logické procesory počítače, nejvýše 8. Víc je jen zřídka rychlejší; méně nechá počítač během dabingu lépe reagovat.

Quality steps
Výchozí: 8

Kolik průchodů model udělá nad každým řádkem. 8 je nastavení samotného BlueTTS. 4 je asi 1,7krát rychlejší, s mírně nižší kvalitou.

Hebrew reading model
Výchozí: accurate

Jak se hebrejský text převádí na zvuky. accurate je plný model, 1,2 GB, s asi 2 GB paměti. compact je tentýž model zmenšený, 312 MB: v našem testu přečetl asi 1 slovo z 200 jinak, častěji špatně.

Fallback reference clip
Výchozí: prázdné

Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: asi 10 sekund, kdy mluví jedna osoba, čistě, ne nahrávka z telefonu.

Jazyky

Hebrejština, angličtina, němčina, španělština, italština, ruština a jidiš. Projekt v jakémkoli jiném jazyce dostane zprávu, která to uvede: zvolte pro něj jiný modul dabingu.

Španělština se řídí regionem projektu: Španělsko dostane kastilštinu, jakýkoli jiný region latinskoamerickou španělštinu. Čísla, data, ceny a kódy se čtou slovy, kromě jidiš: čísla v jidiš pište slovy, jinak bude řádek odmítnut se zprávou, která to uvede.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Platformy

Systém StaženíOtestováno
Linux x86-64 61.7 MBNadabováno skutečným modelem na skutečném počítači, přes správce doplňků Subtitld, a v CI
macOS (Apple silicon) 43.8 MBNadabováno skutečným modelem v CI (Apple Silicon)
Windows x86-64 37.3 MBNadabováno skutečným modelem v CI

Linux x86-64, macOS na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém z nich CI nainstaluje doplněk stejně jako Subtitld, stáhne modely a nadabuje řádek v každém jazyce.

Řešení potíží

  • network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.
  • disk_fullNa disku není dost místa pro model: 428 MB a až 1,7 GB navíc pro hebrejštinu, jidiš a vlastní hlas mluvčího.
  • unsupported_languageJazyk projektu není žádný ze sedmi, nebo není nastaven. Nastavte ho v projektu, nebo zvolte jiný modul dabingu.
  • unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.
  • bad_paramsŘádek nemá text, řádek v jidiš obsahuje číslice, nebo klonovaný hlas nedostal vzorek: otevřete video, nebo nastavte Fallback reference clip. Zpráva uvede, co z toho.
  • out_of_memoryPočítači došla paměť. Zavřete jiné programy: BlueTTS potřebuje asi 1 GB volné paměti, s hebrejštinou 2,5 GB.
  • internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti.

Licence

Doplněk
Apache-2.0
Engine
MIT
BlueTTS od Maxima Melichova; ONNX Runtime je pod MIT
Model
MIT, BigScience OpenRAIL-M
Váhy BlueV3; vokodér, doladěný ze Supertonic-3 od Supertone, je pod OpenRAIL-M, s omezeními použití
Hlasy
CC-BY-4.0
Vytvořené z mluvčích LibriTTS-R
Modely čtení
Apache-2.0, MIT, CC BY-SA
RenikudPlus (hebrejština), polyg2p; německý a italský lexikon a část jidiš lexikonu jsou pod CC BY-SA

Doplněk je pod Apache-2.0 a kód BlueTTS pod MIT. Hlasový model je také pod MIT, kromě vokodéru, části, která převádí výstup modelu na zvuk: ten je doladěný ze Supertonic-3 od Supertone a nese licenci BigScience OpenRAIL-M. Komerční práce je povolena, ale OpenRAIL-M zakazuje některá použití toho, co vytvoří, mimo jiné porušování zákona, klamání lidí a vydávání se za někoho bez jeho souhlasu. 15 hlasů je pod CC-BY-4.0. Německý a italský lexikon a část jidiš lexikonu jsou pod CC BY-SA; stahují se s modely a zůstávají tak, jak je jejich autoři zveřejnili.

Dabing, který vytvoříte, je váš. Klonovaný hlas zní jako skutečný člověk: klonujte hlasy, které máte právo používat, a tam, kde na tom záleží, uveďte, že je dabing syntetický.

Verze

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Další doplňky skupiny Hlasy

Aktualizováno · Z katalogu doplňků Nahlásit problém s tímto doplňkem