Reverb offline, klonování hlasu, 7 jazyků, nekomerční

HlasyOfflinePouze CPUKlonování hlasuNekomerční

Nadabuje vaše titulky v angličtině, němčině, francouzštině, španělštině, italštině, polštině a portugalštině pomocí Reverb-TTS od Software Mansion AI Labs, jedním z 16 hlasů nebo vlastním hlasem každého mluvčího naklonovaným z několika sekund videa a jeho titulků. Běží na procesoru vašeho vlastního počítače, bez grafické karty. Model je jen pro nekomerční použití.

Nainstalujte ho z Subtitld

Nastavení Doplňky Reverb (offline, voice clone, 7 languages, non-commercial) Instalovat

Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.

Zdrojový kód na GitHubu
Jazyky
7
Modely
3
Hlasy
17
Stažení doplňku
40–65 MB
RAM, alespoň
2.5 GB

Co dělá

Sedm jazyků

Angličtina, němčina, francouzština, španělština, italština, polština a portugalština. Čísla, data, ceny a jednotky se čtou slovy, tak jak je to v daném jazyce zvykem.

Vlastní hlas mluvčího

Subtitld vystřihne z videa několik sekund každého mluvčího a pošle je spolu s titulky, které v nich zazní. Reverb tento hlas naklonuje v kterémkoli ze svých sedmi jazyků. Nebo vyberte jeden z 16 hlasů.

Exact, nebo Fast

Exact spouští model tak, jak byl zveřejněn. Fast je asi dvakrát rychlejší a menší ke stažení, za cenu mírné ztráty přesnosti.

Offline po prvním řádku

Model se stáhne jednou, když ho poprvé potřebuje nějaký řádek. Potom už nic neopustí váš počítač.

Nekomerční model. Váhy Reverb-TTS a jeho přednastavené hlasy jsou pod CC-BY-NC-4.0, která komerční použití nepovoluje. Kód doplňku je pod Apache-2.0, ale to na podmínkách vah nic nemění. Pro komerční práci klonuje hlasy ve všech těchto sedmi jazycích také ZONOS3-Mini a jeho váhy jsou pod Apache-2.0.

Před instalací

  • Disk: 640 MB pro model, stažený při prvním řádku; místo toho 378 MB, pokud před prvním řádkem zvolíte Fast. Když poprvé použijete vlastní hlas mluvčího, o 327 MB víc.
  • Paměť: asi 1,5 GB během mluvení.
  • Čas: na Intel Core i7-13700T zaměstnaném jinou prací trvalo vytvoření sekundy řeči asi 0,8 sekundy v rychlosti Exact a asi 0,6 sekundy ve Fast.
  • Procesor: 64bitový procesor Intel nebo AMD, nebo Apple Silicon. Grafická karta se nepoužívá.

Hlasy

V záložce Mluvčí zvolte u mluvčího Reverb jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.

17 hlasů.

Nahráno v jazyce Ženy Muži
Angličtina Vypravěčka, šeptání Vypravěč 1, vypravěč 2, rozzlobený
Francouzština Francouzka Francouz
Němčina Němka Němec
Italština Ital, expresivní Ital
Polština Polák
Portugalština Portugalka Portugalec
Španělština Španěl 1, Španěl 2

Jsou to přednastavené hlasy samotného Reverb. Každý hlas mluví každým jazykem, ale s přízvukem jazyka, ve kterém byl nahrán. Pro jazyk, který tu nemá vlastní hlas nebo nemá ženský hlas, použijte vlastní hlas mluvčího.

S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku, nebo z několika krátkých spojených, a pošle, co v něm zazní: text těchto titulků. Reverb potřebuje obojí. Navazuje na vzorek a jeho slova a bez slov by vynechal první slova každého řádku.

Titulky proto musí být v jazyce, kterým se ve videu mluví. Pokud jste je přeložili, Subtitld pošle původní text, pokud ví, v jakém jazyce je audio: nastavte ho v Jazyk titulků v panelu Přepis. Jinak se řádek zastaví se zprávou, která to uvede. Titulky, které to, co zazní, parafrázují místo přepisu, klon zhoršují.

Nejlepší vzorek jsou 3 až 10 sekund, kdy mluví jedna osoba, čistě a blízko mikrofonu. Vzorek kratší než 2 sekundy je odmítnut a vzorek delší než 15 sekund obvykle dává horší řádky. Fallback reference clip v nastavení doplňku spolu s Fallback clip's transcript se použije jen tehdy, když vzorek vystřihnout nelze.

Každý řádek se vytvoří se seedem, který Subtitld pošle, takže stejný řádek stejným hlasem vyjde pokaždé stejně.

Modely

Model není uvnitř doplňku: stáhne se do sdílené mezipaměti modelů Subtitld, když ho poprvé potřebuje nějaký řádek, z vlastního vydání doplňku na GitHubu, kde jsou váhy Reverb uložené převedené pro ONNX Runtime, s každým souborem ověřeným. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku ho ponechá.

Model StaženíVhodné pro
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Výchozí reverb
640 MB
Každý řádek v rychlosti Exact, výchozí: síť, dekodér a 16 hlasů
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Každý řádek v rychlosti Fast, místo sítě Exact: s dekodérem celkem 378 MB
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
Vlastní hlas mluvčího, když jím poprvé dabujete

Exact a Fast sdílejí dekodér a hlasy (111 MB): liší se jen síť, 529 MB pro Exact a 266 MB pro Fast. Pozdější přepnutí z jednoho na druhý stáhne druhou síť, když ji poprvé potřebuje nějaký řádek.

Doplněk spouští Reverb na ONNX Runtime, bez PyTorch. Sampler a příprava textu Reverb jsou převedené z vlastního kódu Software Mansion. Náhodná čísla pocházejí z jiného zdroje, takže stejný seed dá tady jiný výsledek než ve vlastním balíčku Reverb; u sítě Exact se ověřuje, že předpovídá totéž co tento balíček.

Možnosti

V Nastavení › Doplňky › Reverb (offline, voice clone, 7 languages, non-commercial) › Nastavit.

CPU threads
Výchozí: 0

0 použije logické procesory počítače, nejvýše 8. Víc je jen zřídka rychlejší; méně nechá počítač během dabingu lépe reagovat.

Quality steps
Výchozí: 8

Kolik průchodů model nad každým řádkem udělá. 8 je vlastní nastavení Reverb; méně je rychlejší, s více přešlapy.

Speed
Výchozí: exact

Exact spouští model tak, jak ho Software Mansion zveřejnila. Fast ho spouští v 8bitových celých číslech, asi dvakrát rychleji, s vlastním stažením 266 MB: jeho řádky obvykle zní stejně, ale víc se odchyluje od zveřejněného modelu a častěji přešlapuje.

Fallback reference clip
Výchozí: prázdné

Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: 3 až 10 sekund, kdy mluví jedna osoba, čistě.

Fallback clip's transcript
Výchozí: prázdné

Přesně to, co zazní v záložním klipu, slovo od slova. Reverb klonuje z klipu a jeho slov, takže bez toho je záložní klip odmítnut.

Jazyky

Angličtina, němčina, francouzština, španělština, italština, polština a portugalština. Projekt v jakémkoli jiném jazyce dostane zprávu, která to uvede: zvolte pro něj jiný modul dabingu.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Platformy

Systém StaženíOtestováno
Linux x86-64 64.9 MBPromluvil všemi sedmi jazyky a naklonoval hlas skutečným modelem v CI
macOS (Apple silicon) 45.6 MBPromluvil všemi sedmi jazyky a naklonoval hlas skutečným modelem v CI (Apple Silicon)
Windows x86-64 40.5 MBPromluvil všemi sedmi jazyky a naklonoval hlas skutečným modelem v CI

Linux x86-64 (glibc 2.35 nebo novější, jako v Ubuntu 22.04, Debianu 12 nebo Fedoře 36), macOS na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém z nich CI nainstaluje doplněk stejně jako Subtitld, stáhne model, namluví řádek v každém jazyce a naklonuje hlas.

Řešení potíží

  • network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.
  • disk_fullNa disku není dost místa pro model: 640 MB (378 MB ve Fast) a o 327 MB víc pro vlastní hlas mluvčího.
  • unsupported_languageJazyk projektu není žádný ze sedmi, nebo není nastaven. Nastavte ho v projektu, nebo zvolte jiný modul dabingu.
  • unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.
  • bad_paramsŘádek nemá text, nebo klonovaný hlas nedostal vzorek či jeho přepis. U přeloženého projektu nastavte Jazyk titulků na jazyk, kterým se mluví; když není otevřené žádné video, nastavte Fallback reference clip a jeho přepis. Zpráva uvede, co z toho.
  • out_of_memoryPočítači došla paměť. Zavřete jiné programy: Reverb potřebuje asi 1,5 GB volné paměti.
  • internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti.

Licence

Doplněk
Apache-2.0
s vlastním kódem Reverb převedeným do numpy
Engine
MIT
ONNX Runtime
Model
CC-BY-NC-4.0
Váhy Reverb-TTS v1.0.0 od Software Mansion AI Labs; jen nekomerčně
Hlasy
CC-BY-NC-4.0
16 přednastavených hlasů Reverb; jen nekomerčně
Čtení textu
MIT, Unicode-3.0
Verbalis od Software Mansion, s tabulkou z Unicode Character Database

Doplněk je pod Apache-2.0, stejně jako kód Reverb, který převádí. Váhy Reverb-TTS a jeho 16 přednastavených hlasů jsou pod CC-BY-NC-4.0: jen pro nekomerční použití. Licenční soubor, který je přiložen k modelu, uvádí, co se při jeho převodu změnilo. ONNX Runtime je pod MIT a Verbalis, který čte čísla a data, je pod MIT.

Používejte ho zodpovědně. Klonovaný hlas zní jako skutečný člověk. Klonujte jen hlasy, které máte právo používat, se souhlasem mluvčího; nevydávejte se za skutečné lidi a nepoužívejte vytvořenou řeč ke klamání, podvodům ani obtěžování. Řekněte posluchačům, když slyší syntetický hlas.

Verze

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Další doplňky skupiny Hlasy

Aktualizováno · Z katalogu doplňků Nahlásit problém s tímto doplňkem