Sopro (offline, voice clone, 4 languages)

HlasyOfflinePouze CPUKlonování hlasuKomerční použití povoleno

Nadabuje vaše titulky v angličtině, evropské portugalštině, francouzštině a němčině pomocí Sopro V2 Turbo, vlastním hlasem každého mluvčího naklonovaným z několika sekund videa, nebo jedním z 8 přednastavených hlasů. Běží na procesoru vašeho vlastního počítače, asi dvakrát rychleji než v reálném čase, bez grafické karty.

Nainstalujte ho z Subtitld

Nastavení Doplňky Sopro (offline, voice clone, 4 languages) Instalovat

Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.

Zdrojový kód na GitHubu
Jazyky
4
Modely
1
Hlasy
9
Stažení doplňku
38–61 MB
RAM, alespoň
1.5 GB

Co dělá

Vlastní hlas mluvčího

Subtitld vystřihne z videa několik sekund každého mluvčího a pošle je s každým řádkem. Sopro tento hlas naklonuje, takže dabing zní jako osoba na obrazovce, v kterémkoli z jeho čtyř jazyků.

Rychlý na každém počítači

Sopro V2 Turbo je malý model se 120 miliony parametrů. Na procesoru notebooku mluví asi dvakrát rychleji než v reálném čase a vystačí si asi s 1 GB paměti.

Offline po prvním řádku

Model se stáhne jednou, když s ním poprvé dabujete. Potom už nic neopustí váš počítač.

Volné pro komerční práci

Doplněk, Sopro i jeho model jsou pod Apache-2.0. Přednastavené hlasy jsou čtenáři LibriVox, jejichž nahrávky jsou volným dílem.

Před instalací

Sopro od vašeho počítače vyžaduje málo:

  • Disk: asi 340 MB pro model, stažený při prvním řádku.
  • Paměť: asi 1 GB během mluvení.
  • Procesor: jakýkoli 64bitový procesor Intel nebo AMD, nebo Apple Silicon. Grafická karta se nepoužívá.

Klonujte hlas jen se souhlasem jeho majitele. Autor Sopro žádá, aby se nikdy nepoužíval k vydávání se za někoho jiného.

Hlasy

V záložce Mluvčí zvolte u mluvčího Sopro jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.

9 hlasů.

S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku, nebo z několika krátkých spojených. Pokud jste pro toto video oddělili hudbu od hlasu, vzorek pochází jen z hlasu. Fallback reference clip v nastavení doplňku se použije jen tehdy, když vzorek vystřihnout nelze. Nejlepší vzorek je 5 až 20 sekund samotného mluvčího, bez hudby a jiných hlasů.

Přednastavené hlasy
Ženy Angličtina, portugalština, francouzština, němčina
Muži Angličtina, portugalština, francouzština, němčina

Každý přednastavený hlas patří dobrovolníkovi LibriVox, který čte knihu v daném jazyce. Každý přednastavený hlas mluví všemi čtyřmi jazyky; jeho vlastní jazyk mu dává jen přízvuk, proto pro nejpřirozenější dabing vyberte hlas v jazyce svého projektu.

Modely

Sopro má jeden model pro všechny čtyři jazyky. Není uvnitř doplňku: stáhne se do sdílené mezipaměti modelů Subtitld při prvním dabingu, z Hugging Face v pevně dané revizi, s každým souborem ověřeným. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku model ponechá.

Model StaženíVhodné pro
Sopro V2 Turbo (120M, ONNX) Výchozí sopro-v2-turbo
336 MB
Každý hlas, ve všech čtyřech jazycích, asi 2,5× rychleji než reálný čas

Doplněk spouští sestavení Sopro pro ONNX, které zveřejňuje jeho autor, bez PyTorch. Porovnali jsme ho s oficiálním sestavením pro PyTorch na stejných řádcích ve všech čtyřech jazycích: nedělalo víc chyb a znělo mluvčímu stejně podobně.

Možnosti

V Nastavení › Doplňky › Sopro (offline, voice clone, 4 languages) › Nastavit.

CPU threads
Výchozí: 0

0 použije polovinu logických procesorů počítače, nejvýše 8. Méně vláken nechá počítač během dabingu lépe reagovat.

Variation
Výchozí: 0.8

Nižší hodnota je stálejší a plošší, vyšší je živější, ale častěji chybuje. 0,8 je výchozí hodnota samotného Sopro.

Fallback reference clip
Výchozí: prázdné

Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: 5 až 20 sekund, kdy mluví jedna osoba.

Jazyky

Angličtina, evropská portugalština, francouzština a němčina. Přečte i text v brazilské portugalštině, s evropským přízvukem. Projekt v jakémkoli jiném jazyce dostane zprávu, která to uvede: zvolte pro něj jiný modul dabingu.

Tam, kde na tom záleží, pište čísla a symboly slovy: Sopro čte „1 + 2“ méně spolehlivě než „one plus two“. Slovo z jiného jazyka uvnitř věty může být vysloveno špatně.

  • en
  • pt
  • fr
  • de

Platformy

Systém StaženíOtestováno
Linux x86-64 61.1 MBNadabováno skutečným modelem na skutečném počítači a v CI
macOS (Apple silicon) 43.2 MBNadabováno skutečným modelem v CI (Apple Silicon)
Windows x86-64 38.1 MBNadabováno skutečným modelem v CI

Linux x86-64, macOS na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém z nich CI nainstaluje doplněk stejně jako Subtitld, stáhne model a nadabuje s ním.

Řešení potíží

  • network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.
  • disk_fullNa disku není dost místa pro model, asi 340 MB.
  • unsupported_languageJazyk projektu není žádný ze čtyř, nebo není nastaven. Nastavte ho v projektu, nebo zvolte jiný modul dabingu.
  • unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.
  • bad_paramsŘádek nemá text, nebo klonovaný hlas nedostal vzorek: otevřete video, nebo nastavte Fallback reference clip. Zpráva uvede, které.
  • out_of_memoryPočítači došla paměť. Zavřete jiné programy: Sopro potřebuje asi 1 GB.
  • internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti.

Licence

Doplněk
Apache-2.0
Engine
Apache-2.0
Sopro od Samuela Vitorina; ONNX Runtime je pod MIT
Model
Apache-2.0
Váhy Sopro V2 Turbo
Přednastavené hlasy
Public domain, CC-BY-4.0
Čtenáři LibriVox; anglické prostřednictvím LibriTTS-R

Vhodné pro komerční práci: doplněk, Sopro i model Sopro V2 Turbo jsou pod Apache-2.0. Přednastavené hlasy jsou nahrávky LibriVox, které jsou volným dílem; anglické pocházejí z LibriTTS-R, pod CC-BY-4.0, a doplněk u každého z nich uvádí autora. Dabing, který vytvoříte, je váš.

Verze

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Sopro V2 Turbo: English, European Portuguese, French and German at 24 kHz, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. The 336 MB model downloads on the first line, at a pinned revision, checked by sha256. It runs on the CPU, about twice as fast as real time.

    The add-on and the Sopro model are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/sopro_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is sopro-<version>-libquadmath-source.tar.gz in this release.

Další doplňky skupiny Hlasy

Aktualizováno · Z katalogu doplňků Nahlásit problém s tímto doplňkem