Stažení

Coqui XTTS (offline + voice clone)

HlasyOfflineGPU volitelnéKlonování hlasuNekomerční

Klonuje hlas každého mluvčího z několika sekund videa a mluví vaše titulky v 16 jazycích, na vašem počítači. Model je zdarma jen pro nekomerční použití.

Nainstalujte ho z Subtitld

Nastavení Doplňky Coqui XTTS-v2 (offline + voice clone) Instalovat

Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.

Zdrojový kód na GitHubu
Jazyky
16
Modely
3
Hlasy
3
Stažení doplňku
302–443 MB
RAM, alespoň
6 GB

Co dělá

Klon z videa

Zvolte Custom voice a Subtitld modelu dá několik sekund od daného mluvčího, vystříhaných z videa. Nejlépe funguje se 6 sekundami nebo více.

Dva vestavěné hlasy

XTTS female 1 a XTTS male 1, pro mluvčí, které neklonujete.

16 jazyků

Mluví v jazyce projektu, nebo v angličtině, pokud projekt žádný nemá.

Načte se jednou

První řádek čeká, než se model načte, a při prvním použití také stáhne; zbytek jej znovu použije. Na CPU může dlouhá věta trvat půl minuty.

Model pro nekomerční použití. Váhy XTTS-v2 spadají pod Coqui Public Model License (CPML): zdarma pro nekomerční použití, pro cokoli jiného je třeba placená licence od Coqui. Doplněk za vás souhlasí s podmínkami Coqui, když model načítá, takže to neuvidíte; podmínky platí tak či onak.

Hlasy

V záložce Mluvčí zvolte u mluvčího Coqui XTTS jako Modul dabingu, poté vyberte Hlas. Custom voice je nahoře v seznamu. Každý řádek vyjde tak dlouhý, jak jej model vytvoří; zapněte Přizpůsobit dabing délce titulku, aby mluvčí řádek natáhl nebo stlačil na délku jeho titulku.

3 hlasů v 1 jazyce.

  • en 2

Vzorek pro klon

Když je hlas mluvčího Custom voice, Subtitld vystřihne z audia projektu vzorek tohoto mluvčího:

  • jeho nejdelší titulek mezi 3 a 12 sekundami;
  • když žádný nevyhovuje, prvních 12 sekund delšího;
  • když jsou všechny kratší než 3 sekundy, několik za sebou, spojených, dokud nedosáhnou 3.

XTTS nejlépe funguje se 6 sekundami nebo více, proto dejte každému mluvčímu alespoň jeden řádek mezi 6 a 12 sekundami. Pokud jste pro toto video oddělili hudbu od hlasu, vzorek pochází jen z hlasu. Default voice reference v nastavení doplňku se použije jen tehdy, když vzorek vystřihnout nelze, například když není otevřené žádné video.

Subtitld uchovává vzorek každého mluvčího a vystřihne jej znovu, jen když se změní zvukový soubor. Po úpravě časů řádků mluvčího smažte jeho vzorek, aby vznikl nový; jeho název končí jménem mluvčího.

Systém Složka
Linux ~/.cache/subtitld/clone-refs
macOS ~/Library/Caches/subtitld/clone-refs
Windows %LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs

Modely

Jeden model, stažený při prvním generování řádku; dva malé soubory vedle něj jsou jeho nastavení a slovník. Doplněk jej drží načtený, dokud není pět minut nečinný.

Model Stažení
xtts_v2
1.9 GB
xtts_v2_config
1 MB
xtts_v2_vocab
1 MB

Možnosti

Doplněk tato nastavení čte při startu, takže se změna projeví, jakmile je pět minut nečinný, nebo po restartu Subtitld.

V Nastavení › Doplňky › Coqui XTTS-v2 (offline + voice clone) › Nastavit.

Inference device
Výchozí: cpu

Ponechte na CPU. Vydaná sestavení jsou vytvořena s balíčkem PyTorch pro CPU, takže s nimi CUDA nebude fungovat; MPS je označen jako beta.

Default voice reference (6+ seconds, mono WAV recommended)
Výchozí: prázdné

Klip, který se má zkopírovat, když Subtitld nemůže z videa získat vzorek mluvčího, například když není otevřené žádné video. Vzorek z videa má vždy přednost. Dokud je toto nastaveno, kopírují tento klip i dva vestavěné hlasy.

Jazyky

Doplněk předává modelu jazyk projektu bez regionu; když není jazyk nastaven, mluví anglicky.

  • en
  • es
  • fr
  • de
  • it
  • pt
  • pl
  • tr
  • ru
  • nl
  • cs
  • ar
  • zh-cn
  • ja
  • hu
  • ko

Platformy

Systém StaženíOtestováno
Linux x86-64 442.7 MBSestaveno a spuštěno v CI
macOS (univerzální) 323.1 MBSestaveno a spuštěno v CI
Windows x86-64 302.2 MBSestaveno a spuštěno v CI

Každé vydání je sestaveno na Linuxu, macOS a Windows a CI ověří, že se program spustí a vypíše své hlasy. CI negeneruje řeč.

Řešení potíží

  • bad_paramsBuď titulek nemá text, nebo klon nedostal vzorek: Subtitld jej nedokázal vystřihnout (není otevřené video, nebo pro tohoto mluvčího nejsou titulky) a není nastaven výchozí klip. Doplňte text titulku, otevřete video, nebo nastavte Default voice reference.
  • internalModel se nepodařilo načíst, nebo namluvit řádek; zpráva uvede, které. Selhání stažení při prvním použití skončí také zde: zkontrolujte připojení a volné místo na disku a zkuste to znovu. Zkontrolujte také, že jazyk projektu je jeden z výše uvedených.

Licence

Doplněk
MIT
Engine
MPL-2.0
coqui-ai-TTS (fork idiap)
Modely
CPML
Váhy XTTS-v2; nekomerční bez licence Coqui

Nevhodné pro komerční práci, pokud nemáte komerční licenci od Coqui pro váhy XTTS-v2. Vlastní kód doplňku je MIT.

Verze

  • 1.0.7

    Automated release for coqui-xtts v1.0.7.

Další doplňky skupiny Hlasy

Aktualizováno · Z katalogu doplňků Nahlásit problém s tímto doplňkem