Audio8 TTS (offline, voice clone, 11 languages)

Co dělá

Před instalací

Audio8 TTS od vašeho počítače vyžaduje víc než lehké moduly dabingu:

• Disk: asi 1 GB pro model, stažený při prvním řádku, který dabujete.
• Paměť: asi 1,6 GB během mluvení a na okamžik až 3 GB, když poprvé slyší nového mluvčího.
• Čas: každá sekunda řeči trvá dvě až tři sekundy, na Intel Core i7-13700T. Desetiminutové video může trvat asi půl hodiny.
• Procesor: jakýkoli 64bitový procesor Intel nebo AMD, nebo Apple Silicon. Grafická karta se nepoužívá.

Pro rychlý dabing klonují hlasy Sopro nebo Chatterbox zhruba v reálném čase nebo rychleji, v menším počtu jazyků.

Hlasy

V záložce Mluvčí zvolte u mluvčího Audio8 TTS jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.

1 hlas.

Audio8 TTS má jediný hlas, Speaker's own voice, a žádné přednastavené hlasy: každý řádek klonuje mluvčího. Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku o délce 3 až 12 sekund, nebo z několika krátkých spojených. Pokud jste pro toto video oddělili hudbu od hlasu, vzorek pochází jen z hlasu. Fallback reference clip v nastavení doplňku se použije jen tehdy, když vzorek vystřihnout nelze.

Subtitld pošle se vzorkem text titulku a Audio8 TTS ho použije, aby se mluvčímu víc přiblížil. Bez něj, například když není nastaven původní jazyk projektu, doplněk klonuje jen ze zvuku vzorku, o něco méně věrně. Pokud vaše titulky řečené parafrázují, místo aby ho přepisovaly, zapněte Don't send the subtitles of the reference clip.

První řádek každého mluvčího trvá o několik sekund déle, zatímco doplněk poslouchá jeho vzorek. Zapamatuje si ho, takže další řádky tohoto mluvčího začnou hned.

Modely

Je jen jeden model, Audio8 TTS Preview 0.6B, ve 4bitovém sestavení pro ONNX, které jeho tvůrci zveřejňují pro procesory. Není uvnitř doplňku: stáhne se do sdílené mezipaměti modelů Subtitld při prvním dabingu, z Hugging Face v pevně dané revizi, s každým souborem ověřeným. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku model ponechá.

Doplněk toto sestavení spouští bez PyTorch. Se stejným hlasem, řádkem a seedem dává přesně totéž co vlastní runtime Audio8.

Možnosti

V Nastavení › Doplňky › Audio8 TTS (offline, voice clone, 11 languages) › Nastavit.

Jazyky

Čínština, kantonština, japonština, korejština, angličtina, nizozemština, francouzština, němčina, italština, polština a španělština. Mluvčí naklonovaný z klipu v jednom z nich mluví všemi ostatními. Projekt v jakémkoli jiném jazyce dostane zprávu, která to uvádí: zvolte pro něj jiný modul dabingu.

Audio8 označuje tento model jako preview: toto jsou jazyky, které doporučuje. V každém z nich jsme ověřili jednu větu, pomocí Whisper a skóre podobnosti hlasu, ne poslechem v každém jazyce.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Platformy

Linux x86-64, macOS na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém z nich CI nainstaluje doplněk stejně jako Subtitld, stáhne model a nadabuje s ním.

Řešení potíží

• network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.
• disk_fullNa disku není dost místa pro model, asi 1 GB.
• unsupported_languageJazyk projektu není žádný z jedenácti, nebo není nastaven. Nastavte ho v projektu, nebo zvolte jiný modul dabingu.
• unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.
• bad_paramsŘádek nemá text, nebo klonovaný hlas nedostal vzorek: otevřete video, nebo nastavte Fallback reference clip. Zpráva uvede, které.
• out_of_memoryPočítači došla paměť. Zavřete jiné programy: Audio8 TTS potřebuje asi 3 GB volných.
• internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti.

Licence

Vhodné pro komerční práci: doplněk je pod Apache-2.0, stejně jako kód Audio8 TTS a váhy Audio8 TTS Preview 0.6B. Dabing, který vytvoříte, je váš. Klonovaný hlas zní jako skutečná osoba: klonujte jen hlasy, které máte právo použít, a tam, kde na tom záleží, uveďte, že dabing je syntetický.