Audio8 TTS (offline, voice clone, 11 languages)

Co robi

Przed instalacją

Audio8 TTS wymaga od komputera więcej niż lekkie silniki dubbingu:

• Dysk: około 1 GB na model, pobierany przy pierwszej dubbingowanej kwestii.
• Pamięć: około 1,6 GB podczas mówienia i na chwilę do 3 GB, gdy po raz pierwszy słyszy nowego mówcę.
• Czas: każda sekunda mowy zajmuje od dwóch do trzech sekund, na Intel Core i7-13700T. Dziesięciominutowe wideo może zająć około pół godziny.
• Procesor: dowolny 64-bitowy procesor Intel lub AMD albo Apple Silicon. Karta graficzna nie jest używana.

Do szybkiego dubbingu Sopro lub Chatterbox klonują głosy mniej więcej w czasie rzeczywistym lub szybciej, w mniejszej liczbie języków.

Głosy

W karcie Mówcy wybierz Audio8 TTS jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.

1 głos.

Audio8 TTS ma jeden głos, Speaker's own voice, i żadnych gotowych głosów: każda kwestia klonuje mówcę. Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu trwającego od 3 do 12 sekund albo z kilku krótkich, połączonych. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Fallback reference clip w ustawieniach dodatku jest używany tylko wtedy, gdy nie da się wyciąć próbki.

Subtitld wysyła tekst napisu razem z próbką, a Audio8 TTS używa go, aby zbliżyć się do mówcy. Bez niego, na przykład gdy oryginalny język projektu nie jest ustawiony, dodatek klonuje tylko z brzmienia próbki, nieco mniej wiernie. Jeśli twoje napisy parafrazują wypowiedź zamiast ją dokładnie zapisywać, włącz Don't send the subtitles of the reference clip.

Pierwsza kwestia każdego mówcy trwa kilka sekund dłużej, bo dodatek wsłuchuje się w jego próbkę. Zapamiętuje ją, więc kolejne kwestie tego mówcy zaczynają się od razu.

Modele

Jest jeden model, Audio8 TTS Preview 0.6B, w 4-bitowej wersji ONNX, którą jego twórcy publikują dla procesorów. Nie ma go w dodatku: pobiera się do wspólnej pamięci modeli Subtitld przy pierwszym dubbingu, z Hugging Face w ustalonej rewizji, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku zachowuje model.

Dodatek uruchamia tę wersję bez PyTorch. Przy tym samym głosie, tej samej kwestii i tym samym ziarnie daje dokładnie to samo, co własne środowisko uruchomieniowe Audio8.

Opcje

W Ustawieniach › Dodatki › Audio8 TTS (offline, voice clone, 11 languages) › Konfiguruj.

Języki

Chiński, kantoński, japoński, koreański, angielski, niderlandzki, francuski, niemiecki, włoski, polski i hiszpański. Mówca sklonowany z klipu w jednym z nich mówi we wszystkich pozostałych. Projekt w każdym innym języku dostaje komunikat, który o tym mówi: wybierz dla niego inny silnik dubbingu.

Audio8 nazywa ten model wersją zapoznawczą: to są języki, które zaleca. Sprawdziliśmy jedno zdanie w każdym z nich, za pomocą Whisper i oceny podobieństwa głosu, a nie na słuch w każdym języku.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Platformy

Linux x86-64, macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera model i robi nim dubbing.

Rozwiązywanie problemów

• network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.
• disk_fullZa mało miejsca na dysku na model, około 1 GB.
• unsupported_languageJęzyk projektu nie jest jednym z jedenastu albo nie jest ustawiony. Ustaw go w projekcie albo wybierz inny silnik dubbingu.
• unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.
• bad_paramsKwestia nie ma tekstu albo głos klonowany nie dostał próbki: otwórz wideo albo ustaw Fallback reference clip. Komunikat mówi które.
• out_of_memoryKomputerowi zabrakło pamięci. Zamknij inne programy: Audio8 TTS potrzebuje około 3 GB wolnej pamięci.
• internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły.

Licencja

Można używać komercyjnie: dodatek jest na licencji Apache-2.0, podobnie jak kod Audio8 TTS i wagi Audio8 TTS Preview 0.6B. Dubbing, który tworzysz, należy do ciebie. Sklonowany głos brzmi jak prawdziwa osoba: klonuj tylko głosy, do których masz prawo, i informuj, że dubbing jest syntetyczny, tam gdzie to ma znaczenie.