Klonuje głos każdego mówcy z kilku sekund wideo i mówi twoimi napisami w 16 językach, na twoim komputerze. Model jest darmowy tylko do użytku niekomercyjnego.

Co robi

Klon z wideo

Wybierz Własny głos, a Subtitld daje modelowi kilka sekund tego mówcy, wyciętych z wideo. Działa najlepiej z 6 sekundami lub więcej.

Dwa wbudowane głosy

XTTS female 1 i XTTS male 1, dla mówców, których nie klonujesz.

16 języków

Mówi w języku projektu, a gdy projekt nie ma ustawionego języka, po angielsku.

Wczytuje się raz

Pierwsza kwestia czeka, aż model się wczyta, a przy pierwszym razie także na pobranie; reszta go ponownie używa. Na procesorze długie zdanie może zająć pół minuty.

Model niekomercyjny. Wagi XTTS-v2 są objęte Coqui Public Model License (CPML): darmowe do użytku niekomercyjnego, a do wszystkiego innego potrzebna jest płatna licencja od Coqui. Dodatek akceptuje warunki Coqui w twoim imieniu, gdy wczytuje model, więc nie zobaczysz tego pytania; warunki obowiązują mimo to.

Głosy

W karcie Mówcy wybierz Coqui XTTS jako Silnik dubbingu danego mówcy, a potem Głos. Własny głos jest na górze listy. Każda kwestia wychodzi tak długa, jak ją zrobi model; włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał ją do napisu.

3 głosów w 1 języku.

en 2

Próbka do klonu

Gdy głos mówcy to Własny głos, Subtitld wycina próbkę tego mówcy z dźwięku projektu:

jego najdłuższy napis między 3 a 12 sekundami;
jeśli żaden nie pasuje, pierwsze 12 sekund dłuższego;
jeśli wszystkie są krótsze niż 3 sekundy, kilka z rzędu, połączone, aż osiągną 3.

XTTS działa najlepiej z 6 sekundami lub więcej, więc daj każdemu mówcy co najmniej jedną kwestię trwającą od 6 do 12 sekund. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Domyślna referencja głosu w ustawieniach dodatku jest używana tylko wtedy, gdy nie da się wyciąć próbki, na przykład bez otwartego wideo.

Subtitld zachowuje próbkę każdego mówcy i wycina ją ponownie tylko wtedy, gdy plik audio się zmieni. Po przesunięciu kwestii danego mówcy usuń jego próbkę, aby dostać nową; jej nazwa kończy się imieniem mówcy.

System	Folder
Linux	`~/.cache/subtitld/clone-refs`
macOS	`~/Library/Caches/subtitld/clone-refs`
Windows	`%LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs`

Modele

Jeden model, pobierany przy pierwszym wygenerowaniu kwestii; dwa małe pliki obok niego to jego ustawienia i słownik. Dodatek trzyma go wczytanego, dopóki nie będzie bezczynny przez pięć minut.

Model	Pobranie
xtts_v2	1.9 GB
xtts_v2_config	1 MB
xtts_v2_vocab	1 MB

Opcje

Dodatek odczytuje te ustawienia przy starcie, więc zmiana obowiązuje po pięciu minutach bez użycia albo po ponownym uruchomieniu Subtitld.

W Ustawieniach › Dodatki › Coqui XTTS-v2 (offline + voice clone) › Konfiguruj.

Inference device

Domyślnie: cpu

Zostaw na CPU. Wydane wersje są zbudowane z pakietem PyTorch dla procesora, więc CUDA z nimi nie działa; MPS jest oznaczone jako beta.

Default voice reference (6+ seconds, mono WAV recommended)

Domyślnie: pusty

Klip do skopiowania, gdy Subtitld nie może pobrać próbki mówcy z wideo, na przykład bez otwartego wideo. Próbka z wideo zawsze ma pierwszeństwo. Gdy to jest ustawione, dwa wbudowane głosy także kopiują ten klip.

Języki

Dodatek przekazuje język projektu do modelu bez regionu; bez ustawionego języka mówi po angielsku.

en
es
fr
de
it
pt
pl
tr
ru
nl
cs
ar
zh-cn
ja
hu
ko

Platformy

System	Pobranie	Przetestowano
Linux x86-64	442.7 MB	Zbudowany i uruchomiony w CI
macOS (uniwersalny)	323.1 MB	Zbudowany i uruchomiony w CI
Windows x86-64	302.2 MB	Zbudowany i uruchomiony w CI

Każde wydanie jest budowane na Linuksie, macOS i Windows, a CI sprawdza, czy program startuje i wypisuje swoje głosy. CI nie generuje mowy.

Rozwiązywanie problemów

bad_paramsAlbo napis nie ma tekstu, albo klon nie dostał próbki: Subtitld nie mógł jej wyciąć (brak otwartego wideo lub napisów dla tego mówcy), a domyślny klip nie jest ustawiony. Wpisz tekst napisu, otwórz wideo albo ustaw Domyślna referencja głosu.
internalModel nie wczytał się albo nie wypowiedział kwestii; komunikat mówi które. Nieudane pierwsze pobranie też kończy się tutaj: sprawdź połączenie i wolne miejsce na dysku, a potem spróbuj ponownie. Sprawdź też, czy język projektu jest jednym z wymienionych powyżej.

Licencja

Dodatek

MIT

Silnik

MPL-2.0

coqui-ai-TTS (fork idiap)

Modele

CPML

Wagi XTTS-v2; niekomercyjne bez licencji Coqui

Nie do użytku komercyjnego, chyba że masz licencję komercyjną od Coqui na wagi XTTS-v2. Kod samego dodatku jest na licencji MIT.

Coqui XTTS (offline + voice clone)

Co robi

Głosy

Próbka do klonu

Modele

Opcje

Języki

Platformy

Rozwiązywanie problemów

Licencja

Wersje

Inne dodatki: Głosy