VoxMel offline, klonowanie głosu, 2 języki
Dubbinguje twoje napisy po angielsku i mandaryńsku za pomocą VoxMel od VoxDance Lab, własnym głosem każdego mówcy, wiernie sklonowanym z wideo i jego napisów, albo jednym z ośmiu gotowych głosów. Działa na twoim komputerze, a dodatek, model i głosy są wszystkie na licencji Apache-2.0.
Ustawienia Dodatki VoxMel (offline, voice clone, 2 languages) Zainstaluj
Subtitld pobiera dodatek, sprawdza jego SHA-256 i utrzymuje go w aktualności.
- Języki
- 2
- Modele
- 1
- Głosy
- 9
- Pobranie dodatku
- 15–19 MB
- RAM, co najmniej
- 2 GB
Posłuchaj
Co robi
Subtitld wycina z wideo kilka sekund każdego mówcy i wysyła je razem z napisami, które w nich padają. VoxMel wiernie klonuje ten głos, po angielsku albo mandaryńsku.
Dwie kobiety i dwóch mężczyzn dla każdego języka, dla mówców, których nie chcesz klonować. VoxMel stworzył je sam: do żadnego z nich nie nagrano głosu prawdziwej osoby.
Sklonowana kwestia zajmuje od dwóch do czterech sekund na sekundę mowy na współczesnym procesorze laptopa.
Dodatek, silnik audio.cpp, wagi VoxMel i gotowe głosy są wszystkie na licencji Apache-2.0.
Przed instalacją
- Dysk: około 1,2 GB, głównie model o rozmiarze 1,04 GB, pobierany przy pierwszej dubbingowanej kwestii.
- Pamięć: około 2 GB wolnej.
- Czas: na Intel Core i7-13700T kwestia własnym głosem mówcy zajmowała od dwóch do czterech sekund na sekundę mowy. Na Macu z Apple Silicon działa na GPU.
- Języki: tylko angielski i mandaryński. W innych językach głosy klonują VoxCPM2 (30 języków) i OmniVoice (646).
Głosy
W karcie Mówcy wybierz VoxMel jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu: sam VoxMel nie pozwala sterować tempem.
9 głosów w 2 językach.
en4zh4
Głos klonowany
Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu trwającego od 3 do 12 sekund albo z kilku krótkich, połączonych, i wysyła razem z nią tekst napisu. VoxMel potrzebuje zarówno próbki, jak i jej słów. Fallback reference clip w ustawieniach dodatku, razem z jego transkrypcją, jest używany tylko wtedy, gdy nie da się wyciąć próbki.
VoxMel klonuje najlepiej w obrębie jednego języka. Angielski dubbing mówcy mówiącego po mandaryńsku wychodzi dobrze; mandaryński dubbing mówcy mówiącego po angielsku może zniekształcić niektóre słowa.
Clone the timbre only nie działa z tym dodatkiem, bo VoxMel nie potrafi klonować bez słów próbki. Zostaw tę opcję wyłączoną dla mówców, którzy używają VoxMel.
Gotowe głosy
Każdy gotowy głos to krótki klip, który VoxMel stworzył bez żadnego nagrania wzorcowego, przechowywany razem z dokładnymi słowami. Każda kwestia mówcy z gotowym głosem klonuje ten klip, więc głos pozostaje taki sam przez całe wideo. Angielskie głosy pasują do kwestii angielskich, a mandaryńskie do mandaryńskich.
Modele
Jest jeden model, VoxMel 0.6B z wokoderem Vocos, z wagami zapisanymi w 8 bitach, tak jak przekonwertował go projekt audio.cpp. Nie ma go w dodatku: pobiera się do wspólnej pamięci modeli Subtitld przy pierwszym dubbingu, z Hugging Face w ustalonej rewizji, i jest sprawdzany. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku zachowuje model.
| Model | Pobranie | Dobry do |
|---|---|---|
| VoxMel 0.6B (8-bit) Domyślne voxmel | Każdy głos, po angielsku i mandaryńsku |
Pierwsza kwestia także wczytuje model, więc trwa dłużej niż kolejne. Na Macu z Apple Silicon, za pierwszym razem, dodatek wypowiada też jedną krótką kwestię testową na GPU, a jeśli to nie zadziała, używa procesora. Anuluj zatrzymuje kwestię między dwoma krokami albo zatrzymuje pobieranie.
Opcje
W Ustawieniach › Dodatki › VoxMel (offline, voice clone, 2 languages) › Konfiguruj.
32Jak dokładnie VoxMel rysuje każdą chwilę mowy. 32 to ustawienie samego VoxMel; mniej jest szybsze, ale z mniejszą ilością szczegółów.
3.5Jak wiernie mowa trzyma się tekstu. 3,5 to ustawienie samego VoxMel.
3Jak wiernie sklonowany głos trzyma się klipu. 3,0 to ustawienie samego VoxMel; wyższa wartość może brzmieć bliżej albo nienaturalnie.
00 wybiera rdzenie wydajnościowe na procesorach, które mają też rdzenie energooszczędne. Mniej wątków sprawia, że komputer lepiej reaguje podczas dubbingu.
Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: od 3 do 15 sekund mowy jednej osoby.
Dokładnie to, co pada w klipie zapasowym, słowo w słowo. VoxMel klonuje z klipu i jego słów, więc bez tego klip zapasowy jest odrzucany.
Języki
Angielski i chiński mandaryński. VoxMel rozpoznaje język z tekstu.
enzh
Platformy
| System | Pobranie | Przetestowano |
|---|---|---|
| Linux x86-64 | 18.8 MB | Dubbing prawdziwym modelem na prawdziwej maszynie i na AlmaLinux 8; w CI zainstalowany dodatek pobiera model, mówi, klonuje głos i anuluje kwestię |
| macOS (Apple silicon) | 18.1 MB | W CI zainstalowany dodatek pobiera model, mówi, klonuje głos i anuluje kwestię (Apple Silicon) |
| Windows x86-64 | 15.4 MB | W CI zainstalowany dodatek pobiera model, mówi, klonuje głos i anuluje kwestię |
Linux x86-64 (każda dystrybucja od 2018 roku, glibc 2.28 lub nowsza), macOS 13.3 lub nowszy na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym CI instaluje dodatek, pobiera model i każe mu mówić, sklonować głos i anulować kwestię.
Rozwiązywanie problemów
network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.disk_fullZa mało miejsca na dysku na model. Potrzeba około 1,2 GB wolnego miejsca.oomBrak pamięci. Zamknij inne programy; VoxMel potrzebuje około 2 GB wolnej pamięci.bad_paramsKwestia nie ma tekstu albo głos klonowany nie dostał próbki lub jej słów. Komunikat mówi które. Dla głosu klonowanego otwórz wideo i zostaw Clone the timbre only wyłączone.unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły.
Licencja
Można używać komercyjnie: dodatek, jego gotowe głosy, silnik audio.cpp i wagi VoxMel są wszystkie na licencji Apache-2.0, a wokoder Vocos i ggml na licencji MIT. Dubbing, który tworzysz, należy do ciebie. Sklonowany głos brzmi jak prawdziwa osoba: klonuj tylko głosy, do których masz prawo, i informuj, że dubbing jest syntetyczny, tam gdzie to ma znaczenie.
Wersje
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Inne dodatki: Głosy
-
Piper Offline
158 głosów offline w 49 językach, każdy jako osobne małe pobranie.
-
Kokoro Offline
54 głosy offline w dziewięciu językach, z jednego modelu 82 MB.
-
Supertonic Offline
Dziesięć głosów offline, każdy potrafi mówić wszystkimi 31 językami.
-
sanoTTS Offline
Drobne głosy offline, 28 w 14 językach, każdy poniżej 10 MB.
-
Parler-TTS Offline
Angielskie głosy podążające za opisem; 34 nazwanych mówców.
-
Qwen3-TTS Klon
Dziesięć języków, dziewięć głosów i klonowanie z 3 sekund mówcy.
-
Coqui XTTS Klon
Klonowanie głosu w 16 językach, z licencją modelu niekomercyjną.
-
F5-TTS Klon
Tylko klonowanie głosu, po angielsku i chińsku; model niekomercyjny.
-
VoxCPM2 Klon
30 języków w 48 kHz, głosem mówcy albo opisanym. Ciężki.
-
Pocket TTS Offline
Szybki i lekki, tylko procesor. 23 głosy w siedmiu językach europejskich.
-
Sopro Klon
Własny głos mówcy, szybko na procesorze. Cztery języki.
-
KittenTTS 2 Klon
Własny głos mówcy w 16 językach, na procesorze. Wagi na restrykcyjnej licencji.
-
Ming-3.0-tts Klon
7 języków w 44,1 kHz: głosy klonowane, wbudowane lub z opisu, z emocjami. Ciężki.
-
Scylla's Band Offline
Czternaście głosów w sześciu językach, lekki i szybki na procesorze. Tylko gotowe głosy.
-
Audio8 TTS Klon
Własny głos mówcy w 23 językach, w tym kantońskim i arabskim. Powolny na procesorze.
-
Inflect Offline
Naturalna angielska mowa z maleńkiego modelu, szybko na każdym procesorze.
-
Paradee Offline
Cztery naturalne angielskie głosy, amerykańskie i brytyjskie, z jednego modelu o rozmiarze 8,5 MB.
-
BlueTTS Klon
Hebrajski i jidysz oraz pięć innych języków. Własny głos mówcy, szybko na procesorze.
-
ZONOS3-Mini Klon
43 języki, od arabskiego po wietnamski. Własny głos mówcy, na procesorze.
-
Reverb Klon
Siedem języków europejskich i własny głos mówcy, na procesorze; model niekomercyjny.
-
OmniVoice Klon
646 języków, własny głos mówcy także w innych językach; model niekomercyjny.
-
tiny-voca Offline
Dwa amerykańskie angielskie głosy z modelu o 4,5 mln parametrów, bez pobierania czegokolwiek.
-
Chatterbox Klon
Własny głos mówcy w 20 językach, na procesorze, bez konta.