ZONOS3-Mini offline, klonowanie głosu, 43 języki
Dubbinguje twoje napisy w 43 językach za pomocą ZONOS3-Mini firmy Zyphra, jednym z 27 głosów albo własnym głosem każdego mówcy, sklonowanym z kilku sekund wideo. Działa na procesorze twojego komputera, mniej więcej dwa razy szybciej niż w czasie rzeczywistym, bez karty graficznej.
Ustawienia Dodatki ZONOS3-Mini (offline, voice clone, 43 languages) Zainstaluj
Subtitld pobiera dodatek, sprawdza jego SHA-256 i utrzymuje go w aktualności.
- Języki
- 43
- Modele
- 2
- Głosy
- 28
- Pobranie dodatku
- 19–24 MB
- RAM, co najmniej
- 2 GB
Co robi
Od arabskiego, bengalskiego i bułgarskiego po turecki, urdu i wietnamski, w tym japoński, koreański, mandaryński, hindi i osiem innych języków Indii. Liczby, daty, ceny i jednostki są czytane zgodnie z gramatyką danego języka.
Subtitld wycina z wideo próbkę każdego mówcy i wysyła ją z każdą kwestią. ZONOS3-Mini klonuje ten głos w każdym ze swoich języków. Możesz też wybrać jeden z 27 głosów.
Każda kwestia jest sprawdzana w trakcie mówienia, więc żadne słowa nie są pomijane, i kończy się, gdy tekst zostanie przeczytany, zamiast ciągnąć się dalej słowami, których nie ma w napisie.
Model pobiera się raz, gdy pierwsza kwestia go potrzebuje. Potem nic nie opuszcza twojego komputera.
Przed instalacją
- Dysk: 1115 MB na model, pobierany przy pierwszej kwestii, i 45 MB więcej przy pierwszym użyciu własnego głosu mówcy.
- Pamięć: około 1,6 GB podczas mówienia.
- Czas: na procesorze Intel Core i7-13700T wytworzenie sekundy mowy zajmuje około pół sekundy. Pierwsza kwestia czeka około 4 sekund dłużej, aż wczyta się model, a pierwsza kwestia własnym głosem mówcy około 5 sekund dłużej, aż głos zostanie wyuczony.
- Procesor: 64-bitowy procesor Intel lub AMD z AVX2 (Intel od 2013 roku, AMD od 2015 roku) albo Apple Silicon. Karta graficzna nie jest używana.
Głosy
W karcie Mówcy wybierz ZONOS3-Mini jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.
28 głosów.
| Język nagrania | Kobiety | Mężczyźni |
|---|---|---|
| Angielski | Imogen (brytyjska), Morgana (czarownica), Sakura (anime), Savannah (amerykańska), Willow (ASMR) | Cillian (irlandzki), Jett (energiczny), Rupert (brytyjski), Thaddeus (spiker), Wyatt (amerykański) |
| Francuski | Gaspard | |
| Niemiecki | Liesel | Wolfgang |
| Hindi | Ananya | Arjun |
| Włoski | Ginevra | Lorenzo |
| Koreański | Seoyeon | Minjun |
| Mandaryński | Meilin (energiczna) | Haoran (energiczny) |
| Portugalski | Leonor | Thiago |
| Hiszpański | Ximena | Rodrigo |
| Telugu | Sravya | Chaitanya |
To domyślne głosy samej firmy Zyphra. Każdy głos mówi w każdym języku, ale z akcentem języka, w którym został nagrany, a w innym języku ten akcent może być silny: angielski głos mówiący po rosyjsku trudno zrozumieć. Dla języka, który nie ma tu własnego głosu, użyj własnego głosu mówcy.
Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu albo z kilku krótkich, połączonych. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Fallback reference clip w ustawieniach dodatku jest używany tylko wtedy, gdy nie da się wyciąć próbki.
ZONOS3-Mini słucha do minuty próbki i kopiuje głos, a nie słowa ani sposób mówienia. Najlepsza próbka to czysta mowa blisko mikrofonu: szum i pogłos sprawiają, że klon mniej przypomina mówcę, a nagranie z telefonu daje głos brzmiący jak z telefonu.
Modele
Modelu nie ma w dodatku: pobiera się do wspólnej pamięci modeli Subtitld, gdy pierwsza kwestia go potrzebuje, z repozytorium firmy Zyphra na Hugging Face w ustalonej rewizji, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku go zachowuje.
| Model | Pobranie | Dobry do |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Domyślne zonos3-mini | Każda kwestia, w każdym języku i każdym głosem | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | Własny głos mówcy, przy pierwszym dubbingu takim głosem |
Dodatek uruchamia własne środowisko ggml firmy Zyphra, ten sam kod co lokalny serwer Zyphry, wbudowane w dodatek bez PyTorch.
Pozostawiony sam sobie model czasem mówi dalej po krótkiej kwestii, dodając kilka słów, których nie ma w napisie. Dlatego każda kwestia przechodzi przez LACI, sprawdzanie wyrównania od Zyphry: śledzi ono, która część tekstu jest wypowiadana, powtarza pominięty lub zablokowany fragment i kończy kwestię, gdy tekst zostanie przeczytany. Następnie dodatek przycina kwestię przy pierwszej ciszy po tym punkcie. To przycięcie jest regułą samego dodatku, a nie Zyphry. W naszym teście krótkich kwestii z napisów 61 z 64 wyszło w ten sposób czysto, wobec 37 z 64 bez tego. Kwestia, która wyjdzie cicha, jest tworzona ponownie.
Opcje
W Ustawieniach › Dodatki › ZONOS3-Mini (offline, voice clone, 43 languages) › Konfiguruj.
00 używa procesorów logicznych komputera, najwyżej 8. Więcej rzadko jest szybciej; mniej sprawia, że komputer lepiej reaguje podczas dubbingu.
Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: od 5 do 20 sekund mowy jednej osoby, czysty, nie nagranie z telefonu.
Języki
Arabski, bengalski, bułgarski, chiński (mandaryński), czeski, duński, niderlandzki, angielski, fiński, francuski, gruziński, niemiecki, grecki, gudźarati, hebrajski, hindi, węgierski, indonezyjski, włoski, japoński, kannada, koreański, malajski, malajalam, marathi, norweski, orija, polski, portugalski, pendżabski, rumuński, rosyjski, słowacki, hiszpański, szwedzki, tagalski, tamilski, telugu, tajski, turecki, ukraiński, urdu i wietnamski. Projekt w innym języku dostaje komunikat, który to mówi: wybierz dla niego inny silnik dubbingu.
Angielski zależy od regionu projektu: Wielka Brytania, Irlandia, Australia, Nowa Zelandia, Republika Południowej Afryki i Indie dostają brytyjski angielski, każdy inny region amerykański angielski. Portugalski jest czytany jako brazylijski portugalski, a francuski jako francuski z Francji.
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
Platformy
| System | Pobranie | Przetestowano |
|---|---|---|
| Linux x86-64 | 19.0 MB | Dubbing prawdziwym modelem z archiwum wydania na AlmaLinux 8 i w CI |
| macOS (Apple silicon) | 24.0 MB | Dubbing prawdziwym modelem w CI (Apple Silicon) |
| Windows x86-64 | 18.5 MB | Dubbing prawdziwym modelem w CI |
Linux x86-64, macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera model i robi dubbing kwestii w sześciu językach, krótkiej kwestii i głosu klonowanego.
Rozwiązywanie problemów
network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.disk_fullZa mało miejsca na dysku na model: 1115 MB i 45 MB więcej na własny głos mówcy.unsupported_languageJęzyk projektu nie jest jednym z 43 albo nie jest ustawiony. Ustaw go w projekcie albo wybierz inny silnik dubbingu.unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.bad_paramsKwestia nie ma tekstu albo głos klonowany nie dostał próbki: otwórz wideo albo ustaw Fallback reference clip. Komunikat mówi które.out_of_memoryKomputerowi zabrakło pamięci. Zamknij inne programy: ZONOS3-Mini potrzebuje około 2 GB wolnej pamięci.internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły. Na starszym procesorze bez AVX2 komunikat to mówi.
Licencja
Dodatek jest na licencji Apache-2.0. Wagi ZONOS3-Mini i jego domyślne głosy są na licencji Apache-2.0, a środowisko uruchomieniowe Zyphry na licencji MIT, więc praca komercyjna jest dozwolona. Czytanie tekstu, zyphra-textnorm, jest na licencji MIT, z gramatykami przeniesionymi z NeMo-text-processing firmy NVIDIA (Apache-2.0) i danymi z Unicode CLDR.
Dubbing, który tworzysz, należy do ciebie. Sklonowany głos brzmi jak prawdziwa osoba: klonuj głosy, do których masz prawo, i informuj, że dubbing jest syntetyczny, tam gdzie to ma znaczenie.
Wersje
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
Inne dodatki: Głosy
-
Piper Offline
158 głosów offline w 49 językach, każdy jako osobne małe pobranie.
-
Kokoro Offline
54 głosy offline w dziewięciu językach, z jednego modelu 82 MB.
-
Supertonic Offline
Dziesięć głosów offline, każdy potrafi mówić wszystkimi 31 językami.
-
sanoTTS Offline
Drobne głosy offline, 28 w 14 językach, każdy poniżej 10 MB.
-
Parler-TTS Offline
Angielskie głosy podążające za opisem; 34 nazwanych mówców.
-
Qwen3-TTS Klon
Dziesięć języków, dziewięć głosów i klonowanie z 3 sekund mówcy.
-
Coqui XTTS Klon
Klonowanie głosu w 16 językach, z licencją modelu niekomercyjną.
-
F5-TTS Klon
Tylko klonowanie głosu, po angielsku i chińsku; model niekomercyjny.
-
VoxCPM2 Klon
30 języków w 48 kHz, głosem mówcy albo opisanym. Ciężki.
-
Pocket TTS Offline
Szybki i lekki, tylko procesor. 23 głosy w siedmiu językach europejskich.
-
Sopro Klon
Własny głos mówcy, szybko na procesorze. Cztery języki.
-
KittenTTS 2 Klon
Własny głos mówcy w 16 językach, na procesorze. Wagi na restrykcyjnej licencji.
-
Ming-3.0-tts Klon
7 języków w 44,1 kHz: głosy klonowane, wbudowane lub z opisu, z emocjami. Ciężki.
-
Scylla's Band Offline
Czternaście głosów w sześciu językach, lekki i szybki na procesorze. Tylko gotowe głosy.
-
Audio8 TTS Klon
Własny głos mówcy w 11 językach, także po kantońsku. Powolny na procesorze.
-
Inflect Offline
Naturalna angielska mowa z maleńkiego modelu, szybko na każdym procesorze.
-
Paradee Offline
Cztery naturalne angielskie głosy, amerykańskie i brytyjskie, z jednego modelu o rozmiarze 8,5 MB.
-
BlueTTS Klon
Hebrajski i jidysz oraz pięć innych języków. Własny głos mówcy, szybko na procesorze.
-
Chatterbox Klon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…