ZONOS3-Mini offline, klonowanie głosu, 43 języki

GłosyOfflineTylko CPUKlonowanie głosuUżycie komercyjne dozwolone

Dubbinguje twoje napisy w 43 językach za pomocą ZONOS3-Mini firmy Zyphra, jednym z 27 głosów albo własnym głosem każdego mówcy, sklonowanym z kilku sekund wideo. Działa na procesorze twojego komputera, mniej więcej dwa razy szybciej niż w czasie rzeczywistym, bez karty graficznej.

Zainstaluj z poziomu Subtitld

Ustawienia Dodatki ZONOS3-Mini (offline, voice clone, 43 languages) Zainstaluj

Subtitld pobiera dodatek, sprawdza jego SHA-256 i utrzymuje go w aktualności.

Źródło na GitHub
Języki
43
Modele
2
Głosy
28
Pobranie dodatku
19–24 MB
RAM, co najmniej
2 GB

Co robi

43 języki

Od arabskiego, bengalskiego i bułgarskiego po turecki, urdu i wietnamski, w tym japoński, koreański, mandaryński, hindi i osiem innych języków Indii. Liczby, daty, ceny i jednostki są czytane zgodnie z gramatyką danego języka.

Własny głos mówcy

Subtitld wycina z wideo próbkę każdego mówcy i wysyła ją z każdą kwestią. ZONOS3-Mini klonuje ten głos w każdym ze swoich języków. Możesz też wybrać jeden z 27 głosów.

Kwestie kończą się tam, gdzie tekst

Każda kwestia jest sprawdzana w trakcie mówienia, więc żadne słowa nie są pomijane, i kończy się, gdy tekst zostanie przeczytany, zamiast ciągnąć się dalej słowami, których nie ma w napisie.

Offline po pierwszej kwestii

Model pobiera się raz, gdy pierwsza kwestia go potrzebuje. Potem nic nie opuszcza twojego komputera.

Przed instalacją

  • Dysk: 1115 MB na model, pobierany przy pierwszej kwestii, i 45 MB więcej przy pierwszym użyciu własnego głosu mówcy.
  • Pamięć: około 1,6 GB podczas mówienia.
  • Czas: na procesorze Intel Core i7-13700T wytworzenie sekundy mowy zajmuje około pół sekundy. Pierwsza kwestia czeka około 4 sekund dłużej, aż wczyta się model, a pierwsza kwestia własnym głosem mówcy około 5 sekund dłużej, aż głos zostanie wyuczony.
  • Procesor: 64-bitowy procesor Intel lub AMD z AVX2 (Intel od 2013 roku, AMD od 2015 roku) albo Apple Silicon. Karta graficzna nie jest używana.

Głosy

W karcie Mówcy wybierz ZONOS3-Mini jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.

28 głosów.

Język nagrania Kobiety Mężczyźni
Angielski Imogen (brytyjska), Morgana (czarownica), Sakura (anime), Savannah (amerykańska), Willow (ASMR) Cillian (irlandzki), Jett (energiczny), Rupert (brytyjski), Thaddeus (spiker), Wyatt (amerykański)
Francuski Gaspard
Niemiecki Liesel Wolfgang
Hindi Ananya Arjun
Włoski Ginevra Lorenzo
Koreański Seoyeon Minjun
Mandaryński Meilin (energiczna) Haoran (energiczny)
Portugalski Leonor Thiago
Hiszpański Ximena Rodrigo
Telugu Sravya Chaitanya

To domyślne głosy samej firmy Zyphra. Każdy głos mówi w każdym języku, ale z akcentem języka, w którym został nagrany, a w innym języku ten akcent może być silny: angielski głos mówiący po rosyjsku trudno zrozumieć. Dla języka, który nie ma tu własnego głosu, użyj własnego głosu mówcy.

Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu albo z kilku krótkich, połączonych. Jeśli dla tego wideo oddzieliłeś muzykę od głosu, próbka pochodzi tylko z głosu. Fallback reference clip w ustawieniach dodatku jest używany tylko wtedy, gdy nie da się wyciąć próbki.

ZONOS3-Mini słucha do minuty próbki i kopiuje głos, a nie słowa ani sposób mówienia. Najlepsza próbka to czysta mowa blisko mikrofonu: szum i pogłos sprawiają, że klon mniej przypomina mówcę, a nagranie z telefonu daje głos brzmiący jak z telefonu.

Modele

Modelu nie ma w dodatku: pobiera się do wspólnej pamięci modeli Subtitld, gdy pierwsza kwestia go potrzebuje, z repozytorium firmy Zyphra na Hugging Face w ustalonej rewizji, z każdym plikiem sprawdzonym. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku go zachowuje.

Model PobranieDobry do
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Domyślne zonos3-mini
1.1 GB
Każda kwestia, w każdym języku i każdym głosem
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
Własny głos mówcy, przy pierwszym dubbingu takim głosem

Dodatek uruchamia własne środowisko ggml firmy Zyphra, ten sam kod co lokalny serwer Zyphry, wbudowane w dodatek bez PyTorch.

Pozostawiony sam sobie model czasem mówi dalej po krótkiej kwestii, dodając kilka słów, których nie ma w napisie. Dlatego każda kwestia przechodzi przez LACI, sprawdzanie wyrównania od Zyphry: śledzi ono, która część tekstu jest wypowiadana, powtarza pominięty lub zablokowany fragment i kończy kwestię, gdy tekst zostanie przeczytany. Następnie dodatek przycina kwestię przy pierwszej ciszy po tym punkcie. To przycięcie jest regułą samego dodatku, a nie Zyphry. W naszym teście krótkich kwestii z napisów 61 z 64 wyszło w ten sposób czysto, wobec 37 z 64 bez tego. Kwestia, która wyjdzie cicha, jest tworzona ponownie.

Opcje

W Ustawieniach › Dodatki › ZONOS3-Mini (offline, voice clone, 43 languages) › Konfiguruj.

CPU threads
Domyślnie: 0

0 używa procesorów logicznych komputera, najwyżej 8. Więcej rzadko jest szybciej; mniej sprawia, że komputer lepiej reaguje podczas dubbingu.

Fallback reference clip
Domyślnie: pusty

Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: od 5 do 20 sekund mowy jednej osoby, czysty, nie nagranie z telefonu.

Języki

Arabski, bengalski, bułgarski, chiński (mandaryński), czeski, duński, niderlandzki, angielski, fiński, francuski, gruziński, niemiecki, grecki, gudźarati, hebrajski, hindi, węgierski, indonezyjski, włoski, japoński, kannada, koreański, malajski, malajalam, marathi, norweski, orija, polski, portugalski, pendżabski, rumuński, rosyjski, słowacki, hiszpański, szwedzki, tagalski, tamilski, telugu, tajski, turecki, ukraiński, urdu i wietnamski. Projekt w innym języku dostaje komunikat, który to mówi: wybierz dla niego inny silnik dubbingu.

Angielski zależy od regionu projektu: Wielka Brytania, Irlandia, Australia, Nowa Zelandia, Republika Południowej Afryki i Indie dostają brytyjski angielski, każdy inny region amerykański angielski. Portugalski jest czytany jako brazylijski portugalski, a francuski jako francuski z Francji.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Platformy

System PobraniePrzetestowano
Linux x86-64 19.0 MBDubbing prawdziwym modelem z archiwum wydania na AlmaLinux 8 i w CI
macOS (Apple silicon) 24.0 MBDubbing prawdziwym modelem w CI (Apple Silicon)
Windows x86-64 18.5 MBDubbing prawdziwym modelem w CI

Linux x86-64, macOS na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera model i robi dubbing kwestii w sześciu językach, krótkiej kwestii i głosu klonowanego.

Rozwiązywanie problemów

  • network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.
  • disk_fullZa mało miejsca na dysku na model: 1115 MB i 45 MB więcej na własny głos mówcy.
  • unsupported_languageJęzyk projektu nie jest jednym z 43 albo nie jest ustawiony. Ustaw go w projekcie albo wybierz inny silnik dubbingu.
  • unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.
  • bad_paramsKwestia nie ma tekstu albo głos klonowany nie dostał próbki: otwórz wideo albo ustaw Fallback reference clip. Komunikat mówi które.
  • out_of_memoryKomputerowi zabrakło pamięci. Zamknij inne programy: ZONOS3-Mini potrzebuje około 2 GB wolnej pamięci.
  • internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły. Na starszym procesorze bez AVX2 komunikat to mówi.

Licencja

Dodatek
Apache-2.0
Silnik
MIT
Środowisko uruchomieniowe ZONOS3-Mini firmy Zyphra, z ggml
Model
Apache-2.0
Wagi ZONOS3-Mini firmy Zyphra
Głosy
Apache-2.0
Domyślne głosy firmy Zyphra
Czytanie tekstu
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm, z gramatykami przeniesionymi z NeMo-text-processing firmy NVIDIA i danymi z Unicode CLDR

Dodatek jest na licencji Apache-2.0. Wagi ZONOS3-Mini i jego domyślne głosy są na licencji Apache-2.0, a środowisko uruchomieniowe Zyphry na licencji MIT, więc praca komercyjna jest dozwolona. Czytanie tekstu, zyphra-textnorm, jest na licencji MIT, z gramatykami przeniesionymi z NeMo-text-processing firmy NVIDIA (Apache-2.0) i danymi z Unicode CLDR.

Dubbing, który tworzysz, należy do ciebie. Sklonowany głos brzmi jak prawdziwa osoba: klonuj głosy, do których masz prawo, i informuj, że dubbing jest syntetyczny, tam gdzie to ma znaczenie.

Wersje

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Inne dodatki: Głosy

Zaktualizowano · Z katalogu dodatków Zgłoś problem z tym dodatkiem