OmniVoice offline, klonowanie głosu, 646 języków, niekomercyjny
Dubbinguje twoje napisy w dowolnym z 646 języków za pomocą OmniVoice od k2-fsa, własnym głosem każdego mówcy, sklonowanym z wideo, nawet na inny język, albo głosem złożonym z kilku cech. Działa na twoim komputerze. Model jest przeznaczony wyłącznie do użytku niekomercyjnego.
Ustawienia Dodatki OmniVoice (offline, voice clone, 646 languages, non-commercial) Zainstaluj
Subtitld pobiera dodatek, sprawdza jego SHA-256 i utrzymuje go w aktualności.
- Języki
- 655
- Modele
- 1
- Głosy
- 12
- Pobranie dodatku
- 14–17 MB
- RAM, co najmniej
- 2.5 GB
Co robi
Od afrikaans po zulu, w tym wiele języków, w których nie mówi żaden inny dodatek, oraz regionalne odmiany między innymi arabskiego i chińskiego.
Subtitld wycina z wideo kilka sekund każdego mówcy i wysyła je razem z napisami, które w nich padają. OmniVoice klonuje ten głos i zachowuje go, także gdy dubbing jest w innym języku.
Dziesięć gotowych głosów, od dziecka po starszego mężczyznę, albo głos, który składasz z kilku cech: płeć, wiek, wysokość, angielski akcent, szept.
Model pobiera się raz, gdy pierwsza kwestia go potrzebuje. Potem nic nie opuszcza twojego komputera.
Model niekomercyjny. Wagi OmniVoice są na licencji CC-BY-NC, która nie pozwala na użytek komercyjny. Kod dodatku jest na licencji Apache-2.0, ale to nie zmienia warunków wag. Do pracy komercyjnej głosy klonują również VoxCPM2 (30 języków) i ZONOS3-Mini (43 języki), a ich wagi są na licencji Apache-2.0.
Przed instalacją
- Dysk: około 1,5 GB, głównie model o rozmiarze 1,35 GB, pobierany przy pierwszej dubbingowanej kwestii.
- Pamięć: około 2,5 GB wolnej.
- Czas: na procesorze każda sekunda mowy zajmuje kilka sekund. Na Intel Core i7-13700T kwestia własnym głosem mówcy zajmowała około 6 sekund na sekundę mowy, a pierwsza kwestia głosu złożonego z cech trwa dłużej, bo dodatek tworzy wtedy głos. Na Macu z Apple Silicon działa na GPU.
Do szybkiego dubbingu Piper lub Kokoro są znacznie lżejsze, a Piper też obsługuje wiele języków.
Głosy
W karcie Mówcy wybierz OmniVoice jako Silnik dubbingu danego mówcy, a potem Głos. Włącz Dopasuj dubbing do czasu trwania napisu, aby mówca rozciągał lub ściskał każdą kwestię do jej napisu.
12 głosów.
Głos klonowany
Z Speaker's own voice Subtitld wycina próbkę tego mówcy z dźwięku projektu, z jednego jego napisu trwającego od 3 do 12 sekund albo z kilku krótkich, połączonych, i wysyła razem z nią tekst napisu. OmniVoice potrzebuje zarówno próbki, jak i jej słów. Dubbing może być w dowolnym z jego języków, niezależnie od języka próbki. Fallback reference clip w ustawieniach dodatku, razem z jego transkrypcją, jest używany tylko wtedy, gdy nie da się wyciąć próbki.
Clone the timbre only nie działa z tym dodatkiem, bo OmniVoice nie potrafi klonować bez słów próbki. Zostaw tę opcję wyłączoną dla mówców, którzy używają OmniVoice.
Głosy złożone z cech
OmniVoice wymyśla nowy głos za każdym razem, gdy czyta zestaw cech. Dlatego dodatek tworzy głos każdego mówcy raz, jako krótkie zdanie, a każda jego kwestia używa go ponownie: głos pozostaje taki sam przez całe wideo, a dwaj mówcy z tym samym złożonym głosem nadal brzmią jak dwie osoby.
Modele
Jest jeden model, OmniVoice, z wagami zapisanymi w 8 bitach, tak jak przekonwertował go projekt audio.cpp. Nie ma go w dodatku: pobiera się do wspólnej pamięci modeli Subtitld przy pierwszym dubbingu, z Hugging Face w ustalonej rewizji, i jest sprawdzany. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku zachowuje model.
| Model | Pobranie | Dobry do |
|---|---|---|
| OmniVoice (8-bit) Domyślne omnivoice | Każdy głos, we wszystkich 646 językach |
Pierwsza kwestia także wczytuje model, więc trwa dłużej niż kolejne. Na Macu z Apple Silicon, za pierwszym razem, dodatek wypowiada też jedną krótką kwestię testową na GPU, a jeśli to nie zadziała, używa procesora. Anuluj zatrzymuje kwestię między dwoma krokami albo zatrzymuje pobieranie.
Opcje
W Ustawieniach › Dodatki › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Konfiguruj.
16Ile przebiegów OmniVoice wykonuje nad każdą kwestią. 16 jest szybkie i zachowuje każde słowo; 32, ustawienie samego OmniVoice, trwa dwa razy dłużej i jest trochę bliższe mówcy.
2Jak wiernie mowa trzyma się tekstu i głosu. 2,0 to ustawienie samego OmniVoice.
00 wybiera rdzenie wydajnościowe na procesorach, które mają też rdzenie energooszczędne. Mniej wątków sprawia, że komputer lepiej reaguje podczas dubbingu.
Dla głosu „Voice you describe”. Zostaw cechę na Any, aby OmniVoice wybrał ją sam.
Dla głosu „Voice you describe”: od dziecka do osoby starszej.
Dla głosu „Voice you describe”: od bardzo niskiego do bardzo wysokiego.
Dla głosu „Voice you describe”: akcent, z jakim mówi po angielsku, na przykład brytyjski albo indyjski.
Dla głosu „Voice you describe”: głos szepczący.
Klip dla głosu klonowanego, gdy Subtitld nie może wyciąć go z wideo, na przykład bez otwartego wideo: od 3 do 15 sekund mowy jednej osoby.
Dokładnie to, co pada w klipie zapasowym, słowo w słowo. OmniVoice klonuje z klipu i jego słów, więc bez tego klip zapasowy jest odrzucany.
Języki
Własna lista OmniVoice obejmująca 646 języków, w tym arabski, bengalski, chiński i kantoński, angielski, francuski, niemiecki, hindi, indonezyjski, japoński, koreański, perski, portugalski, rosyjski, hiszpański, suahili, turecki, urdu, wietnamski, joruba, zulu i setki języków regionalnych. Subtitld przekazuje mu język projektu; gdy go nie zna, OmniVoice rozpoznaje język z tekstu.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Platformy
| System | Pobranie | Przetestowano |
|---|---|---|
| Linux x86-64 | 17.3 MB | Dubbing prawdziwym modelem na prawdziwej maszynie i na AlmaLinux 8; w CI zainstalowany dodatek pobiera model, mówi, klonuje głos i anuluje kwestię |
| macOS (Apple silicon) | 16.6 MB | W CI zainstalowany dodatek pobiera model, mówi, klonuje głos i anuluje kwestię (Apple Silicon) |
| Windows x86-64 | 14.0 MB | W CI zainstalowany dodatek pobiera model, mówi, klonuje głos i anuluje kwestię |
Linux x86-64 (każda dystrybucja od 2018 roku, glibc 2.28 lub nowsza), macOS 13.3 lub nowszy na Apple Silicon i Windows x86-64. Każde wydanie jest budowane na wszystkich trzech, a na każdym CI instaluje dodatek, pobiera model i każe mu mówić, sklonować głos i anulować kwestię.
Rozwiązywanie problemów
network_unavailableNie udało się pobrać modelu. Sprawdź połączenie i spróbuj ponownie: pobieranie zostanie wznowione.disk_fullZa mało miejsca na dysku na model. Potrzeba około 1,5 GB wolnego miejsca.oomBrak pamięci. Zamknij inne programy; OmniVoice potrzebuje około 2,5 GB wolnej pamięci.bad_paramsKwestia nie ma tekstu, głos klonowany nie dostał próbki albo jej słów, albo głos, który opisujesz, nie ma ustawionych cech. Komunikat mówi które. Dla głosu klonowanego otwórz wideo i zostaw Clone the timbre only wyłączone.unsupported_voiceProjekt wskazuje głos, którego ta wersja nie ma. Wybierz głos ponownie w karcie Mówcy.internalCoś zawiodło wewnątrz dodatku; komunikat zawiera szczegóły.
Licencja
Dodatek i silnik audio.cpp są na licencji Apache-2.0, a ggml, na którym działa audio.cpp, jest na licencji MIT. Wagi OmniVoice od k2-fsa są na licencji CC-BY-NC: to, co nimi zdubbingujesz, nadaje się wyłącznie do użytku niekomercyjnego. Sklonowany głos brzmi jak prawdziwa osoba: klonuj tylko głosy, do których masz prawo, i informuj, że dubbing jest syntetyczny, tam gdzie to ma znaczenie.
Wersje
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Inne dodatki: Głosy
-
Piper Offline
158 głosów offline w 49 językach, każdy jako osobne małe pobranie.
-
Kokoro Offline
54 głosy offline w dziewięciu językach, z jednego modelu 82 MB.
-
Supertonic Offline
Dziesięć głosów offline, każdy potrafi mówić wszystkimi 31 językami.
-
sanoTTS Offline
Drobne głosy offline, 28 w 14 językach, każdy poniżej 10 MB.
-
Parler-TTS Offline
Angielskie głosy podążające za opisem; 34 nazwanych mówców.
-
Qwen3-TTS Klon
Dziesięć języków, dziewięć głosów i klonowanie z 3 sekund mówcy.
-
Coqui XTTS Klon
Klonowanie głosu w 16 językach, z licencją modelu niekomercyjną.
-
F5-TTS Klon
Tylko klonowanie głosu, po angielsku i chińsku; model niekomercyjny.
-
VoxCPM2 Klon
30 języków w 48 kHz, głosem mówcy albo opisanym. Ciężki.
-
Pocket TTS Offline
Szybki i lekki, tylko procesor. 23 głosy w siedmiu językach europejskich.
-
Sopro Klon
Własny głos mówcy, szybko na procesorze. Cztery języki.
-
KittenTTS 2 Klon
Własny głos mówcy w 16 językach, na procesorze. Wagi na restrykcyjnej licencji.
-
Ming-3.0-tts Klon
7 języków w 44,1 kHz: głosy klonowane, wbudowane lub z opisu, z emocjami. Ciężki.
-
Scylla's Band Offline
Czternaście głosów w sześciu językach, lekki i szybki na procesorze. Tylko gotowe głosy.
-
Audio8 TTS Klon
Własny głos mówcy w 23 językach, w tym kantońskim i arabskim. Powolny na procesorze.
-
Inflect Offline
Naturalna angielska mowa z maleńkiego modelu, szybko na każdym procesorze.
-
Paradee Offline
Cztery naturalne angielskie głosy, amerykańskie i brytyjskie, z jednego modelu o rozmiarze 8,5 MB.
-
BlueTTS Klon
Hebrajski i jidysz oraz pięć innych języków. Własny głos mówcy, szybko na procesorze.
-
ZONOS3-Mini Klon
43 języki, od arabskiego po wietnamski. Własny głos mówcy, na procesorze.
-
Reverb Klon
Siedem języków europejskich i własny głos mówcy, na procesorze; model niekomercyjny.
-
Chatterbox Klon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…