OmniVoice çevrimdışı, ses klonlama, 646 dil, ticari olmayan
Altyazılarınızı k2-fsa'nın OmniVoice'uyla 646 dilden herhangi birinde seslendirir: her konuşmacının videodan klonlanan kendi sesiyle, başka bir dile bile, ya da birkaç özellikten tasarlanan bir sesle. Kendi bilgisayarınızda çalışır. Model yalnızca ticari olmayan kullanım içindir.
Ayarlar Eklentiler OmniVoice (offline, voice clone, 646 languages, non-commercial) Yükle
Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.
- Diller
- 655
- Modeller
- 1
- Sesler
- 12
- Eklenti indirmesi
- 14–17 MB
- En az RAM
- 2.5 GB
Ne yapar
Afrikaancadan Zuluya kadar, başka hiçbir eklentinin konuşmadığı birçok dille ve Arapça, Çince ve başka dillerin bölgesel çeşitleriyle.
Subtitld her konuşmacının videodan birkaç saniyesini keser ve içinde konuşulan altyazılarla birlikte gönderir. OmniVoice o sesi klonlar ve dublaj başka bir dilde olduğunda da korur.
Bir çocuktan yaşlı bir adama kadar on hazır ses ya da birkaç özellikten kendi oluşturduğunuz bir ses: cinsiyet, yaş, perde, bir İngilizce aksanı, fısıltı.
Model bir kez, bir satır ona ilk kez ihtiyaç duyduğunda iner. Bundan sonra hiçbir şey bilgisayarınızdan dışarı çıkmaz.
Ticari olmayan model. OmniVoice ağırlıkları CC-BY-NC altındadır ve bu lisans ticari kullanıma izin vermez. Eklentinin kodu Apache-2.0'dır, ama bu ağırlıkların koşullarını değiştirmez. Ticari işler için VoxCPM2 (30 dil) ve ZONOS3-Mini (43 dil) de ses klonlar ve ağırlıkları Apache-2.0'dır.
Kurmadan önce
- Disk: yaklaşık 1,5 GB, çoğu seslendirdiğiniz ilk satırda inen 1,35 GB'lık model.
- Bellek: yaklaşık 2,5 GB boş.
- Süre: CPU'da konuşmanın her saniyesi birkaç saniyede üretilir. Intel Core i7-13700T'de konuşmacının kendi sesindeki bir satır, konuşmanın her saniyesi için yaklaşık 6 saniye sürdü; tasarlanmış bir sesin ilk satırı ise eklenti sesi oluştururken daha uzun sürer. Apple Silicon bir Mac'te GPU'da çalışır.
Hızlı dublaj için Piper ya da Kokoro çok daha hafiftir; Piper da birçok dili kapsar.
Sesler
Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak OmniVoice'u seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın.
12 ses.
Klonlanan ses
Speaker's own voice ile Subtitld projenin sesinden o konuşmacının bir örneğini keser (3 ila 12 saniyelik altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan) ve altyazı metnini de onunla birlikte gönderir. OmniVoice'un hem örneğe hem de onun sözcüklerine ihtiyacı vardır. Örnek hangi dilde olursa olsun, dublaj onun dillerinden herhangi birinde olabilir. Eklentinin ayarlarındaki Fallback reference clip, yazıya dökümüyle birlikte, yalnızca bir örnek kesilemediğinde kullanılır.
Clone the timbre only bu eklentiyle çalışmaz, çünkü OmniVoice örneğin sözcükleri olmadan klonlayamaz. OmniVoice kullanan konuşmacılar için bu seçeneği kapalı bırakın.
Tasarlanmış sesler
OmniVoice bir özellik takımını her okuduğunda yeni bir ses oluşturur. Bu yüzden eklenti her konuşmacının sesini kısa bir cümle olarak bir kez oluşturur ve o konuşmacının her satırı onu yeniden kullanır: ses video boyunca aynı kalır ve aynı tasarlanmış sesi alan iki konuşmacı yine de iki ayrı kişi gibi duyulur.
Modeller
Tek bir model var: OmniVoice; ağırlıkları, audio.cpp projesinin dönüştürdüğü biçimde 8 bitle saklanır. Eklentinin içinde değildir: ilk seslendirmede Hugging Face'ten sabitlenmiş bir sürümle Subtitld'nin paylaşılan model önbelleğine iner ve denetlenir. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak modeli tutar.
| Model | İndirme | Uygun olduğu |
|---|---|---|
| OmniVoice (8-bit) Varsayılan omnivoice | Her ses, 646 dilin tamamında |
İlk satır modeli de yükler, bu yüzden sonrakilerden daha uzun sürer. Apple Silicon bir Mac'te, ilk seferde, eklenti ayrıca GPU'da kısa bir deneme satırı söyler ve bu işe yaramazsa CPU'yu kullanır. İptal, bir satırı iki adım arasında ya da indirmeyi durdurur.
Seçenekler
Ayarlar › Eklentiler › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Yapılandır bölümünde.
16OmniVoice'un her satır üzerinden kaç geçiş yaptığı. 16 hızlıdır ve her sözcüğü korur; OmniVoice'un kendi ayarı olan 32 iki kat uzun sürer ve konuşmacıya biraz daha yaklaşır.
2Konuşmanın metne ve sese ne kadar sıkı uyduğu. 2,0, OmniVoice'un kendi ayarıdır.
00, verimlilik çekirdekleri de olan CPU'larda performans çekirdeklerini seçer. Daha az iş parçacığı, seslendirme sırasında bilgisayarı daha duyarlı tutar.
"Voice you describe" sesi için. Bir özelliği OmniVoice'un seçmesi için Any'de bırakın.
"Voice you describe" sesi için: çocuktan yaşlıya.
"Voice you describe" sesi için: çok pesten çok tize.
"Voice you describe" sesi için: İngilizceyi konuştuğu aksan, örneğin İngiliz ya da Hint aksanı.
"Voice you describe" sesi için: fısıltılı bir ses.
Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu 3 ila 15 saniye.
Yedek klipte söylenenin tam olarak kendisi, sözcüğü sözcüğüne. OmniVoice klipten ve sözcüklerinden klonlar, bu yüzden bu metin olmadan yedek klip reddedilir.
Diller
OmniVoice'un kendi 646 dillik listesi: aralarında Arapça, Bengalce, Çince ve Kantonca, İngilizce, Fransızca, Almanca, Hintçe, Endonezce, Japonca, Korece, Farsça, Portekizce, Rusça, İspanyolca, Svahili, Türkçe, Urduca, Vietnamca, Yorubaca, Zuluca ve yüzlerce bölgesel dil var. Subtitld ona projenin dilini söyler; dili bilmediğinde OmniVoice onu metinden anlar.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Platformlar
| Sistem | İndirme | Test edildi |
|---|---|---|
| Linux x86-64 | 17.3 MB | Gerçek bir makinede ve AlmaLinux 8'de gerçek modelle seslendirildi; CI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder |
| macOS (Apple silicon) | 16.6 MB | CI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder (Apple Silicon) |
| Windows x86-64 | 14.0 MB | CI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder |
Linux x86-64 (2018'den bu yana herhangi bir dağıtım, glibc 2.28 ya da daha yenisi), Apple Silicon'da macOS 13.3 ya da daha yenisi ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi kurar, modeli indirir ve ona konuşturur, bir ses klonlatır ve bir satırı iptal ettirir.
Sorun giderme
network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.disk_fullModel için yeterli disk alanı yok. Yaklaşık 1,5 GB boş alan gerekir.oomBellek yetersiz. Diğer programları kapatın; OmniVoice yaklaşık 2,5 GB boş bellek ister.bad_paramsSatırın metni yok, klon ses bir örnek ya da onunla birlikte sözcükler alamadı veya tarif ettiğiniz seste hiçbir özellik ayarlanmamış. Mesaj hangisi olduğunu söyler. Klon ses için videoyu açın ve Clone the timbre only seçeneğini kapalı bırakın.unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda.
Lisans
Eklenti ve audio.cpp motoru Apache-2.0; audio.cpp'nin üzerinde çalıştığı ggml ise MIT. k2-fsa'nın OmniVoice ağırlıkları CC-BY-NC'dir: onlarla yaptığınız dublajlar yalnızca ticari olmayan kullanım içindir. Klonlanan bir ses gerçek bir kişi gibi duyulur: yalnızca kullanma hakkınız olan sesleri klonlayın ve önemli olduğu yerde dublajın yapay olduğunu belirtin.
Sürümler
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Diğer Sesler eklentileri
-
Piper Çevrimdışı
49 dilde 158 çevrimdışı ses, her biri ayrı küçük bir indirme.
-
Kokoro Çevrimdışı
54 çevrimdışı ses, dokuz dilde; hepsi tek bir 82 MB modelden.
-
Supertonic Çevrimdışı
On çevrimdışı ses; her biri 31 dilin tamamını konuşabilir.
-
sanoTTS Çevrimdışı
Küçük çevrimdışı sesler, 14 dilde 28 tane; her biri 10 MB'ın altında.
-
Parler-TTS Çevrimdışı
Yazılı bir betimlemeyi izleyen İngilizce sesler; 34 adlandırılmış konuşmacı.
-
Qwen3-TTS Klon
On dil, dokuz ses ve 3 saniyeden konuşmacı klonlama.
-
Coqui XTTS Klon
On altı dilde ses klonlama; ticari olmayan model lisansı.
-
F5-TTS Klon
Yalnızca ses klonlama; İngilizce ve Çince; ticari olmayan model.
-
VoxCPM2 Klon
48 kHz'de 30 dil, konuşmacının kendi sesiyle ya da tarif edilen bir sesle. Ağır.
-
Pocket TTS Çevrimdışı
Hızlı ve hafif, yalnızca CPU. Yedi Avrupa dilinde 23 ses.
-
Sopro Klon
Konuşmacının kendi sesi, CPU'da hızlı. Dört dil.
-
KittenTTS 2 Klon
Konuşmacının kendi sesi 16 dilde, CPU'da. Ağırlıklar kısıtlayıcı bir lisans altında.
-
Ming-3.0-tts Klon
44,1 kHz'de 7 dil: klonlanan, yerleşik ya da tarif edilen sesler, duyguyla. Ağır.
-
Scylla's Band Çevrimdışı
Altı dilde on dört ses, CPU'da hafif ve hızlı. Yalnızca hazır sesler.
-
Audio8 TTS Klon
Kantonca ve Arapça dahil 23 dilde konuşmacının kendi sesi. CPU'da yavaş.
-
Inflect Çevrimdışı
Minicik bir modelden doğal İngilizce konuşma, her CPU'da hızlı.
-
Paradee Çevrimdışı
Tek bir 8,5 MB'lık modelden Amerikan ve İngiliz aksanlı dört doğal İngilizce ses.
-
BlueTTS Klon
İbranice ve Yidiş, artı beş dil daha. Konuşmacının kendi sesi, CPU'da hızlı.
-
ZONOS3-Mini Klon
Arapçadan Vietnamcaya 43 dil. Konuşmacının kendi sesi, CPU'da.
-
Reverb Klon
Yedi Avrupa dili ve konuşmacının kendi sesi, CPU'da; ticari olmayan model.
-
Chatterbox Klon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…