OmniVoice luring, kloning suara, 646 bahasa, nonkomersial
Mengisi suara subtitle Anda dalam salah satu dari 646 bahasa dengan OmniVoice dari k2-fsa, dengan suara asli setiap pembicara yang dikloning dari video, bahkan ke bahasa lain, atau dengan suara yang dirancang dari beberapa ciri. Berjalan di komputer Anda sendiri. Modelnya hanya untuk penggunaan nonkomersial.
Pengaturan Pengaya OmniVoice (offline, voice clone, 646 languages, non-commercial) Pasang
Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.
- Bahasa
- 655
- Model
- 1
- Suara
- 12
- Unduhan pengaya
- 14–17 MB
- RAM, minimal
- 2.5 GB
Fungsinya
Dari Afrikaans hingga Zulu, termasuk banyak bahasa yang tidak diucapkan add-on lain, serta ragam regional bahasa Arab, Mandarin, dan lainnya.
Subtitld memotong beberapa detik setiap pembicara dari video dan mengirimnya bersama subtitle yang diucapkan di dalamnya. OmniVoice mengkloning suara itu, dan mempertahankannya ketika dubbing dibuat dalam bahasa lain.
Sepuluh suara siap pakai, dari anak-anak hingga pria tua, atau suara yang Anda susun dari beberapa ciri: jenis kelamin, usia, tinggi nada, aksen bahasa Inggris, bisikan.
Model diunduh sekali, saat pertama kali sebuah baris membutuhkannya. Setelah itu, tidak ada yang keluar dari komputer Anda.
Model nonkomersial. Bobot OmniVoice berlisensi CC-BY-NC, yang tidak mengizinkan penggunaan komersial. Kode add-on ini berlisensi Apache-2.0, tetapi itu tidak mengubah ketentuan bobotnya. Untuk pekerjaan komersial, VoxCPM2 (30 bahasa) dan ZONOS3-Mini (43 bahasa) juga mengkloning suara, dan bobot keduanya berlisensi Apache-2.0.
Sebelum menginstal
- Disk: sekitar 1,5 GB, sebagian besar model 1,35 GB yang diunduh pada baris pertama yang Anda dubbing.
- Memori: sekitar 2,5 GB kosong.
- Waktu: di CPU, setiap detik ucapan butuh beberapa detik untuk dibuat. Di Intel Core i7-13700T, satu baris dengan suara asli pembicara butuh sekitar 6 detik per detik ucapan, dan baris pertama suara rancangan butuh lebih lama, selagi add-on membuat suaranya. Di Mac Apple Silicon, model berjalan di GPU.
Untuk dubbing cepat, Piper atau Kokoro jauh lebih ringan, dan Piper juga mencakup banyak bahasa.
Suara
Di tab Pembicara, pilih OmniVoice sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya.
12 suara.
Suara klon
Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya yang berdurasi 3 sampai 12 detik, atau beberapa subtitle pendek yang digabung, dan mengirim teks subtitle bersamanya. OmniVoice membutuhkan sampel dan kata-katanya sekaligus. Dubbing bisa dibuat dalam bahasa apa pun yang didukungnya, apa pun bahasa sampelnya. Fallback reference clip di pengaturan add-on, beserta transkripnya, hanya dipakai ketika tidak ada sampel yang bisa dipotong.
Clone the timbre only tidak berfungsi dengan add-on ini, karena OmniVoice tidak dapat mengkloning tanpa kata-kata dari sampelnya. Biarkan nonaktif untuk pembicara yang memakai OmniVoice.
Suara rancangan
OmniVoice membuat suara baru setiap kali membaca sekumpulan ciri. Karena itu add-on membuat suara setiap pembicara sekali, sebagai satu kalimat pendek, dan setiap baris pembicara itu memakainya lagi: suaranya tetap sama sepanjang video, dan dua pembicara dengan suara rancangan yang sama tetap terdengar seperti dua orang.
Model
Hanya ada satu model, OmniVoice, dengan bobot yang disimpan dalam 8 bit, sebagaimana dikonversi oleh proyek audio.cpp. Model ini tidak ada di dalam add-on: model diunduh ke cache model bersama Subtitld saat pertama kali Anda melakukan dubbing, dari Hugging Face pada revisi yang dipatok, dan diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus modelnya.
| Model | Unduhan | Cocok untuk |
|---|---|---|
| OmniVoice (8-bit) Bawaan omnivoice | Semua suara, dalam ke-646 bahasa |
Baris pertama juga memuat model, sehingga butuh waktu lebih lama daripada baris berikutnya. Di Mac Apple Silicon, pada kali pertama, add-on juga mengucapkan satu baris uji pendek di GPU, dan memakai CPU jika itu tidak berhasil. Batal menghentikan baris di antara dua langkah, atau menghentikan unduhan.
Opsi
Di Pengaturan › Pengaya › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Atur.
16Berapa kali OmniVoice memproses setiap baris. 16 cepat dan tetap mempertahankan setiap kata; 32, pengaturan OmniVoice sendiri, butuh waktu dua kali lebih lama dan sedikit lebih mendekati pembicara.
2Seberapa dekat ucapan mengikuti teks dan suaranya. 2,0 adalah pengaturan OmniVoice sendiri.
00 memilih core performa pada CPU yang juga memiliki core efisiensi. Lebih sedikit thread membuat komputer tetap lebih responsif selama dubbing.
Untuk suara "Voice you describe". Biarkan sebuah ciri pada Any agar OmniVoice yang memilihnya.
Untuk suara "Voice you describe": dari anak-anak hingga lansia.
Untuk suara "Voice you describe": dari sangat rendah hingga sangat tinggi.
Untuk suara "Voice you describe": aksen yang dipakainya saat berbahasa Inggris, misalnya Inggris (British) atau India.
Untuk suara "Voice you describe": suara berbisik.
Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: 3 sampai 15 detik satu orang berbicara.
Persis apa yang diucapkan dalam klip cadangan, kata demi kata. OmniVoice mengkloning dari klip beserta kata-katanya, jadi klip cadangan ditolak tanpa teks ini.
Bahasa
Daftar 646 bahasa milik OmniVoice sendiri, termasuk Arab, Bengali, Mandarin dan Kanton, Inggris, Prancis, Jerman, Hindi, Indonesia, Jepang, Korea, Persia, Portugis, Rusia, Spanyol, Swahili, Turki, Urdu, Vietnam, Yoruba, Zulu, dan ratusan bahasa daerah. Subtitld memberitahukan bahasa proyek kepadanya; jika Subtitld tidak tahu bahasanya, OmniVoice mengenalinya dari teks.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Platform
| Sistem | Unduhan | Diuji |
|---|---|---|
| Linux x86-64 | 17.3 MB | Dubbing dengan model asli di mesin sungguhan dan di AlmaLinux 8; di CI, add-on yang terinstal mengunduh model, berbicara, mengkloning suara, dan membatalkan baris |
| macOS (Apple silicon) | 16.6 MB | Di CI, add-on yang terinstal mengunduh model, berbicara, mengkloning suara, dan membatalkan baris (Apple Silicon) |
| Windows x86-64 | 14.0 MB | Di CI, add-on yang terinstal mengunduh model, berbicara, mengkloning suara, dan membatalkan baris |
Linux x86-64 (distribusi apa pun sejak 2018, glibc 2.28 atau lebih baru), macOS 13.3 atau lebih baru di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on, mengunduh model, lalu membuatnya berbicara, mengkloning suara, dan membatalkan baris.
Pemecahan masalah
network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.disk_fullRuang disk tidak cukup untuk model. Dibutuhkan sekitar 1,5 GB kosong.oomMemori habis. Tutup program lain; OmniVoice butuh sekitar 2,5 GB kosong.bad_paramsBaris tidak memiliki teks, suara klon tidak mendapat sampel atau kata-kata sampelnya, atau suara yang Anda deskripsikan tidak memiliki ciri yang diatur. Pesannya menyebutkan yang mana. Untuk suara klon, buka videonya dan biarkan Clone the timbre only nonaktif.unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.internalAda yang gagal di dalam add-on; pesannya berisi detailnya.
Lisensi
Add-on dan mesin audio.cpp berlisensi Apache-2.0, dan ggml, yang menjadi dasar audio.cpp, berlisensi MIT. Bobot OmniVoice, oleh k2-fsa, berlisensi CC-BY-NC: apa yang Anda dubbing dengannya hanya untuk penggunaan nonkomersial. Suara klon terdengar seperti orang sungguhan: kloning hanya suara yang berhak Anda pakai, dan nyatakan bahwa dubbing itu sintetis bila hal itu penting.
Versi
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Pengaya Suara lainnya
-
Piper Luring
158 suara offline dalam 49 bahasa, masing-masing unduhan kecil tersendiri.
-
Kokoro Luring
54 suara offline dalam sembilan bahasa, semuanya dari satu model 82 MB.
-
Supertonic Luring
Sepuluh suara offline, masing-masing dapat berbicara dalam ke-31 bahasanya.
-
sanoTTS Luring
Suara offline yang kecil, 28 suara dalam 14 bahasa, masing-masing di bawah 10 MB.
-
Parler-TTS Luring
Suara bahasa Inggris yang mengikuti deskripsi tertulis; 34 pembicara bernama.
-
Qwen3-TTS Kloning
Sepuluh bahasa, sembilan suara, dan kloning dari 3 detik suara pembicara.
-
Coqui XTTS Kloning
Kloning suara dalam 16 bahasa, dengan lisensi model nonkomersial.
-
F5-TTS Kloning
Hanya kloning suara, dalam bahasa Inggris dan Mandarin; model nonkomersial.
-
VoxCPM2 Kloning
30 bahasa pada 48 kHz, dengan suara asli pembicara atau suara yang dideskripsikan. Berat.
-
Pocket TTS Luring
Cepat dan ringan, hanya CPU. 23 suara dalam tujuh bahasa Eropa.
-
Sopro Kloning
Suara asli pembicara, cepat di CPU. Empat bahasa.
-
KittenTTS 2 Kloning
Suara asli pembicara dalam 16 bahasa, di CPU. Bobot di bawah lisensi yang membatasi.
-
Ming-3.0-tts Kloning
7 bahasa pada 44,1 kHz: suara klon, bawaan, atau dari deskripsi, dengan emosi. Berat.
-
Scylla's Band Luring
Empat belas suara dalam enam bahasa, ringan dan cepat di CPU. Hanya suara siap pakai.
-
Audio8 TTS Kloning
Suara asli pembicara dalam 23 bahasa, termasuk Kanton dan Arab. Lambat di CPU.
-
Inflect Luring
Ucapan bahasa Inggris yang alami dari model mungil, cepat di CPU apa pun.
-
Paradee Luring
Empat suara bahasa Inggris yang alami, Amerika dan Inggris, dari satu model berukuran 8,5 MB.
-
BlueTTS Kloning
Ibrani dan Yiddi, ditambah lima bahasa lain. Suara asli pembicara, cepat di CPU.
-
ZONOS3-Mini Kloning
43 bahasa, dari Arab hingga Vietnam. Suara asli pembicara, di CPU.
-
Reverb Kloning
Tujuh bahasa Eropa dan suara asli pembicara, di CPU; model nonkomersial.
-
Chatterbox Kloning
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…