ZONOS3-Mini luring, kloning suara, 43 bahasa
Mengisi suara subtitle Anda dalam 43 bahasa dengan ZONOS3-Mini karya Zyphra, dengan salah satu dari 27 suara atau dengan suara asli setiap pembicara yang dikloning dari beberapa detik video. Berjalan di prosesor komputer Anda sendiri, sekitar dua kali lebih cepat daripada waktu nyata, tanpa kartu grafis.
Pengaturan Pengaya ZONOS3-Mini (offline, voice clone, 43 languages) Pasang
Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.
- Bahasa
- 43
- Model
- 2
- Suara
- 28
- Unduhan pengaya
- 19–24 MB
- RAM, minimal
- 2 GB
Fungsinya
Dari Arab, Bengali, dan Bulgaria hingga Turki, Urdu, dan Vietnam, termasuk Jepang, Korea, Mandarin, Hindi, dan delapan bahasa India lainnya. Angka, tanggal, harga, dan satuan dibaca menurut tata bahasa masing-masing bahasa.
Subtitld memotong sampel setiap pembicara dari video dan mengirimnya bersama setiap baris. ZONOS3-Mini mengkloning suara itu dalam bahasa mana pun yang didukungnya. Atau pilih salah satu dari 27 suara.
Setiap baris diperiksa selagi diucapkan, sehingga tidak ada kata yang terlewat, dan baris berhenti saat teksnya selesai dibaca alih-alih berlanjut dengan kata-kata yang tidak ada di subtitle.
Model diunduh sekali, saat pertama kali sebuah baris membutuhkannya. Setelah itu, tidak ada yang keluar dari komputer Anda.
Sebelum menginstal
- Disk: 1.115 MB untuk model, diunduh pada baris pertama, dan 45 MB lagi saat pertama kali Anda memakai suara asli pembicara.
- Memori: sekitar 1,6 GB saat berbicara.
- Waktu: di Intel Core i7-13700T, satu detik ucapan butuh sekitar setengah detik untuk dibuat. Baris pertama menunggu sekitar 4 detik lebih lama selagi model dimuat, dan baris pertama dengan suara asli pembicara sekitar 5 detik lebih lama selagi suaranya dipelajari.
- Prosesor: prosesor Intel atau AMD 64-bit dengan AVX2 (Intel sejak 2013, AMD sejak 2015), atau Apple Silicon. Kartu grafis tidak dipakai.
Suara
Di tab Pembicara, pilih ZONOS3-Mini sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya.
28 suara.
| Direkam dalam | Wanita | Pria |
|---|---|---|
| Inggris | Imogen (Britania), Morgana (penyihir), Sakura (anime), Savannah (Amerika), Willow (ASMR) | Cillian (Irlandia), Jett (energik), Rupert (Britania), Thaddeus (penyiar), Wyatt (Amerika) |
| Prancis | Gaspard | |
| Jerman | Liesel | Wolfgang |
| Hindi | Ananya | Arjun |
| Italia | Ginevra | Lorenzo |
| Korea | Seoyeon | Minjun |
| Mandarin | Meilin (energik) | Haoran (energik) |
| Portugis | Leonor | Thiago |
| Spanyol | Ximena | Rodrigo |
| Telugu | Sravya | Chaitanya |
Ini adalah suara bawaan Zyphra sendiri. Setiap suara berbicara dalam semua bahasa, tetapi dengan aksen bahasa tempat suara itu direkam, dan dalam bahasa lain aksen itu bisa kuat: suara Inggris yang berbicara bahasa Rusia sulit diikuti. Untuk bahasa yang tidak punya suara sendiri di sini, pakai suara asli pembicara.
Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya atau beberapa subtitle pendek yang digabung. Jika Anda sudah memisahkan musik dari suara untuk video ini, sampelnya diambil dari suara saja. Fallback reference clip di pengaturan add-on hanya dipakai ketika tidak ada sampel yang bisa dipotong.
ZONOS3-Mini mendengarkan hingga satu menit sampel dan meniru suaranya, bukan kata-katanya atau cara mengucapkannya. Sampel terbaik adalah ucapan bersih yang dekat dengan mikrofon: bising dan gema membuat klon kurang mirip dengan pembicara, dan rekaman ponsel menghasilkan suara yang terdengar seperti dari telepon.
Model
Model tidak ada di dalam add-on: model diunduh ke cache model bersama Subtitld saat pertama kali sebuah baris membutuhkannya, dari repositori Hugging Face milik Zyphra pada revisi yang dipatok, dengan setiap berkas diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus model itu.
| Model | Unduhan | Cocok untuk |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Bawaan zonos3-mini | Setiap baris, dalam setiap bahasa dan suara | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | Suara asli pembicara, saat pertama kali Anda melakukan dubbing dengannya |
Add-on ini menjalankan runtime ggml milik Zyphra sendiri, kode yang sama dengan server lokal Zyphra, yang dibangun ke dalam add-on tanpa PyTorch.
Jika dibiarkan, model kadang terus berbicara setelah baris pendek, menambahkan beberapa kata yang tidak ada di subtitle. Karena itu setiap baris dijalankan dengan LACI, pemeriksaan penyelarasan milik Zyphra: LACI mengikuti bagian teks mana yang sedang diucapkan, mengulang bagian yang terlewat atau macet, dan menghentikan baris begitu teksnya selesai dibaca. Add-on lalu memotong baris pada jeda hening pertama setelah titik itu. Pemotongan itu adalah aturan add-on sendiri, bukan aturan Zyphra. Dalam pengujian kami dengan baris subtitle pendek, 61 dari 64 baris keluar bersih dengan cara ini, dibandingkan 37 dari 64 tanpanya. Baris yang keluar tanpa suara dibuat ulang.
Opsi
Di Pengaturan › Pengaya › ZONOS3-Mini (offline, voice clone, 43 languages) › Atur.
00 memakai prosesor logis komputer, paling banyak 8. Lebih banyak jarang lebih cepat; lebih sedikit membuat komputer tetap lebih responsif selama dubbing.
Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: 5 sampai 20 detik satu orang berbicara, bersih, bukan rekaman ponsel.
Bahasa
Arab, Bengali, Bulgaria, Tionghoa (Mandarin), Ceko, Denmark, Belanda, Inggris, Finlandia, Prancis, Georgia, Jerman, Yunani, Gujarati, Ibrani, Hindi, Hungaria, Indonesia, Italia, Jepang, Kannada, Korea, Melayu, Malayalam, Marathi, Norwegia, Odia, Polandia, Portugis, Punjabi, Rumania, Rusia, Slowakia, Spanyol, Swedia, Tagalog, Tamil, Telugu, Thai, Turki, Ukraina, Urdu, dan Vietnam. Proyek dalam bahasa lain akan mendapat pesan yang menyebutkan hal itu: pilih mesin dubbing lain untuk proyek tersebut.
Bahasa Inggris mengikuti wilayah proyek: Britania Raya, Irlandia, Australia, Selandia Baru, Afrika Selatan, dan India mendapat bahasa Inggris Britania, wilayah lain mana pun mendapat bahasa Inggris Amerika. Bahasa Portugis dibaca sebagai Portugis Brasil, dan bahasa Prancis sebagai Prancis dari Prancis.
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
Platform
| Sistem | Unduhan | Diuji |
|---|---|---|
| Linux x86-64 | 19.0 MB | Dubbing dengan model asli dari arsip rilis di AlmaLinux 8, dan di CI |
| macOS (Apple silicon) | 24.0 MB | Dubbing dengan model asli di CI (Apple Silicon) |
| Windows x86-64 | 18.5 MB | Dubbing dengan model asli di CI |
Linux x86-64, macOS di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on seperti yang dilakukan Subtitld, mengunduh model, lalu melakukan dubbing baris dalam enam bahasa, satu baris pendek, dan satu suara klon.
Pemecahan masalah
network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.disk_fullRuang disk tidak cukup untuk model: 1.115 MB, dan 45 MB lagi untuk suara asli pembicara.unsupported_languageBahasa proyek bukan salah satu dari ke-43 bahasa itu, atau belum diatur. Atur bahasanya di proyek, atau pilih mesin dubbing lain.unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.bad_paramsBaris tidak memiliki teks, atau suara klon tidak mendapat sampel: buka videonya, atau atur Fallback reference clip. Pesannya menyebutkan yang mana.out_of_memoryMemori komputer habis. Tutup program lain: ZONOS3-Mini butuh sekitar 2 GB memori kosong.internalAda yang gagal di dalam add-on; pesannya berisi detailnya. Pada prosesor lama tanpa AVX2, pesannya menyebutkan hal itu.
Lisensi
Add-on ini berlisensi Apache-2.0. Bobot ZONOS3-Mini dan suara bawaannya berlisensi Apache-2.0, dan runtime Zyphra berlisensi MIT, jadi pekerjaan komersial diizinkan. Pembacaan teks, zyphra-textnorm, berlisensi MIT, dengan tata bahasa yang di-porting dari NeMo-text-processing milik NVIDIA (Apache-2.0) dan data dari Unicode CLDR.
Dubbing yang Anda buat adalah milik Anda. Suara klon terdengar seperti orang sungguhan: kloning hanya suara yang berhak Anda pakai, dan sebutkan bahwa dubbing itu sintetis bila hal itu penting.
Versi
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
Pengaya Suara lainnya
-
Piper Luring
158 suara offline dalam 49 bahasa, masing-masing unduhan kecil tersendiri.
-
Kokoro Luring
54 suara offline dalam sembilan bahasa, semuanya dari satu model 82 MB.
-
Supertonic Luring
Sepuluh suara offline, masing-masing dapat berbicara dalam ke-31 bahasanya.
-
sanoTTS Luring
Suara offline yang kecil, 28 suara dalam 14 bahasa, masing-masing di bawah 10 MB.
-
Parler-TTS Luring
Suara bahasa Inggris yang mengikuti deskripsi tertulis; 34 pembicara bernama.
-
Qwen3-TTS Kloning
Sepuluh bahasa, sembilan suara, dan kloning dari 3 detik suara pembicara.
-
Coqui XTTS Kloning
Kloning suara dalam 16 bahasa, dengan lisensi model nonkomersial.
-
F5-TTS Kloning
Hanya kloning suara, dalam bahasa Inggris dan Mandarin; model nonkomersial.
-
VoxCPM2 Kloning
30 bahasa pada 48 kHz, dengan suara asli pembicara atau suara yang dideskripsikan. Berat.
-
Pocket TTS Luring
Cepat dan ringan, hanya CPU. 23 suara dalam tujuh bahasa Eropa.
-
Sopro Kloning
Suara asli pembicara, cepat di CPU. Empat bahasa.
-
KittenTTS 2 Kloning
Suara asli pembicara dalam 16 bahasa, di CPU. Bobot di bawah lisensi yang membatasi.
-
Ming-3.0-tts Kloning
7 bahasa pada 44,1 kHz: suara klon, bawaan, atau dari deskripsi, dengan emosi. Berat.
-
Scylla's Band Luring
Empat belas suara dalam enam bahasa, ringan dan cepat di CPU. Hanya suara siap pakai.
-
Audio8 TTS Kloning
Suara asli pembicara dalam 11 bahasa, termasuk Kanton. Lambat di CPU.
-
Inflect Luring
Ucapan bahasa Inggris yang alami dari model mungil, cepat di CPU apa pun.
-
Paradee Luring
Empat suara bahasa Inggris yang alami, Amerika dan Inggris, dari satu model berukuran 8,5 MB.
-
BlueTTS Kloning
Ibrani dan Yiddi, ditambah lima bahasa lain. Suara asli pembicara, cepat di CPU.
-
Chatterbox Kloning
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…