VoxMel luring, kloning suara, 2 bahasa
Mengisi suara subtitle Anda dalam bahasa Inggris dan Mandarin dengan VoxMel dari VoxDance Lab, dengan suara asli setiap pembicara yang dikloning dengan sangat mirip dari video beserta subtitlenya, atau dengan salah satu dari delapan suara bawaan. Berjalan di komputer Anda sendiri, dan add-on, model, serta suara-suaranya semuanya berlisensi Apache-2.0.
Pengaturan Pengaya VoxMel (offline, voice clone, 2 languages) Pasang
Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.
- Bahasa
- 2
- Model
- 1
- Suara
- 9
- Unduhan pengaya
- 15–19 MB
- RAM, minimal
- 2 GB
Dengarkan
Fungsinya
Subtitld memotong beberapa detik setiap pembicara dari video dan mengirimnya bersama subtitle yang diucapkan di dalamnya. VoxMel mengkloning suara itu dengan sangat mirip, dalam bahasa Inggris atau Mandarin.
Dua wanita dan dua pria untuk setiap bahasa, untuk pembicara yang tidak ingin Anda kloning. VoxMel membuatnya sendiri: tidak ada suara orang yang direkam untuknya.
Satu baris klon butuh dua sampai empat detik per detik ucapan di prosesor laptop baru.
Add-on, mesin audio.cpp, bobot VoxMel, dan suara bawaannya semuanya Apache-2.0.
Sebelum menginstal
- Disk: sekitar 1,2 GB, sebagian besar model 1,04 GB yang diunduh pada baris pertama yang Anda dubbing.
- Memori: sekitar 2 GB kosong.
- Waktu: di Intel Core i7-13700T, satu baris dengan suara asli pembicara butuh dua sampai empat detik per detik ucapan. Di Mac Apple Silicon, model berjalan di GPU.
- Bahasa: hanya bahasa Inggris dan Mandarin. Untuk bahasa lain, VoxCPM2 mengkloning suara dalam 30 bahasa dan OmniVoice dalam 646 bahasa.
Suara
Di tab Pembicara, pilih VoxMel sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya: VoxMel sendiri tidak punya kendali atas tempo.
9 suara dalam 2 bahasa.
en4zh4
Suara klon
Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya yang berdurasi 3 sampai 12 detik, atau beberapa subtitle pendek yang digabung, dan mengirim teks subtitle bersamanya. VoxMel membutuhkan sampel dan kata-katanya sekaligus. Fallback reference clip di pengaturan add-on, beserta transkripnya, hanya dipakai ketika tidak ada sampel yang bisa dipotong.
VoxMel paling baik mengkloning dalam bahasa yang sama. Dubbing bahasa Inggris untuk pembicara berbahasa Mandarin hasilnya bagus; dubbing bahasa Mandarin untuk pembicara berbahasa Inggris bisa membuat beberapa kata terdengar kurang jelas.
Clone the timbre only tidak berfungsi dengan add-on ini, karena VoxMel tidak dapat mengkloning tanpa kata-kata dari sampelnya. Biarkan nonaktif untuk pembicara yang memakai VoxMel.
Suara bawaan
Setiap suara bawaan adalah klip pendek yang dibuat VoxMel tanpa rekaman referensi apa pun, disimpan beserta kata-katanya yang persis. Setiap baris pembicara yang diberi suara bawaan mengkloning klip itu, sehingga suaranya tetap sama sepanjang video. Suara bawaan bahasa Inggris cocok untuk baris berbahasa Inggris, dan suara bawaan bahasa Mandarin untuk baris berbahasa Mandarin.
Model
Hanya ada satu model, VoxMel 0.6B dengan vocoder Vocos-nya, dengan bobot yang disimpan dalam 8 bit, sebagaimana dikonversi oleh proyek audio.cpp. Model ini tidak ada di dalam add-on: model diunduh ke cache model bersama Subtitld saat pertama kali Anda melakukan dubbing, dari Hugging Face pada revisi yang dipatok, dan diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus modelnya.
| Model | Unduhan | Cocok untuk |
|---|---|---|
| VoxMel 0.6B (8-bit) Bawaan voxmel | Semua suara, dalam bahasa Inggris dan Mandarin |
Baris pertama juga memuat model, sehingga butuh waktu lebih lama daripada baris berikutnya. Di Mac Apple Silicon, pada kali pertama, add-on juga mengucapkan satu baris uji pendek di GPU, dan memakai CPU jika itu tidak berhasil. Batal menghentikan baris di antara dua langkah, atau menghentikan unduhan.
Opsi
Di Pengaturan › Pengaya › VoxMel (offline, voice clone, 2 languages) › Atur.
32Seberapa halus VoxMel menggambar setiap momen ucapan. 32 adalah pengaturan VoxMel sendiri; lebih sedikit lebih cepat, dengan detail yang lebih sedikit.
3.5Seberapa dekat ucapan mengikuti teks. 3,5 adalah pengaturan VoxMel sendiri.
3Seberapa dekat suara klon mengikuti klipnya. 3,0 adalah pengaturan VoxMel sendiri; nilai lebih tinggi bisa terdengar lebih mirip, atau terdengar dipaksakan.
00 memilih core performa pada CPU yang juga memiliki core efisiensi. Lebih sedikit thread membuat komputer tetap lebih responsif selama dubbing.
Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: 3 sampai 15 detik satu orang berbicara.
Persis apa yang diucapkan dalam klip cadangan, kata demi kata. VoxMel mengkloning dari klip beserta kata-katanya, jadi klip cadangan ditolak tanpa teks ini.
Bahasa
Bahasa Inggris dan bahasa Mandarin. VoxMel mengenali bahasanya dari teks.
enzh
Platform
| Sistem | Unduhan | Diuji |
|---|---|---|
| Linux x86-64 | 18.8 MB | Dubbing dengan model asli di mesin sungguhan dan di AlmaLinux 8; di CI, add-on yang terinstal mengunduh model, berbicara, mengkloning suara, dan membatalkan baris |
| macOS (Apple silicon) | 18.1 MB | Di CI, add-on yang terinstal mengunduh model, berbicara, mengkloning suara, dan membatalkan baris (Apple Silicon) |
| Windows x86-64 | 15.4 MB | Di CI, add-on yang terinstal mengunduh model, berbicara, mengkloning suara, dan membatalkan baris |
Linux x86-64 (distribusi apa pun sejak 2018, glibc 2.28 atau lebih baru), macOS 13.3 atau lebih baru di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on, mengunduh model, lalu membuatnya berbicara, mengkloning suara, dan membatalkan baris.
Pemecahan masalah
network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.disk_fullRuang disk tidak cukup untuk model. Dibutuhkan sekitar 1,2 GB kosong.oomMemori habis. Tutup program lain; VoxMel butuh sekitar 2 GB kosong.bad_paramsBaris tidak memiliki teks, atau suara klon tidak mendapat sampel atau kata-kata sampelnya. Pesannya menyebutkan yang mana. Untuk suara klon, buka videonya dan biarkan Clone the timbre only nonaktif.unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.internalAda yang gagal di dalam add-on; pesannya berisi detailnya.
Lisensi
Aman untuk pekerjaan komersial: add-on, suara bawaannya, mesin audio.cpp, dan bobot VoxMel semuanya Apache-2.0, sedangkan vocoder Vocos dan ggml berlisensi MIT. Dubbing yang Anda buat adalah milik Anda. Suara klon terdengar seperti orang sungguhan: kloning hanya suara yang berhak Anda pakai, dan nyatakan bahwa dubbing itu sintetis bila hal itu penting.
Versi
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Pengaya Suara lainnya
-
Piper Luring
158 suara offline dalam 49 bahasa, masing-masing unduhan kecil tersendiri.
-
Kokoro Luring
54 suara offline dalam sembilan bahasa, semuanya dari satu model 82 MB.
-
Supertonic Luring
Sepuluh suara offline, masing-masing dapat berbicara dalam ke-31 bahasanya.
-
sanoTTS Luring
Suara offline yang kecil, 28 suara dalam 14 bahasa, masing-masing di bawah 10 MB.
-
Parler-TTS Luring
Suara bahasa Inggris yang mengikuti deskripsi tertulis; 34 pembicara bernama.
-
Qwen3-TTS Kloning
Sepuluh bahasa, sembilan suara, dan kloning dari 3 detik suara pembicara.
-
Coqui XTTS Kloning
Kloning suara dalam 16 bahasa, dengan lisensi model nonkomersial.
-
F5-TTS Kloning
Hanya kloning suara, dalam bahasa Inggris dan Mandarin; model nonkomersial.
-
VoxCPM2 Kloning
30 bahasa pada 48 kHz, dengan suara asli pembicara atau suara yang dideskripsikan. Berat.
-
Pocket TTS Luring
Cepat dan ringan, hanya CPU. 23 suara dalam tujuh bahasa Eropa.
-
Sopro Kloning
Suara asli pembicara, cepat di CPU. Empat bahasa.
-
KittenTTS 2 Kloning
Suara asli pembicara dalam 16 bahasa, di CPU. Bobot di bawah lisensi yang membatasi.
-
Ming-3.0-tts Kloning
7 bahasa pada 44,1 kHz: suara klon, bawaan, atau dari deskripsi, dengan emosi. Berat.
-
Scylla's Band Luring
Empat belas suara dalam enam bahasa, ringan dan cepat di CPU. Hanya suara siap pakai.
-
Audio8 TTS Kloning
Suara asli pembicara dalam 23 bahasa, termasuk Kanton dan Arab. Lambat di CPU.
-
Inflect Luring
Ucapan bahasa Inggris yang alami dari model mungil, cepat di CPU apa pun.
-
Paradee Luring
Empat suara bahasa Inggris yang alami, Amerika dan Inggris, dari satu model berukuran 8,5 MB.
-
BlueTTS Kloning
Ibrani dan Yiddi, ditambah lima bahasa lain. Suara asli pembicara, cepat di CPU.
-
ZONOS3-Mini Kloning
43 bahasa, dari Arab hingga Vietnam. Suara asli pembicara, di CPU.
-
Reverb Kloning
Tujuh bahasa Eropa dan suara asli pembicara, di CPU; model nonkomersial.
-
OmniVoice Kloning
646 bahasa, suara asli pembicara lintas bahasa; model nonkomersial.
-
tiny-voca Luring
Dua suara bahasa Inggris Amerika dari model dengan 4,5 juta parameter, tanpa perlu mengunduh apa pun.
-
Chatterbox Kloning
Suara asli pembicara dalam 20 bahasa, di CPU, tanpa akun.