VoxMel luring, kloning suara, 2 bahasa

SuaraLuringGPU opsionalKloning suaraBoleh untuk komersial

Mengisi suara subtitle Anda dalam bahasa Inggris dan Mandarin dengan VoxMel dari VoxDance Lab, dengan suara asli setiap pembicara yang dikloning dengan sangat mirip dari video beserta subtitlenya, atau dengan salah satu dari delapan suara bawaan. Berjalan di komputer Anda sendiri, dan add-on, model, serta suara-suaranya semuanya berlisensi Apache-2.0.

Pasang dari Subtitld

Pengaturan Pengaya VoxMel (offline, voice clone, 2 languages) Pasang

Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.

Sumber di GitHub
Bahasa
2
Model
1
Suara
9
Unduhan pengaya
15–19 MB
RAM, minimal
2 GB

Dengarkan

Fungsinya

Klon yang sangat mirip

Subtitld memotong beberapa detik setiap pembicara dari video dan mengirimnya bersama subtitle yang diucapkan di dalamnya. VoxMel mengkloning suara itu dengan sangat mirip, dalam bahasa Inggris atau Mandarin.

Delapan suara bawaan

Dua wanita dan dua pria untuk setiap bahasa, untuk pembicara yang tidak ingin Anda kloning. VoxMel membuatnya sendiri: tidak ada suara orang yang direkam untuknya.

Cepat untuk model kloning

Satu baris klon butuh dua sampai empat detik per detik ucapan di prosesor laptop baru.

Gratis untuk pekerjaan komersial

Add-on, mesin audio.cpp, bobot VoxMel, dan suara bawaannya semuanya Apache-2.0.

Sebelum menginstal

  • Disk: sekitar 1,2 GB, sebagian besar model 1,04 GB yang diunduh pada baris pertama yang Anda dubbing.
  • Memori: sekitar 2 GB kosong.
  • Waktu: di Intel Core i7-13700T, satu baris dengan suara asli pembicara butuh dua sampai empat detik per detik ucapan. Di Mac Apple Silicon, model berjalan di GPU.
  • Bahasa: hanya bahasa Inggris dan Mandarin. Untuk bahasa lain, VoxCPM2 mengkloning suara dalam 30 bahasa dan OmniVoice dalam 646 bahasa.

Suara

Di tab Pembicara, pilih VoxMel sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya: VoxMel sendiri tidak punya kendali atas tempo.

9 suara dalam 2 bahasa.

  • en 4
  • zh 4

Suara klon

Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya yang berdurasi 3 sampai 12 detik, atau beberapa subtitle pendek yang digabung, dan mengirim teks subtitle bersamanya. VoxMel membutuhkan sampel dan kata-katanya sekaligus. Fallback reference clip di pengaturan add-on, beserta transkripnya, hanya dipakai ketika tidak ada sampel yang bisa dipotong.

VoxMel paling baik mengkloning dalam bahasa yang sama. Dubbing bahasa Inggris untuk pembicara berbahasa Mandarin hasilnya bagus; dubbing bahasa Mandarin untuk pembicara berbahasa Inggris bisa membuat beberapa kata terdengar kurang jelas.

Clone the timbre only tidak berfungsi dengan add-on ini, karena VoxMel tidak dapat mengkloning tanpa kata-kata dari sampelnya. Biarkan nonaktif untuk pembicara yang memakai VoxMel.

Suara bawaan

Setiap suara bawaan adalah klip pendek yang dibuat VoxMel tanpa rekaman referensi apa pun, disimpan beserta kata-katanya yang persis. Setiap baris pembicara yang diberi suara bawaan mengkloning klip itu, sehingga suaranya tetap sama sepanjang video. Suara bawaan bahasa Inggris cocok untuk baris berbahasa Inggris, dan suara bawaan bahasa Mandarin untuk baris berbahasa Mandarin.

Model

Hanya ada satu model, VoxMel 0.6B dengan vocoder Vocos-nya, dengan bobot yang disimpan dalam 8 bit, sebagaimana dikonversi oleh proyek audio.cpp. Model ini tidak ada di dalam add-on: model diunduh ke cache model bersama Subtitld saat pertama kali Anda melakukan dubbing, dari Hugging Face pada revisi yang dipatok, dan diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus modelnya.

Model UnduhanCocok untuk
VoxMel 0.6B (8-bit) Bawaan voxmel
992 MB
Semua suara, dalam bahasa Inggris dan Mandarin

Baris pertama juga memuat model, sehingga butuh waktu lebih lama daripada baris berikutnya. Di Mac Apple Silicon, pada kali pertama, add-on juga mengucapkan satu baris uji pendek di GPU, dan memakai CPU jika itu tidak berhasil. Batal menghentikan baris di antara dua langkah, atau menghentikan unduhan.

Opsi

Di Pengaturan › Pengaya › VoxMel (offline, voice clone, 2 languages) › Atur.

Quality steps
Bawaan: 32

Seberapa halus VoxMel menggambar setiap momen ucapan. 32 adalah pengaturan VoxMel sendiri; lebih sedikit lebih cepat, dengan detail yang lebih sedikit.

Text guidance
Bawaan: 3.5

Seberapa dekat ucapan mengikuti teks. 3,5 adalah pengaturan VoxMel sendiri.

Voice guidance
Bawaan: 3

Seberapa dekat suara klon mengikuti klipnya. 3,0 adalah pengaturan VoxMel sendiri; nilai lebih tinggi bisa terdengar lebih mirip, atau terdengar dipaksakan.

CPU threads
Bawaan: 0

0 memilih core performa pada CPU yang juga memiliki core efisiensi. Lebih sedikit thread membuat komputer tetap lebih responsif selama dubbing.

Fallback reference clip
Bawaan: kosong

Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: 3 sampai 15 detik satu orang berbicara.

Fallback reference transcript
Bawaan: kosong

Persis apa yang diucapkan dalam klip cadangan, kata demi kata. VoxMel mengkloning dari klip beserta kata-katanya, jadi klip cadangan ditolak tanpa teks ini.

Bahasa

Bahasa Inggris dan bahasa Mandarin. VoxMel mengenali bahasanya dari teks.

  • en
  • zh

Platform

Sistem UnduhanDiuji
Linux x86-64 18.8 MBDubbing dengan model asli di mesin sungguhan dan di AlmaLinux 8; di CI, add-on yang terinstal mengunduh model, berbicara, mengkloning suara, dan membatalkan baris
macOS (Apple silicon) 18.1 MBDi CI, add-on yang terinstal mengunduh model, berbicara, mengkloning suara, dan membatalkan baris (Apple Silicon)
Windows x86-64 15.4 MBDi CI, add-on yang terinstal mengunduh model, berbicara, mengkloning suara, dan membatalkan baris

Linux x86-64 (distribusi apa pun sejak 2018, glibc 2.28 atau lebih baru), macOS 13.3 atau lebih baru di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on, mengunduh model, lalu membuatnya berbicara, mengkloning suara, dan membatalkan baris.

Pemecahan masalah

  • network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.
  • disk_fullRuang disk tidak cukup untuk model. Dibutuhkan sekitar 1,2 GB kosong.
  • oomMemori habis. Tutup program lain; VoxMel butuh sekitar 2 GB kosong.
  • bad_paramsBaris tidak memiliki teks, atau suara klon tidak mendapat sampel atau kata-kata sampelnya. Pesannya menyebutkan yang mana. Untuk suara klon, buka videonya dan biarkan Clone the timbre only nonaktif.
  • unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.
  • internalAda yang gagal di dalam add-on; pesannya berisi detailnya.

Lisensi

Add-on
Apache-2.0
beserta delapan suara bawaannya
Engine
Apache-2.0
audio.cpp, dengan ggml (MIT)
Model
Apache-2.0
Bobot VoxMel 0.6B, oleh VoxDance Lab; vocoder Vocos berlisensi MIT

Aman untuk pekerjaan komersial: add-on, suara bawaannya, mesin audio.cpp, dan bobot VoxMel semuanya Apache-2.0, sedangkan vocoder Vocos dan ggml berlisensi MIT. Dubbing yang Anda buat adalah milik Anda. Suara klon terdengar seperti orang sungguhan: kloning hanya suara yang berhak Anda pakai, dan nyatakan bahwa dubbing itu sintetis bila hal itu penting.

Versi

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Pengaya Suara lainnya