Unduh

VoxCPM2 (offline, voice clone, 30 languages)

SuaraLuringGPU opsionalKloning suaraBoleh untuk komersial

Mengisi suara subtitle Anda dalam 30 bahasa dengan VoxCPM2 dari OpenBMB, dengan suara asli setiap pembicara yang dikloning dari video, atau dengan suara yang dibuat dari sebuah deskripsi. Berjalan di komputer Anda sendiri, dan add-on, kode, serta bobotnya semuanya Apache-2.0.

Pasang dari Subtitld

Pengaturan Pengaya VoxCPM2 (offline, voice clone, 30 languages) Pasang

Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.

Sumber di GitHub
Bahasa
30
Model
1
Suara
9
Unduhan pengaya
205–318 MB
RAM, minimal
7 GB

Fungsinya

Suara asli pembicara

Subtitld memotong klip setiap pembicara dari video dan mengirimnya bersama kata-kata yang diucapkan di dalamnya. VoxCPM2 melanjutkan dari klip itu, sehingga dubbing terdengar seperti orang di layar, dalam salah satu dari 30 bahasanya.

Atau suara yang Anda deskripsikan

Tujuh suara siap pakai, dari wanita yang hangat hingga pria tua bersuara serak dan seorang narator, atau kata-kata Anda sendiri: "a young man, fast and cheerful".

Suara kualitas studio

Ucapan keluar pada 48 kHz, laju yang dipakai video.

Gratis untuk pekerjaan komersial

Add-on, kode VoxCPM, dan bobot VoxCPM2 semuanya Apache-2.0.

Sebelum menginstal

VoxCPM2 adalah model besar, 2,4 miliar parameter. Model ini memberi dubbing paling alami di antara add-on offline, dan paling banyak menuntut dari komputer Anda:

  • Disk: sekitar 5,6 GB, sebagian besar model 4,96 GB yang diunduh pada baris pertama yang Anda dubbing.
  • Memori: sekitar 7 GB kosong. Dengan lebih sedikit tetap berjalan, tetapi jauh lebih lambat.
  • Waktu: di CPU, setiap detik ucapan butuh beberapa detik untuk dibuat: 5 sampai 6 detik di Intel Core i7-13700T. Video sepuluh menit bisa memakan sekitar satu jam. Di Mac Apple Silicon, model berjalan di GPU.

Untuk dubbing cepat di komputer sederhana, Piper atau Kokoro jauh lebih ringan.

Suara

Di tab Pembicara, pilih VoxCPM2 sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya.

9 suara.

Suara klon

Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya yang berdurasi 3 sampai 12 detik, atau beberapa subtitle pendek yang digabung. Jika Anda sudah memisahkan musik dari suara untuk video ini, sampelnya diambil dari suara saja. Fallback reference clip di pengaturan add-on hanya dipakai ketika tidak ada sampel yang bisa dipotong.

Subtitld mengirim teks subtitle bersama sampelnya, dan VoxCPM2 melanjutkan darinya, yang paling mendekati pembicara, termasuk cara bicaranya. Jika dubbing ke bahasa lain tetap membawa aksen pembicara, aktifkan Clone the timbre only.

Suara dari deskripsi

VoxCPM2 membuat suara baru setiap kali membaca sebuah deskripsi. Karena itu add-on membuat suara setiap pembicara sekali, dan setiap baris pembicara itu memakainya lagi: suaranya tetap sama sepanjang video, dan dua pembicara dengan deskripsi yang sama tetap terdengar seperti dua orang.

Model

Hanya ada satu model, VoxCPM2. Model ini tidak ada di dalam add-on: model diunduh ke cache model bersama Subtitld saat pertama kali Anda melakukan dubbing, dari Hugging Face pada revisi yang dipatok, dengan setiap berkas diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus modelnya.

Model UnduhanCocok untuk
VoxCPM2 (2.4B) Bawaan voxcpm2
4.7 GB
Semua suara, dalam ke-30 bahasa

Baris pertama juga memuat model, sehingga butuh waktu lebih lama daripada baris berikutnya. Batal menghentikan baris di antara dua langkah, atau menghentikan unduhan.

Opsi

Di Pengaturan › Pengaya › VoxCPM2 (offline, voice clone, 30 languages) › Atur.

Inference device
Bawaan: auto

Otomatis memakai GPU Mac Apple Silicon, selain itu CPU. Build ini tidak memakai kartu grafis NVIDIA.

Weight precision
Bawaan: auto

Otomatis cocok untuk hampir semua komputer. float32 sedikit lebih cepat tetapi butuh sekitar 11 GB memori.

Quality steps
Bawaan: 10

Lebih banyak langkah, ucapan lebih jernih, lebih lambat. 5 sekitar seperempat lebih cepat daripada 10, dengan kejernihan yang terdengar berkurang.

Guidance
Bawaan: 2

How closely the speech follows the text and the voice. VoxCPM's default is 2.0.

CPU threads
Bawaan: 0

0 memilih core performa pada CPU yang juga memiliki core efisiensi. Lebih sedikit thread membuat komputer tetap lebih responsif selama dubbing.

Voice description
Bawaan: kosong

Dipakai oleh suara "Voice you describe": siapa yang berbicara dan bagaimana, dalam beberapa kata, misalnya "An elderly woman, soft and warm voice, slow pace". Bahasa Inggris berfungsi untuk semua bahasa.

Fallback reference clip
Bawaan: kosong

Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: 3 sampai 15 detik satu orang berbicara.

Fallback reference transcript
Bawaan: kosong

Kata-kata persis yang diucapkan dalam klip di atas. Dengan itu, klon lebih mendekati pembicara.

Clone the timbre only
Bawaan: nonaktif

Hanya mengkloning bunyi suaranya, bukan cara bicara dalam klip. Coba ini ketika dubbing ke bahasa lain tetap membawa aksen pembicara, atau ketika subtitle Anda memparafrasekan ucapannya.

Bahasa

Arab, Burma, Mandarin, Denmark, Belanda, Inggris, Finlandia, Prancis, Jerman, Yunani, Ibrani, Hindi, Indonesia, Italia, Jepang, Khmer, Korea, Laos, Melayu, Norwegia, Polandia, Portugis, Rusia, Spanyol, Swahili, Swedia, Tagalog, Thai, Turki, dan Vietnam. VoxCPM2 membaca bahasa dari teksnya sendiri, sehingga setiap suara bisa berbicara dalam setiap bahasa.

  • ar
  • my
  • zh
  • da
  • nl
  • en
  • fi
  • fr
  • de
  • el
  • he
  • hi
  • id
  • it
  • ja
  • km
  • ko
  • lo
  • ms
  • no
  • pl
  • pt
  • ru
  • es
  • sw
  • sv
  • tl
  • th
  • tr
  • vi

Platform

Sistem UnduhanDiuji
Linux x86-64 312.0 MBDubbing dengan model asli di mesin sungguhan; dibangun dan diperiksa di CI
macOS (Apple silicon) 318.0 MBDibangun dan diperiksa di CI (Apple Silicon)
Windows x86-64 204.6 MBDibangun dan diperiksa di CI

Linux x86-64, macOS di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan CI memeriksa bahwa semua yang dibutuhkan untuk berbicara ada di dalam build. CI tidak menjalankan modelnya sendiri.

Pemecahan masalah

  • network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.
  • disk_fullRuang disk tidak cukup untuk model. Dibutuhkan sekitar 5 GB kosong.
  • oomMemori habis. Tutup program lain; VoxCPM2 butuh sekitar 7 GB kosong, 11 GB dalam float32.
  • bad_paramsBaris tidak memiliki teks, atau suara klon tidak mendapat sampel: buka videonya, atau atur Fallback reference clip. Pesannya menyebutkan yang mana.
  • unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.
  • internalAda yang gagal di dalam add-on; pesannya berisi detailnya. Jika Anda mengubah Inference device, kembalikan ke Otomatis.

Lisensi

Add-on
Apache-2.0
Engine
Apache-2.0
VoxCPM, oleh OpenBMB
Model
Apache-2.0
Bobot VoxCPM2

Aman untuk pekerjaan komersial: add-on, VoxCPM, dan bobot VoxCPM2 semuanya Apache-2.0. Dubbing yang Anda buat adalah milik Anda. Suara klon terdengar seperti orang sungguhan: kloning hanya suara yang berhak Anda pakai, dan nyatakan bahwa dubbing itu sintetis bila hal itu penting.

Versi

  • 0.0.1

    Text-to-speech for Subtitld with OpenBMB's VoxCPM2: 30 languages at 48 kHz, in the speaker's own voice cloned from the video, or in a voice made from a description.

    The archive holds the add-on and a CPU build of PyTorch. The 4.96 GB model downloads on the first synthesis, at a pinned revision, checked by sha256. Plan for about 7 GB of free memory; on a CPU each second of speech takes several seconds to make.

    The add-on, VoxCPM and the VoxCPM2 weights are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is voxcpm-<version>-libquadmath-source.tar.gz in this release.

Pengaya Suara lainnya

Diperbarui · Dari katalog pengaya Laporkan masalah dengan pengaya ini