Chatterbox luring, kloning suara, 20 bahasa
Mengisi suara subtitle Anda dalam 20 bahasa dengan Chatterbox dari Resemble AI, dengan suara asli setiap pembicara yang dikloning dari beberapa detik video, atau dengan salah satu dari 8 suara siap pakai. Suara klon bisa berbicara dalam semua bahasa, apa pun bahasa klipnya. Berjalan di prosesor komputer Anda sendiri dengan kecepatan sekitar waktu nyata, tanpa kartu grafis.
Pengaturan Pengaya Chatterbox (offline, voice clone, 20 languages) Pasang
Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.
- Bahasa
- 20
- Model
- 2
- Suara
- 9
- Unduhan pengaya
- 39–62 MB
- RAM, minimal
- 2 GB
Dengarkan
Fungsinya
Subtitld memotong beberapa detik setiap pembicara dari video dan mengirimnya bersama setiap baris. Chatterbox mengkloning suara itu dalam salah satu dari 20 bahasanya, sehingga aktor Portugis bisa di-dubbing dalam bahasa Jerman dan tetap terdengar seperti dirinya sendiri.
Multilingual berbicara dalam ke-20 bahasa. Turbo hanya berbicara bahasa Inggris, terdengar lebih mirip dengan pembicara, butuh lebih sedikit memori, dan membaca tag seperti [laugh] dan [sigh] yang ditulis di subtitle.
Berjalan di prosesor dengan kecepatan sekitar waktu nyata, tanpa kartu grafis: baris 10 detik butuh sekitar 10 detik.
Add-on ini Apache-2.0, Chatterbox dan modelnya MIT, dan suara siap pakainya adalah pembaca LibriVox, dalam domain publik.
Sebelum menginstal
- Disk: Multilingual mengunduh 1,3 GB pada baris pertamanya, Turbo 725 MB.
- Memori: sekitar 1,7 GB saat berbicara dengan Multilingual, sekitar 1 GB dengan Turbo.
- Prosesor: prosesor Intel atau AMD 64-bit apa pun, atau Apple Silicon. Kartu grafis tidak dipakai.
Kloning suara hanya dengan persetujuan pemiliknya. Build Chatterbox sendiri menandai audionya dengan watermark yang tidak terdengar; add-on ini tidak melakukannya, jadi tanggung jawab atas cara suara klon dipakai ada pada Anda.
Suara
Di tab Pembicara, pilih Chatterbox sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya.
9 suara.
Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya atau beberapa subtitle pendek yang digabung. Jika Anda sudah memisahkan musik dari suara untuk video ini, sampelnya diambil dari suara saja. Fallback reference clip di pengaturan add-on hanya dipakai ketika tidak ada sampel yang bisa dipotong. Sampel terbaik adalah 5 sampai 20 detik pembicara itu sendirian, tanpa musik atau suara lain; add-on memakai 10 detik pertamanya.
| Suara siap pakai | |
|---|---|
| Wanita | Inggris, Portugis, Prancis, Jerman |
| Pria | Inggris, Portugis, Prancis, Jerman |
Setiap suara siap pakai adalah relawan LibriVox yang membaca buku dalam bahasa itu, pembaca yang sama seperti di add-on Sopro. Setiap suara siap pakai bisa berbicara dalam ke-20 bahasa; bahasanya sendiri hanya memberinya aksen, jadi pilih yang paling dekat dengan bahasa proyek Anda untuk dubbing yang paling alami.
Model
Kedua model tidak ada di dalam add-on: model yang Anda pakai diunduh ke cache model bersama Subtitld saat pertama kali Anda melakukan dubbing, dari Hugging Face pada revisi yang dipatok, dengan setiap berkas diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus modelnya.
| Model | Bahasa | Unduhan | Cocok untuk |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) Bawaan multilingual | | Ke-20 bahasa; bawaan | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Hanya bahasa Inggris: lebih mirip dengan pembicara, memori lebih sedikit, dan membaca [laugh], [sigh], dan [cough] |
Add-on ini menjalankan ekspor ONNX dari Chatterbox, tanpa PyTorch. Dalam uji kami dengan 10 kalimat dalam bahasa Inggris, Portugis, Prancis, Jerman, Spanyol, Italia, Rusia, dan Polandia, masing-masing dikloning dari dua suara, Multilingual salah pada 2,4% kata dan terdengar mirip dengan pembicara; Turbo tidak salah sama sekali dalam bahasa Inggris dan terdengar lebih mirip lagi.
Opsi
Di Pengaturan › Pengaya › Chatterbox (offline, voice clone, 20 languages) › Atur.
multilingualTurbo hanya berbicara bahasa Inggris. Jika Turbo dipilih, baris dalam bahasa lain diucapkan oleh Multilingual. Hanya satu model yang ada di memori dalam satu waktu.
0.5Hanya Multilingual: seberapa banyak emosi yang dimasukkan ke dalam suara. 0,5 adalah nilai bawaan Chatterbox sendiri; lebih tinggi lebih dramatis dan cenderung berbicara lebih cepat.
00 memakai separuh prosesor logis komputer, paling banyak 8. Lebih sedikit thread membuat komputer tetap lebih responsif selama dubbing.
Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: 5 sampai 20 detik satu orang berbicara.
Bahasa
Arab, Denmark, Belanda, Inggris, Finlandia, Prancis, Jerman, Yunani, Hindi, Italia, Korea, Melayu, Norwegia, Polandia, Portugis, Rusia, Spanyol, Swahili, Swedia, dan Turki. Proyek dalam bahasa lain akan mendapat pesan yang menyebutkan hal itu: pilih mesin dubbing lain untuk proyek tersebut.
Chatterbox juga punya bahasa Ibrani, Jepang, dan Tionghoa, yang tidak disertakan add-on ini: bahasa Ibrani butuh model kedua untuk menambahkan tanda vokalnya, bahasa Jepang butuh konverter yang lisensinya tidak mengizinkan untuk dibundel, dan bahasa Tionghoa keluar kacau dalam uji kami.
Tulis angka dan simbol sebagai kata bila hal itu penting. Satu baris diucapkan sekaligus, hingga 40 detik ucapan.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Platform
| Sistem | Unduhan | Diuji |
|---|---|---|
| Linux x86-64 | 62.5 MB | Dubbing dengan kedua model di mesin sungguhan, dan di Subtitld sendiri |
| macOS (Apple silicon) | 43.7 MB | Di CI, add-on yang terinstal mengunduh model dan melakukan dubbing dengannya (Apple Silicon) |
| Windows x86-64 | 38.7 MB | Di CI, add-on yang terinstal mengunduh model dan melakukan dubbing dengannya |
Linux x86-64, macOS di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on seperti yang dilakukan Subtitld, mengunduh model, lalu melakukan dubbing dengannya.
Pemecahan masalah
network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.disk_fullRuang disk tidak cukup untuk model: 1,3 GB untuk Multilingual, 725 MB untuk Turbo.unsupported_languageBahasa proyek bukan salah satu dari ke-20 bahasa itu, atau belum diatur. Atur bahasanya di proyek, atau pilih mesin dubbing lain.unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.bad_paramsBaris tidak memiliki teks, atau suara klon tidak mendapat sampel: buka videonya, atau atur Fallback reference clip. Pesannya menyebutkan yang mana.out_of_memoryMemori komputer habis. Tutup program lain, atau pilih Turbo untuk bahasa Inggris: Turbo butuh sekitar 1 GB.internalAda yang gagal di dalam add-on; pesannya berisi detailnya.
Lisensi
Aman untuk pekerjaan komersial: add-on ini Apache-2.0, dan Chatterbox serta kedua modelnya MIT. Suara siap pakainya adalah rekaman LibriVox, dalam domain publik; yang berbahasa Inggris berasal dari LibriTTS-R, di bawah CC-BY-4.0, dan add-on mencantumkan kredit untuk masing-masing. Dubbing yang Anda buat adalah milik Anda.
Versi
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Pengaya Suara lainnya
-
Piper Luring
158 suara offline dalam 49 bahasa, masing-masing unduhan kecil tersendiri.
-
Kokoro Luring
54 suara offline dalam sembilan bahasa, semuanya dari satu model 82 MB.
-
Supertonic Luring
Sepuluh suara offline, masing-masing dapat berbicara dalam ke-31 bahasanya.
-
sanoTTS Luring
Suara offline yang kecil, 28 suara dalam 14 bahasa, masing-masing di bawah 10 MB.
-
Parler-TTS Luring
Suara bahasa Inggris yang mengikuti deskripsi tertulis; 34 pembicara bernama.
-
Qwen3-TTS Kloning
Sepuluh bahasa, sembilan suara, dan kloning dari 3 detik suara pembicara.
-
Coqui XTTS Kloning
Kloning suara dalam 16 bahasa, dengan lisensi model nonkomersial.
-
F5-TTS Kloning
Hanya kloning suara, dalam bahasa Inggris dan Mandarin; model nonkomersial.
-
VoxCPM2 Kloning
30 bahasa pada 48 kHz, dengan suara asli pembicara atau suara yang dideskripsikan. Berat.
-
Pocket TTS Luring
Cepat dan ringan, hanya CPU. 23 suara dalam tujuh bahasa Eropa.
-
Sopro Kloning
Suara asli pembicara, cepat di CPU. Empat bahasa.
-
KittenTTS 2 Kloning
Suara asli pembicara dalam 16 bahasa, di CPU. Bobot di bawah lisensi yang membatasi.
-
Ming-3.0-tts Kloning
7 bahasa pada 44,1 kHz: suara klon, bawaan, atau dari deskripsi, dengan emosi. Berat.
-
Scylla's Band Luring
Empat belas suara dalam enam bahasa, ringan dan cepat di CPU. Hanya suara siap pakai.
-
Audio8 TTS Kloning
Suara asli pembicara dalam 23 bahasa, termasuk Kanton dan Arab. Lambat di CPU.
-
Inflect Luring
Ucapan bahasa Inggris yang alami dari model mungil, cepat di CPU apa pun.
-
Paradee Luring
Empat suara bahasa Inggris yang alami, Amerika dan Inggris, dari satu model berukuran 8,5 MB.
-
BlueTTS Kloning
Ibrani dan Yiddi, ditambah lima bahasa lain. Suara asli pembicara, cepat di CPU.
-
ZONOS3-Mini Kloning
43 bahasa, dari Arab hingga Vietnam. Suara asli pembicara, di CPU.
-
Reverb Kloning
Tujuh bahasa Eropa dan suara asli pembicara, di CPU; model nonkomersial.
-
OmniVoice Kloning
646 bahasa, suara asli pembicara lintas bahasa; model nonkomersial.
-
VoxMel Kloning
Bahasa Inggris dan Mandarin, dengan klon yang sangat mirip dengan suara asli pembicara.
-
tiny-voca Luring
Dua suara bahasa Inggris Amerika dari model dengan 4,5 juta parameter, tanpa perlu mengunduh apa pun.