Chatterbox luring, kloning suara, 20 bahasa

SuaraLuringHanya CPUKloning suaraBoleh untuk komersial

Mengisi suara subtitle Anda dalam 20 bahasa dengan Chatterbox dari Resemble AI, dengan suara asli setiap pembicara yang dikloning dari beberapa detik video, atau dengan salah satu dari 8 suara siap pakai. Suara klon bisa berbicara dalam semua bahasa, apa pun bahasa klipnya. Berjalan di prosesor komputer Anda sendiri dengan kecepatan sekitar waktu nyata, tanpa kartu grafis.

Pasang dari Subtitld

Pengaturan Pengaya Chatterbox (offline, voice clone, 20 languages) Pasang

Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.

Sumber di GitHub
Bahasa
20
Model
2
Suara
9
Unduhan pengaya
39–62 MB
RAM, minimal
2 GB

Dengarkan

Fungsinya

Suara asli pembicara, dalam bahasa lain

Subtitld memotong beberapa detik setiap pembicara dari video dan mengirimnya bersama setiap baris. Chatterbox mengkloning suara itu dalam salah satu dari 20 bahasanya, sehingga aktor Portugis bisa di-dubbing dalam bahasa Jerman dan tetap terdengar seperti dirinya sendiri.

Dua model

Multilingual berbicara dalam ke-20 bahasa. Turbo hanya berbicara bahasa Inggris, terdengar lebih mirip dengan pembicara, butuh lebih sedikit memori, dan membaca tag seperti [laugh] dan [sigh] yang ditulis di subtitle.

Di komputer apa pun

Berjalan di prosesor dengan kecepatan sekitar waktu nyata, tanpa kartu grafis: baris 10 detik butuh sekitar 10 detik.

Gratis untuk pekerjaan komersial

Add-on ini Apache-2.0, Chatterbox dan modelnya MIT, dan suara siap pakainya adalah pembaca LibriVox, dalam domain publik.

Sebelum menginstal

  • Disk: Multilingual mengunduh 1,3 GB pada baris pertamanya, Turbo 725 MB.
  • Memori: sekitar 1,7 GB saat berbicara dengan Multilingual, sekitar 1 GB dengan Turbo.
  • Prosesor: prosesor Intel atau AMD 64-bit apa pun, atau Apple Silicon. Kartu grafis tidak dipakai.

Kloning suara hanya dengan persetujuan pemiliknya. Build Chatterbox sendiri menandai audionya dengan watermark yang tidak terdengar; add-on ini tidak melakukannya, jadi tanggung jawab atas cara suara klon dipakai ada pada Anda.

Suara

Di tab Pembicara, pilih Chatterbox sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya.

9 suara.

Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya atau beberapa subtitle pendek yang digabung. Jika Anda sudah memisahkan musik dari suara untuk video ini, sampelnya diambil dari suara saja. Fallback reference clip di pengaturan add-on hanya dipakai ketika tidak ada sampel yang bisa dipotong. Sampel terbaik adalah 5 sampai 20 detik pembicara itu sendirian, tanpa musik atau suara lain; add-on memakai 10 detik pertamanya.

Suara siap pakai
Wanita Inggris, Portugis, Prancis, Jerman
Pria Inggris, Portugis, Prancis, Jerman

Setiap suara siap pakai adalah relawan LibriVox yang membaca buku dalam bahasa itu, pembaca yang sama seperti di add-on Sopro. Setiap suara siap pakai bisa berbicara dalam ke-20 bahasa; bahasanya sendiri hanya memberinya aksen, jadi pilih yang paling dekat dengan bahasa proyek Anda untuk dubbing yang paling alami.

Model

Kedua model tidak ada di dalam add-on: model yang Anda pakai diunduh ke cache model bersama Subtitld saat pertama kali Anda melakukan dubbing, dari Hugging Face pada revisi yang dipatok, dengan setiap berkas diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus modelnya.

ModelBahasa UnduhanCocok untuk
Chatterbox Multilingual (0.5B, 4-bit ONNX) Bawaan multilingual
1.3 GB
Ke-20 bahasa; bawaan
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Hanya bahasa Inggris: lebih mirip dengan pembicara, memori lebih sedikit, dan membaca [laugh], [sigh], dan [cough]

Add-on ini menjalankan ekspor ONNX dari Chatterbox, tanpa PyTorch. Dalam uji kami dengan 10 kalimat dalam bahasa Inggris, Portugis, Prancis, Jerman, Spanyol, Italia, Rusia, dan Polandia, masing-masing dikloning dari dua suara, Multilingual salah pada 2,4% kata dan terdengar mirip dengan pembicara; Turbo tidak salah sama sekali dalam bahasa Inggris dan terdengar lebih mirip lagi.

Opsi

Di Pengaturan › Pengaya › Chatterbox (offline, voice clone, 20 languages) › Atur.

Model
Bawaan: multilingual

Turbo hanya berbicara bahasa Inggris. Jika Turbo dipilih, baris dalam bahasa lain diucapkan oleh Multilingual. Hanya satu model yang ada di memori dalam satu waktu.

Expressiveness
Bawaan: 0.5

Hanya Multilingual: seberapa banyak emosi yang dimasukkan ke dalam suara. 0,5 adalah nilai bawaan Chatterbox sendiri; lebih tinggi lebih dramatis dan cenderung berbicara lebih cepat.

CPU threads
Bawaan: 0

0 memakai separuh prosesor logis komputer, paling banyak 8. Lebih sedikit thread membuat komputer tetap lebih responsif selama dubbing.

Fallback reference clip
Bawaan: kosong

Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: 5 sampai 20 detik satu orang berbicara.

Bahasa

Arab, Denmark, Belanda, Inggris, Finlandia, Prancis, Jerman, Yunani, Hindi, Italia, Korea, Melayu, Norwegia, Polandia, Portugis, Rusia, Spanyol, Swahili, Swedia, dan Turki. Proyek dalam bahasa lain akan mendapat pesan yang menyebutkan hal itu: pilih mesin dubbing lain untuk proyek tersebut.

Chatterbox juga punya bahasa Ibrani, Jepang, dan Tionghoa, yang tidak disertakan add-on ini: bahasa Ibrani butuh model kedua untuk menambahkan tanda vokalnya, bahasa Jepang butuh konverter yang lisensinya tidak mengizinkan untuk dibundel, dan bahasa Tionghoa keluar kacau dalam uji kami.

Tulis angka dan simbol sebagai kata bila hal itu penting. Satu baris diucapkan sekaligus, hingga 40 detik ucapan.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Platform

Sistem UnduhanDiuji
Linux x86-64 62.5 MBDubbing dengan kedua model di mesin sungguhan, dan di Subtitld sendiri
macOS (Apple silicon) 43.7 MBDi CI, add-on yang terinstal mengunduh model dan melakukan dubbing dengannya (Apple Silicon)
Windows x86-64 38.7 MBDi CI, add-on yang terinstal mengunduh model dan melakukan dubbing dengannya

Linux x86-64, macOS di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on seperti yang dilakukan Subtitld, mengunduh model, lalu melakukan dubbing dengannya.

Pemecahan masalah

  • network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.
  • disk_fullRuang disk tidak cukup untuk model: 1,3 GB untuk Multilingual, 725 MB untuk Turbo.
  • unsupported_languageBahasa proyek bukan salah satu dari ke-20 bahasa itu, atau belum diatur. Atur bahasanya di proyek, atau pilih mesin dubbing lain.
  • unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.
  • bad_paramsBaris tidak memiliki teks, atau suara klon tidak mendapat sampel: buka videonya, atau atur Fallback reference clip. Pesannya menyebutkan yang mana.
  • out_of_memoryMemori komputer habis. Tutup program lain, atau pilih Turbo untuk bahasa Inggris: Turbo butuh sekitar 1 GB.
  • internalAda yang gagal di dalam add-on; pesannya berisi detailnya.

Lisensi

Add-on
Apache-2.0
Engine
MIT
Chatterbox, oleh Resemble AI; ONNX Runtime berlisensi MIT
Model
MIT
Bobot Chatterbox Multilingual dan Turbo, dalam ekspor ONNX-nya
Suara siap pakai
Public domain, CC-BY-4.0
Pembaca LibriVox; yang berbahasa Inggris melalui LibriTTS-R

Aman untuk pekerjaan komersial: add-on ini Apache-2.0, dan Chatterbox serta kedua modelnya MIT. Suara siap pakainya adalah rekaman LibriVox, dalam domain publik; yang berbahasa Inggris berasal dari LibriTTS-R, di bawah CC-BY-4.0, dan add-on mencantumkan kredit untuk masing-masing. Dubbing yang Anda buat adalah milik Anda.

Versi

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Pengaya Suara lainnya