BlueTTS luring, kloning suara, bahasa Ibrani + 6 bahasa
Mengisi suara subtitle Anda dalam bahasa Ibrani, Inggris, Jerman, Spanyol, Italia, Rusia, dan Yiddi dengan BlueV3 karya Maxim Melichov, dengan salah satu dari 15 suara atau dengan suara asli setiap pembicara yang dikloning dari sekitar sepuluh detik video. Berjalan di prosesor komputer Anda sendiri, tiga sampai lima kali lebih cepat daripada waktu nyata, tanpa kartu grafis.
Pengaturan Pengaya BlueTTS (offline, voice clone, Hebrew + 6 languages) Pasang
Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.
- Bahasa
- 7
- Model
- 5
- Suara
- 16
- Unduhan pengaya
- 37–62 MB
- RAM, minimal
- 2.5 GB
Fungsinya
BlueTTS dibuat untuk bahasa Ibrani lebih dulu: ia membaca teks Ibrani tanpa tanda vokal, termasuk angka, tanggal, dan harga, dan kata bahasa Inggris di dalam baris Ibrani dibaca dalam bahasa Inggris. Ia juga berbicara bahasa Yiddi, yang jarang bisa dilakukan mesin dubbing.
Subtitld memotong sekitar sepuluh detik setiap pembicara dari video dan mengirimnya bersama setiap baris. BlueTTS mengkloning suara itu dalam salah satu dari tujuh bahasanya. Atau pilih salah satu dari 15 suara.
Di prosesor laptop, BlueTTS berbicara tiga sampai lima kali lebih cepat daripada waktu nyata. Kartu grafis tidak dipakai.
Setiap bagian diunduh sekali, saat pertama kali sebuah baris membutuhkannya. Setelah itu, tidak ada yang keluar dari komputer Anda.
Sebelum menginstal
Kebutuhan BlueTTS bergantung pada bahasa yang Anda pakai untuk dubbing:
- Disk: 428 MB untuk model, diunduh pada baris pertama. Ibrani menambah 1,2 GB (atau 312 MB dengan model pembaca yang ringkas), Yiddi 307 MB, dan suara asli pembicara 136 MB, masing-masing saat pertama kali Anda memakainya.
- Memori: sekitar 700 MB saat berbicara, sekitar 2 GB setelah bahasa Ibrani dimuat.
- Waktu: di Intel Core i7-13700T, satu detik ucapan butuh sekitar seperlima detik untuk dibuat, sepertiga detik dalam bahasa Ibrani. Baris Ibrani pertama menunggu sekitar 15 detik lebih lama selagi model pembaca dimuat.
- Prosesor: prosesor Intel atau AMD 64-bit apa pun, atau Apple Silicon. Kartu grafis tidak dipakai.
Suara
Di tab Pembicara, pilih BlueTTS sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya.
16 suara.
| Suara | |
|---|---|
| Wanita | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| Pria | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
Setiap suara berbicara dalam ketujuh bahasa, masing-masing dengan tempo alaminya sendiri di setiap bahasa. Suara-suara ini dibuat dari pembaca korpus buku audio LibriTTS-R.
Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya atau beberapa subtitle pendek yang digabung. Jika Anda sudah memisahkan musik dari suara untuk video ini, sampelnya diambil dari suara saja. Fallback reference clip di pengaturan add-on hanya dipakai ketika tidak ada sampel yang bisa dipotong.
BlueTTS mendengarkan sekitar sembilan detik pertama sampel, dan meniru warna suara dan nada suaranya, bukan cara bertuturnya. Sampel terbaik adalah ucapan bersih yang dekat dengan mikrofon: bising dan gema membuat klon kurang mirip dengan pembicara, dan rekaman ponsel menghasilkan suara yang terdengar seperti dari telepon.
Model
Model dan model pembaca tidak ada di dalam add-on: masing-masing diunduh ke cache model bersama Subtitld saat pertama kali sebuah baris membutuhkannya, dari Hugging Face pada revisi yang dipatok, dengan setiap berkas diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus model-model itu.
| Model | Unduhan | Cocok untuk |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Bawaan bluev3 | Setiap baris: suara-suaranya, dan cara bahasa Inggris, Jerman, Spanyol, Italia, dan Rusia dibaca | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | Suara asli pembicara, saat pertama kali Anda melakukan dubbing dengannya | |
| RenikudPlus Hebrew G2P renikudplus | Ibrani, saat pertama kali Anda melakukan dubbing dalam bahasa itu (bawaan) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | Ibrani, ketika Anda memilih model pembaca yang ringkas | |
| ReNikud-yi Yiddish context model renikud-yi | Yiddi, saat pertama kali Anda melakukan dubbing dalam bahasa itu |
Add-on ini menjalankan kode BlueTTS sendiri di ONNX Runtime, tanpa PyTorch. Dengan suara, baris, dan seed yang sama, hasilnya persis sama dengan yang diberikan paket Python BlueTTS sendiri.
Opsi
Di Pengaturan › Pengaya › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Atur.
00 memakai prosesor logis komputer, paling banyak 8. Lebih banyak jarang lebih cepat; lebih sedikit membuat komputer tetap lebih responsif selama dubbing.
8Berapa kali model memproses setiap baris. 8 adalah pengaturan BlueTTS sendiri. 4 sekitar 1,7 kali lebih cepat, dengan kualitas sedikit lebih rendah.
accurateCara teks Ibrani diubah menjadi bunyi. accurate adalah model lengkap, 1,2 GB, dengan sekitar 2 GB memori. compact adalah model yang sama dalam ukuran lebih kecil, 312 MB: dalam pengujian kami, model ini membaca sekitar 1 dari 200 kata secara berbeda, lebih sering salah.
Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: sekitar 10 detik satu orang berbicara, bersih, bukan rekaman ponsel.
Bahasa
Ibrani, Inggris, Jerman, Spanyol, Italia, Rusia, dan Yiddi. Proyek dalam bahasa lain akan mendapat pesan yang menyebutkan hal itu: pilih mesin dubbing lain untuk proyek tersebut.
Bahasa Spanyol mengikuti wilayah proyek: Spanyol mendapat Spanyol Kastilia, wilayah lain mana pun mendapat Spanyol Amerika Latin. Angka, tanggal, harga, dan kode dibaca sebagai kata, kecuali dalam bahasa Yiddi: tulis angka Yiddi sebagai kata, atau baris itu ditolak dengan pesan yang menyebutkan hal itu.
heendeesitruyi
Platform
| Sistem | Unduhan | Diuji |
|---|---|---|
| Linux x86-64 | 61.7 MB | Dubbing dengan model asli di mesin sungguhan, melalui pengelola add-on Subtitld, dan di CI |
| macOS (Apple silicon) | 43.8 MB | Dubbing dengan model asli di CI (Apple Silicon) |
| Windows x86-64 | 37.3 MB | Dubbing dengan model asli di CI |
Linux x86-64, macOS di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on seperti yang dilakukan Subtitld, mengunduh model, lalu melakukan dubbing satu baris dalam setiap bahasa.
Pemecahan masalah
network_unavailableSebuah model tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.disk_fullRuang disk tidak cukup untuk model: 428 MB, dan hingga 1,7 GB lagi untuk Ibrani, Yiddi, dan suara asli pembicara.unsupported_languageBahasa proyek bukan salah satu dari ketujuh bahasa itu, atau belum diatur. Atur bahasanya di proyek, atau pilih mesin dubbing lain.unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.bad_paramsBaris tidak memiliki teks, baris Yiddi berisi digit, atau suara klon tidak mendapat sampel: buka videonya, atau atur Fallback reference clip. Pesannya menyebutkan yang mana.out_of_memoryMemori komputer habis. Tutup program lain: BlueTTS butuh sekitar 1 GB memori kosong, 2,5 GB dengan bahasa Ibrani.internalAda yang gagal di dalam add-on; pesannya berisi detailnya.
Lisensi
Add-on ini berlisensi Apache-2.0 dan kode BlueTTS berlisensi MIT. Model suaranya juga MIT, kecuali vocoder-nya, bagian yang mengubah keluaran model menjadi bunyi: vocoder ini hasil fine-tuning dari Supertonic-3 milik Supertone dan membawa lisensi BigScience OpenRAIL-M. Pekerjaan komersial diizinkan, tetapi OpenRAIL-M melarang beberapa penggunaan atas apa yang dihasilkannya, di antaranya melanggar hukum, menipu orang, dan menyamar sebagai seseorang tanpa persetujuannya. Ke-15 suara berlisensi CC-BY-4.0. Leksikon Jerman dan Italia, serta sebagian leksikon Yiddi, berlisensi CC BY-SA; leksikon ini diunduh bersama model dan tetap seperti yang diterbitkan penulisnya.
Dubbing yang Anda buat adalah milik Anda. Suara klon terdengar seperti orang sungguhan: kloning hanya suara yang berhak Anda pakai, dan sebutkan bahwa dubbing itu sintetis bila hal itu penting.
Versi
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
Pengaya Suara lainnya
-
Piper Luring
158 suara offline dalam 49 bahasa, masing-masing unduhan kecil tersendiri.
-
Kokoro Luring
54 suara offline dalam sembilan bahasa, semuanya dari satu model 82 MB.
-
Supertonic Luring
Sepuluh suara offline, masing-masing dapat berbicara dalam ke-31 bahasanya.
-
sanoTTS Luring
Suara offline yang kecil, 28 suara dalam 14 bahasa, masing-masing di bawah 10 MB.
-
Parler-TTS Luring
Suara bahasa Inggris yang mengikuti deskripsi tertulis; 34 pembicara bernama.
-
Qwen3-TTS Kloning
Sepuluh bahasa, sembilan suara, dan kloning dari 3 detik suara pembicara.
-
Coqui XTTS Kloning
Kloning suara dalam 16 bahasa, dengan lisensi model nonkomersial.
-
F5-TTS Kloning
Hanya kloning suara, dalam bahasa Inggris dan Mandarin; model nonkomersial.
-
VoxCPM2 Kloning
30 bahasa pada 48 kHz, dengan suara asli pembicara atau suara yang dideskripsikan. Berat.
-
Pocket TTS Luring
Cepat dan ringan, hanya CPU. 23 suara dalam tujuh bahasa Eropa.
-
Sopro Kloning
Suara asli pembicara, cepat di CPU. Empat bahasa.
-
KittenTTS 2 Kloning
Suara asli pembicara dalam 16 bahasa, di CPU. Bobot di bawah lisensi yang membatasi.
-
Ming-3.0-tts Kloning
7 bahasa pada 44,1 kHz: suara klon, bawaan, atau dari deskripsi, dengan emosi. Berat.
-
Scylla's Band Luring
Empat belas suara dalam enam bahasa, ringan dan cepat di CPU. Hanya suara siap pakai.
-
Audio8 TTS Kloning
Suara asli pembicara dalam 11 bahasa, termasuk Kanton. Lambat di CPU.
-
Inflect Luring
Ucapan bahasa Inggris yang alami dari model mungil, cepat di CPU apa pun.
-
Paradee Luring
Empat suara bahasa Inggris yang alami, Amerika dan Inggris, dari satu model berukuran 8,5 MB.
-
Chatterbox Kloning
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…