BlueTTS luring, kloning suara, bahasa Ibrani + 6 bahasa

SuaraLuringHanya CPUKloning suaraBoleh untuk komersial

Mengisi suara subtitle Anda dalam bahasa Ibrani, Inggris, Jerman, Spanyol, Italia, Rusia, dan Yiddi dengan BlueV3 karya Maxim Melichov, dengan salah satu dari 15 suara atau dengan suara asli setiap pembicara yang dikloning dari sekitar sepuluh detik video. Berjalan di prosesor komputer Anda sendiri, tiga sampai lima kali lebih cepat daripada waktu nyata, tanpa kartu grafis.

Pasang dari Subtitld

Pengaturan Pengaya BlueTTS (offline, voice clone, Hebrew + 6 languages) Pasang

Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.

Sumber di GitHub
Bahasa
7
Model
5
Suara
16
Unduhan pengaya
37–62 MB
RAM, minimal
2.5 GB

Fungsinya

Ibrani dan Yiddi

BlueTTS dibuat untuk bahasa Ibrani lebih dulu: ia membaca teks Ibrani tanpa tanda vokal, termasuk angka, tanggal, dan harga, dan kata bahasa Inggris di dalam baris Ibrani dibaca dalam bahasa Inggris. Ia juga berbicara bahasa Yiddi, yang jarang bisa dilakukan mesin dubbing.

Suara asli pembicara

Subtitld memotong sekitar sepuluh detik setiap pembicara dari video dan mengirimnya bersama setiap baris. BlueTTS mengkloning suara itu dalam salah satu dari tujuh bahasanya. Atau pilih salah satu dari 15 suara.

Cepat di komputer apa pun

Di prosesor laptop, BlueTTS berbicara tiga sampai lima kali lebih cepat daripada waktu nyata. Kartu grafis tidak dipakai.

Offline setelah baris pertama

Setiap bagian diunduh sekali, saat pertama kali sebuah baris membutuhkannya. Setelah itu, tidak ada yang keluar dari komputer Anda.

Sebelum menginstal

Kebutuhan BlueTTS bergantung pada bahasa yang Anda pakai untuk dubbing:

  • Disk: 428 MB untuk model, diunduh pada baris pertama. Ibrani menambah 1,2 GB (atau 312 MB dengan model pembaca yang ringkas), Yiddi 307 MB, dan suara asli pembicara 136 MB, masing-masing saat pertama kali Anda memakainya.
  • Memori: sekitar 700 MB saat berbicara, sekitar 2 GB setelah bahasa Ibrani dimuat.
  • Waktu: di Intel Core i7-13700T, satu detik ucapan butuh sekitar seperlima detik untuk dibuat, sepertiga detik dalam bahasa Ibrani. Baris Ibrani pertama menunggu sekitar 15 detik lebih lama selagi model pembaca dimuat.
  • Prosesor: prosesor Intel atau AMD 64-bit apa pun, atau Apple Silicon. Kartu grafis tidak dipakai.

Suara

Di tab Pembicara, pilih BlueTTS sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya.

16 suara.

Suara
Wanita Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Pria Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Setiap suara berbicara dalam ketujuh bahasa, masing-masing dengan tempo alaminya sendiri di setiap bahasa. Suara-suara ini dibuat dari pembaca korpus buku audio LibriTTS-R.

Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya atau beberapa subtitle pendek yang digabung. Jika Anda sudah memisahkan musik dari suara untuk video ini, sampelnya diambil dari suara saja. Fallback reference clip di pengaturan add-on hanya dipakai ketika tidak ada sampel yang bisa dipotong.

BlueTTS mendengarkan sekitar sembilan detik pertama sampel, dan meniru warna suara dan nada suaranya, bukan cara bertuturnya. Sampel terbaik adalah ucapan bersih yang dekat dengan mikrofon: bising dan gema membuat klon kurang mirip dengan pembicara, dan rekaman ponsel menghasilkan suara yang terdengar seperti dari telepon.

Model

Model dan model pembaca tidak ada di dalam add-on: masing-masing diunduh ke cache model bersama Subtitld saat pertama kali sebuah baris membutuhkannya, dari Hugging Face pada revisi yang dipatok, dengan setiap berkas diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus model-model itu.

Model UnduhanCocok untuk
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Bawaan bluev3
428 MB
Setiap baris: suara-suaranya, dan cara bahasa Inggris, Jerman, Spanyol, Italia, dan Rusia dibaca
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
Suara asli pembicara, saat pertama kali Anda melakukan dubbing dengannya
RenikudPlus Hebrew G2P renikudplus
1.2 GB
Ibrani, saat pertama kali Anda melakukan dubbing dalam bahasa itu (bawaan)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
Ibrani, ketika Anda memilih model pembaca yang ringkas
ReNikud-yi Yiddish context model renikud-yi
307 MB
Yiddi, saat pertama kali Anda melakukan dubbing dalam bahasa itu

Add-on ini menjalankan kode BlueTTS sendiri di ONNX Runtime, tanpa PyTorch. Dengan suara, baris, dan seed yang sama, hasilnya persis sama dengan yang diberikan paket Python BlueTTS sendiri.

Opsi

Di Pengaturan › Pengaya › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Atur.

CPU threads
Bawaan: 0

0 memakai prosesor logis komputer, paling banyak 8. Lebih banyak jarang lebih cepat; lebih sedikit membuat komputer tetap lebih responsif selama dubbing.

Quality steps
Bawaan: 8

Berapa kali model memproses setiap baris. 8 adalah pengaturan BlueTTS sendiri. 4 sekitar 1,7 kali lebih cepat, dengan kualitas sedikit lebih rendah.

Hebrew reading model
Bawaan: accurate

Cara teks Ibrani diubah menjadi bunyi. accurate adalah model lengkap, 1,2 GB, dengan sekitar 2 GB memori. compact adalah model yang sama dalam ukuran lebih kecil, 312 MB: dalam pengujian kami, model ini membaca sekitar 1 dari 200 kata secara berbeda, lebih sering salah.

Fallback reference clip
Bawaan: kosong

Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: sekitar 10 detik satu orang berbicara, bersih, bukan rekaman ponsel.

Bahasa

Ibrani, Inggris, Jerman, Spanyol, Italia, Rusia, dan Yiddi. Proyek dalam bahasa lain akan mendapat pesan yang menyebutkan hal itu: pilih mesin dubbing lain untuk proyek tersebut.

Bahasa Spanyol mengikuti wilayah proyek: Spanyol mendapat Spanyol Kastilia, wilayah lain mana pun mendapat Spanyol Amerika Latin. Angka, tanggal, harga, dan kode dibaca sebagai kata, kecuali dalam bahasa Yiddi: tulis angka Yiddi sebagai kata, atau baris itu ditolak dengan pesan yang menyebutkan hal itu.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Platform

Sistem UnduhanDiuji
Linux x86-64 61.7 MBDubbing dengan model asli di mesin sungguhan, melalui pengelola add-on Subtitld, dan di CI
macOS (Apple silicon) 43.8 MBDubbing dengan model asli di CI (Apple Silicon)
Windows x86-64 37.3 MBDubbing dengan model asli di CI

Linux x86-64, macOS di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on seperti yang dilakukan Subtitld, mengunduh model, lalu melakukan dubbing satu baris dalam setiap bahasa.

Pemecahan masalah

  • network_unavailableSebuah model tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.
  • disk_fullRuang disk tidak cukup untuk model: 428 MB, dan hingga 1,7 GB lagi untuk Ibrani, Yiddi, dan suara asli pembicara.
  • unsupported_languageBahasa proyek bukan salah satu dari ketujuh bahasa itu, atau belum diatur. Atur bahasanya di proyek, atau pilih mesin dubbing lain.
  • unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.
  • bad_paramsBaris tidak memiliki teks, baris Yiddi berisi digit, atau suara klon tidak mendapat sampel: buka videonya, atau atur Fallback reference clip. Pesannya menyebutkan yang mana.
  • out_of_memoryMemori komputer habis. Tutup program lain: BlueTTS butuh sekitar 1 GB memori kosong, 2,5 GB dengan bahasa Ibrani.
  • internalAda yang gagal di dalam add-on; pesannya berisi detailnya.

Lisensi

Add-on
Apache-2.0
Engine
MIT
BlueTTS, oleh Maxim Melichov; ONNX Runtime berlisensi MIT
Model
MIT, BigScience OpenRAIL-M
Bobot BlueV3; vocoder-nya, hasil fine-tuning dari Supertonic-3 milik Supertone, berlisensi OpenRAIL-M, dengan batasan penggunaan
Voices
CC-BY-4.0
Dibuat dari pembicara LibriTTS-R
Model pembaca
Apache-2.0, MIT, CC BY-SA
RenikudPlus (Ibrani), polyg2p; leksikon Jerman dan Italia serta sebagian leksikon Yiddi berlisensi CC BY-SA

Add-on ini berlisensi Apache-2.0 dan kode BlueTTS berlisensi MIT. Model suaranya juga MIT, kecuali vocoder-nya, bagian yang mengubah keluaran model menjadi bunyi: vocoder ini hasil fine-tuning dari Supertonic-3 milik Supertone dan membawa lisensi BigScience OpenRAIL-M. Pekerjaan komersial diizinkan, tetapi OpenRAIL-M melarang beberapa penggunaan atas apa yang dihasilkannya, di antaranya melanggar hukum, menipu orang, dan menyamar sebagai seseorang tanpa persetujuannya. Ke-15 suara berlisensi CC-BY-4.0. Leksikon Jerman dan Italia, serta sebagian leksikon Yiddi, berlisensi CC BY-SA; leksikon ini diunduh bersama model dan tetap seperti yang diterbitkan penulisnya.

Dubbing yang Anda buat adalah milik Anda. Suara klon terdengar seperti orang sungguhan: kloning hanya suara yang berhak Anda pakai, dan sebutkan bahwa dubbing itu sintetis bila hal itu penting.

Versi

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Pengaya Suara lainnya