Reverb luring, kloning suara, 7 bahasa, nonkomersial
Mengisi suara subtitle Anda dalam bahasa Inggris, Jerman, Prancis, Spanyol, Italia, Polandia, dan Portugis dengan Reverb-TTS karya Software Mansion AI Labs, dengan salah satu dari 16 suara atau dengan suara asli setiap pembicara yang dikloning dari beberapa detik video beserta subtitlenya. Berjalan di prosesor komputer Anda sendiri, tanpa kartu grafis. Modelnya hanya untuk penggunaan nonkomersial.
Pengaturan Pengaya Reverb (offline, voice clone, 7 languages, non-commercial) Pasang
Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.
- Bahasa
- 7
- Model
- 3
- Suara
- 17
- Unduhan pengaya
- 40–65 MB
- RAM, minimal
- 2.5 GB
Fungsinya
Inggris, Jerman, Prancis, Spanyol, Italia, Polandia, dan Portugis. Angka, tanggal, harga, dan satuan dibacakan sebagai kata, dengan cara masing-masing bahasa.
Subtitld memotong beberapa detik setiap pembicara dari video dan mengirimnya bersama subtitle yang diucapkan di dalamnya. Reverb mengkloning suara itu dalam salah satu dari tujuh bahasanya. Atau pilih salah satu dari 16 suara.
Exact menjalankan model seperti yang dipublikasikan. Fast sekitar dua kali lebih cepat dan unduhannya lebih kecil, dengan sedikit mengorbankan akurasi.
Model diunduh sekali, saat pertama kali sebuah baris membutuhkannya. Setelah itu, tidak ada yang keluar dari komputer Anda.
Model nonkomersial. Bobot Reverb-TTS dan suara bawaannya berlisensi CC-BY-NC-4.0, yang tidak mengizinkan penggunaan komersial. Kode add-on ini berlisensi Apache-2.0, tetapi itu tidak mengubah ketentuan bobotnya. Untuk pekerjaan komersial, ZONOS3-Mini juga mengkloning suara dalam ketujuh bahasa ini, dan bobotnya berlisensi Apache-2.0.
Sebelum menginstal
- Disk: 640 MB untuk model, diunduh pada baris pertama; atau 378 MB jika Anda memilih Fast sebelum baris pertama. Saat pertama kali Anda memakai suara asli pembicara, 327 MB lagi.
- Memori: sekitar 1,5 GB saat berbicara.
- Waktu: di Intel Core i7-13700T yang sedang sibuk dengan pekerjaan lain, satu detik ucapan butuh sekitar 0,8 detik untuk dibuat dengan kecepatan Exact dan sekitar 0,6 detik dengan Fast.
- Prosesor: prosesor Intel atau AMD 64-bit, atau Apple Silicon. Kartu grafis tidak dipakai.
Suara
Di tab Pembicara, pilih Reverb sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya.
17 suara.
| Direkam dalam | Wanita | Pria |
|---|---|---|
| Inggris | Narator, berbisik | Narator 1, narator 2, marah |
| Prancis | Wanita Prancis | Pria Prancis |
| Jerman | Wanita Jerman | Pria Jerman |
| Italia | Pria Italia, pria Italia ekspresif | |
| Polandia | Pria Polandia | |
| Portugis | Wanita Portugis | Pria Portugis |
| Spanyol | Pria Spanyol 1, pria Spanyol 2 |
Ini adalah suara bawaan Reverb sendiri. Setiap suara berbicara dalam semua bahasa, tetapi dengan aksen bahasa tempat suara itu direkam. Untuk bahasa yang tidak punya suara sendiri di sini, atau tidak punya suara wanita, pakai suara asli pembicara.
Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya atau beberapa subtitle pendek yang digabung, dan mengirim apa yang diucapkan di dalamnya: teks subtitle-subtitle itu. Reverb membutuhkan keduanya. Reverb melanjutkan dari sampel dan kata-katanya, dan tanpa kata-kata itu, Reverb akan menghilangkan kata-kata pertama setiap baris.
Jadi subtitle harus dalam bahasa yang diucapkan di video. Jika Anda sudah menerjemahkannya, Subtitld mengirim teks aslinya, asalkan Subtitld tahu bahasa audionya: atur di Bahasa subtitle pada panel Transkripsi. Jika tidak, baris akan berhenti dengan pesan yang menyebutkan hal itu. Subtitle yang memparafrasekan ucapan, alih-alih mentranskripsikannya, membuat klon lebih buruk.
Sampel terbaik adalah 3 sampai 10 detik satu orang berbicara, bersih dan dekat dengan mikrofon. Sampel yang lebih pendek dari 2 detik ditolak, dan sampel yang lebih panjang dari 15 detik cenderung menghasilkan baris yang lebih buruk. Fallback reference clip di pengaturan add-on, beserta Fallback clip's transcript-nya, hanya dipakai ketika tidak ada sampel yang bisa dipotong.
Setiap baris dibuat dengan seed yang dikirim Subtitld, sehingga baris yang sama dengan suara yang sama selalu keluar sama.
Model
Model tidak ada di dalam add-on: model diunduh ke cache model bersama Subtitld saat pertama kali sebuah baris membutuhkannya, dari rilis add-on sendiri di GitHub, tempat bobot Reverb disimpan dalam bentuk yang sudah dikonversi untuk ONNX Runtime, dengan setiap berkas diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus model itu.
| Model | Unduhan | Cocok untuk |
|---|---|---|
| Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Bawaan reverb | Setiap baris dengan kecepatan Exact, bawaannya: jaringan, dekoder, dan 16 suara | |
| Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast | Setiap baris dengan kecepatan Fast, menggantikan jaringan Exact: total 378 MB bersama dekoder | |
| Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder | Suara asli pembicara, saat pertama kali Anda melakukan dubbing dengannya |
Exact dan Fast berbagi dekoder dan suara (111 MB): hanya jaringannya yang berbeda, 529 MB untuk Exact dan 266 MB untuk Fast. Beralih dari satu ke yang lain di kemudian hari akan mengunduh jaringan yang lain itu saat pertama kali sebuah baris membutuhkannya.
Add-on ini menjalankan Reverb di ONNX Runtime, tanpa PyTorch. Sampler dan persiapan teks Reverb di-porting dari kode Software Mansion sendiri. Bilangan acaknya berasal dari sumber yang berbeda, jadi sebuah seed menghasilkan hasil yang berbeda di sini dibandingkan di paket Reverb sendiri; jaringan Exact sudah diperiksa agar memprediksi apa yang diprediksi paket itu.
Opsi
Di Pengaturan › Pengaya › Reverb (offline, voice clone, 7 languages, non-commercial) › Atur.
00 memakai prosesor logis komputer, paling banyak 8. Lebih banyak jarang lebih cepat; lebih sedikit membuat komputer tetap lebih responsif selama dubbing.
8Berapa kali model memproses setiap baris. 8 adalah pengaturan Reverb sendiri; lebih sedikit lebih cepat, tetapi lebih sering meleset.
exactExact menjalankan model seperti yang dipublikasikan Software Mansion. Fast menjalankannya dalam bilangan bulat 8-bit, sekitar dua kali lebih cepat, dengan unduhan tersendiri sebesar 266 MB: baris-barisnya biasanya terdengar sama, tetapi lebih menyimpang dari model yang dipublikasikan dan lebih sering meleset.
Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: 3 sampai 10 detik satu orang berbicara, bersih.
Persis apa yang diucapkan dalam klip cadangan, kata demi kata. Reverb mengkloning dari klip beserta kata-katanya, jadi klip cadangan ditolak tanpa teks ini.
Bahasa
Inggris, Jerman, Prancis, Spanyol, Italia, Polandia, dan Portugis. Proyek dalam bahasa lain akan mendapat pesan yang menyebutkan hal itu: pilih mesin dubbing lain untuk proyek tersebut.
endefresitplpt
Platform
| Sistem | Unduhan | Diuji |
|---|---|---|
| Linux x86-64 | 64.9 MB | Berbicara dalam ketujuh bahasa dan mengkloning suara dengan model asli di CI |
| macOS (Apple silicon) | 45.6 MB | Berbicara dalam ketujuh bahasa dan mengkloning suara dengan model asli di CI (Apple Silicon) |
| Windows x86-64 | 40.5 MB | Berbicara dalam ketujuh bahasa dan mengkloning suara dengan model asli di CI |
Linux x86-64 (glibc 2.35 atau lebih baru, seperti di Ubuntu 22.04, Debian 12, atau Fedora 36), macOS di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on seperti yang dilakukan Subtitld, mengunduh model, mengucapkan satu baris dalam setiap bahasa, dan mengkloning satu suara.
Pemecahan masalah
network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.disk_fullRuang disk tidak cukup untuk model: 640 MB (378 MB dengan Fast), dan 327 MB lagi untuk suara asli pembicara.unsupported_languageBahasa proyek bukan salah satu dari ketujuh bahasa itu, atau belum diatur. Atur bahasanya di proyek, atau pilih mesin dubbing lain.unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.bad_paramsBaris tidak memiliki teks, atau suara klon tidak mendapat sampel atau transkrip sampelnya. Untuk proyek terjemahan, atur Bahasa subtitle ke bahasa yang diucapkan; jika tidak ada video yang terbuka, atur Fallback reference clip beserta transkripnya. Pesannya menyebutkan yang mana.out_of_memoryMemori komputer habis. Tutup program lain: Reverb butuh sekitar 1,5 GB memori kosong.internalAda yang gagal di dalam add-on; pesannya berisi detailnya.
Lisensi
Add-on ini berlisensi Apache-2.0, begitu pula kode Reverb yang di-porting-nya. Bobot Reverb-TTS dan 16 suara bawaannya berlisensi CC-BY-NC-4.0: hanya untuk penggunaan nonkomersial. Berkas lisensi yang disertakan bersama model menjelaskan apa yang diubah saat mengonversinya. ONNX Runtime berlisensi MIT, dan Verbalis, yang membacakan angka dan tanggal, berlisensi MIT.
Gunakan secara bertanggung jawab. Suara klon terdengar seperti orang sungguhan. Kloning hanya suara yang berhak Anda pakai, dengan persetujuan pembicaranya; jangan menyamar sebagai orang sungguhan, dan jangan gunakan ucapan yang Anda buat untuk menipu, melakukan penipuan, atau melecehkan. Beri tahu pendengar Anda ketika mereka mendengar suara sintetis.
Versi
- 26.11.1
Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.
The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's
models-1release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isreverb-<version>-libquadmath-source.tar.gzin this release.
Pengaya Suara lainnya
-
Piper Luring
158 suara offline dalam 49 bahasa, masing-masing unduhan kecil tersendiri.
-
Kokoro Luring
54 suara offline dalam sembilan bahasa, semuanya dari satu model 82 MB.
-
Supertonic Luring
Sepuluh suara offline, masing-masing dapat berbicara dalam ke-31 bahasanya.
-
sanoTTS Luring
Suara offline yang kecil, 28 suara dalam 14 bahasa, masing-masing di bawah 10 MB.
-
Parler-TTS Luring
Suara bahasa Inggris yang mengikuti deskripsi tertulis; 34 pembicara bernama.
-
Qwen3-TTS Kloning
Sepuluh bahasa, sembilan suara, dan kloning dari 3 detik suara pembicara.
-
Coqui XTTS Kloning
Kloning suara dalam 16 bahasa, dengan lisensi model nonkomersial.
-
F5-TTS Kloning
Hanya kloning suara, dalam bahasa Inggris dan Mandarin; model nonkomersial.
-
VoxCPM2 Kloning
30 bahasa pada 48 kHz, dengan suara asli pembicara atau suara yang dideskripsikan. Berat.
-
Pocket TTS Luring
Cepat dan ringan, hanya CPU. 23 suara dalam tujuh bahasa Eropa.
-
Sopro Kloning
Suara asli pembicara, cepat di CPU. Empat bahasa.
-
KittenTTS 2 Kloning
Suara asli pembicara dalam 16 bahasa, di CPU. Bobot di bawah lisensi yang membatasi.
-
Ming-3.0-tts Kloning
7 bahasa pada 44,1 kHz: suara klon, bawaan, atau dari deskripsi, dengan emosi. Berat.
-
Scylla's Band Luring
Empat belas suara dalam enam bahasa, ringan dan cepat di CPU. Hanya suara siap pakai.
-
Audio8 TTS Kloning
Suara asli pembicara dalam 23 bahasa, termasuk Kanton dan Arab. Lambat di CPU.
-
Inflect Luring
Ucapan bahasa Inggris yang alami dari model mungil, cepat di CPU apa pun.
-
Paradee Luring
Empat suara bahasa Inggris yang alami, Amerika dan Inggris, dari satu model berukuran 8,5 MB.
-
BlueTTS Kloning
Ibrani dan Yiddi, ditambah lima bahasa lain. Suara asli pembicara, cepat di CPU.
-
ZONOS3-Mini Kloning
43 bahasa, dari Arab hingga Vietnam. Suara asli pembicara, di CPU.
-
Chatterbox Kloning
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…