Reverb luring, kloning suara, 7 bahasa, nonkomersial

SuaraLuringHanya CPUKloning suaraNonkomersial

Mengisi suara subtitle Anda dalam bahasa Inggris, Jerman, Prancis, Spanyol, Italia, Polandia, dan Portugis dengan Reverb-TTS karya Software Mansion AI Labs, dengan salah satu dari 16 suara atau dengan suara asli setiap pembicara yang dikloning dari beberapa detik video beserta subtitlenya. Berjalan di prosesor komputer Anda sendiri, tanpa kartu grafis. Modelnya hanya untuk penggunaan nonkomersial.

Pasang dari Subtitld

Pengaturan Pengaya Reverb (offline, voice clone, 7 languages, non-commercial) Pasang

Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.

Sumber di GitHub
Bahasa
7
Model
3
Suara
17
Unduhan pengaya
40–65 MB
RAM, minimal
2.5 GB

Fungsinya

Tujuh bahasa

Inggris, Jerman, Prancis, Spanyol, Italia, Polandia, dan Portugis. Angka, tanggal, harga, dan satuan dibacakan sebagai kata, dengan cara masing-masing bahasa.

Suara asli pembicara

Subtitld memotong beberapa detik setiap pembicara dari video dan mengirimnya bersama subtitle yang diucapkan di dalamnya. Reverb mengkloning suara itu dalam salah satu dari tujuh bahasanya. Atau pilih salah satu dari 16 suara.

Exact atau Fast

Exact menjalankan model seperti yang dipublikasikan. Fast sekitar dua kali lebih cepat dan unduhannya lebih kecil, dengan sedikit mengorbankan akurasi.

Offline setelah baris pertama

Model diunduh sekali, saat pertama kali sebuah baris membutuhkannya. Setelah itu, tidak ada yang keluar dari komputer Anda.

Model nonkomersial. Bobot Reverb-TTS dan suara bawaannya berlisensi CC-BY-NC-4.0, yang tidak mengizinkan penggunaan komersial. Kode add-on ini berlisensi Apache-2.0, tetapi itu tidak mengubah ketentuan bobotnya. Untuk pekerjaan komersial, ZONOS3-Mini juga mengkloning suara dalam ketujuh bahasa ini, dan bobotnya berlisensi Apache-2.0.

Sebelum menginstal

  • Disk: 640 MB untuk model, diunduh pada baris pertama; atau 378 MB jika Anda memilih Fast sebelum baris pertama. Saat pertama kali Anda memakai suara asli pembicara, 327 MB lagi.
  • Memori: sekitar 1,5 GB saat berbicara.
  • Waktu: di Intel Core i7-13700T yang sedang sibuk dengan pekerjaan lain, satu detik ucapan butuh sekitar 0,8 detik untuk dibuat dengan kecepatan Exact dan sekitar 0,6 detik dengan Fast.
  • Prosesor: prosesor Intel atau AMD 64-bit, atau Apple Silicon. Kartu grafis tidak dipakai.

Suara

Di tab Pembicara, pilih Reverb sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya.

17 suara.

Direkam dalam Wanita Pria
Inggris Narator, berbisik Narator 1, narator 2, marah
Prancis Wanita Prancis Pria Prancis
Jerman Wanita Jerman Pria Jerman
Italia Pria Italia, pria Italia ekspresif
Polandia Pria Polandia
Portugis Wanita Portugis Pria Portugis
Spanyol Pria Spanyol 1, pria Spanyol 2

Ini adalah suara bawaan Reverb sendiri. Setiap suara berbicara dalam semua bahasa, tetapi dengan aksen bahasa tempat suara itu direkam. Untuk bahasa yang tidak punya suara sendiri di sini, atau tidak punya suara wanita, pakai suara asli pembicara.

Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya atau beberapa subtitle pendek yang digabung, dan mengirim apa yang diucapkan di dalamnya: teks subtitle-subtitle itu. Reverb membutuhkan keduanya. Reverb melanjutkan dari sampel dan kata-katanya, dan tanpa kata-kata itu, Reverb akan menghilangkan kata-kata pertama setiap baris.

Jadi subtitle harus dalam bahasa yang diucapkan di video. Jika Anda sudah menerjemahkannya, Subtitld mengirim teks aslinya, asalkan Subtitld tahu bahasa audionya: atur di Bahasa subtitle pada panel Transkripsi. Jika tidak, baris akan berhenti dengan pesan yang menyebutkan hal itu. Subtitle yang memparafrasekan ucapan, alih-alih mentranskripsikannya, membuat klon lebih buruk.

Sampel terbaik adalah 3 sampai 10 detik satu orang berbicara, bersih dan dekat dengan mikrofon. Sampel yang lebih pendek dari 2 detik ditolak, dan sampel yang lebih panjang dari 15 detik cenderung menghasilkan baris yang lebih buruk. Fallback reference clip di pengaturan add-on, beserta Fallback clip's transcript-nya, hanya dipakai ketika tidak ada sampel yang bisa dipotong.

Setiap baris dibuat dengan seed yang dikirim Subtitld, sehingga baris yang sama dengan suara yang sama selalu keluar sama.

Model

Model tidak ada di dalam add-on: model diunduh ke cache model bersama Subtitld saat pertama kali sebuah baris membutuhkannya, dari rilis add-on sendiri di GitHub, tempat bobot Reverb disimpan dalam bentuk yang sudah dikonversi untuk ONNX Runtime, dengan setiap berkas diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus model itu.

Model UnduhanCocok untuk
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Bawaan reverb
640 MB
Setiap baris dengan kecepatan Exact, bawaannya: jaringan, dekoder, dan 16 suara
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Setiap baris dengan kecepatan Fast, menggantikan jaringan Exact: total 378 MB bersama dekoder
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
Suara asli pembicara, saat pertama kali Anda melakukan dubbing dengannya

Exact dan Fast berbagi dekoder dan suara (111 MB): hanya jaringannya yang berbeda, 529 MB untuk Exact dan 266 MB untuk Fast. Beralih dari satu ke yang lain di kemudian hari akan mengunduh jaringan yang lain itu saat pertama kali sebuah baris membutuhkannya.

Add-on ini menjalankan Reverb di ONNX Runtime, tanpa PyTorch. Sampler dan persiapan teks Reverb di-porting dari kode Software Mansion sendiri. Bilangan acaknya berasal dari sumber yang berbeda, jadi sebuah seed menghasilkan hasil yang berbeda di sini dibandingkan di paket Reverb sendiri; jaringan Exact sudah diperiksa agar memprediksi apa yang diprediksi paket itu.

Opsi

Di Pengaturan › Pengaya › Reverb (offline, voice clone, 7 languages, non-commercial) › Atur.

CPU threads
Bawaan: 0

0 memakai prosesor logis komputer, paling banyak 8. Lebih banyak jarang lebih cepat; lebih sedikit membuat komputer tetap lebih responsif selama dubbing.

Quality steps
Bawaan: 8

Berapa kali model memproses setiap baris. 8 adalah pengaturan Reverb sendiri; lebih sedikit lebih cepat, tetapi lebih sering meleset.

Speed
Bawaan: exact

Exact menjalankan model seperti yang dipublikasikan Software Mansion. Fast menjalankannya dalam bilangan bulat 8-bit, sekitar dua kali lebih cepat, dengan unduhan tersendiri sebesar 266 MB: baris-barisnya biasanya terdengar sama, tetapi lebih menyimpang dari model yang dipublikasikan dan lebih sering meleset.

Fallback reference clip
Bawaan: kosong

Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: 3 sampai 10 detik satu orang berbicara, bersih.

Fallback clip's transcript
Bawaan: kosong

Persis apa yang diucapkan dalam klip cadangan, kata demi kata. Reverb mengkloning dari klip beserta kata-katanya, jadi klip cadangan ditolak tanpa teks ini.

Bahasa

Inggris, Jerman, Prancis, Spanyol, Italia, Polandia, dan Portugis. Proyek dalam bahasa lain akan mendapat pesan yang menyebutkan hal itu: pilih mesin dubbing lain untuk proyek tersebut.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Platform

Sistem UnduhanDiuji
Linux x86-64 64.9 MBBerbicara dalam ketujuh bahasa dan mengkloning suara dengan model asli di CI
macOS (Apple silicon) 45.6 MBBerbicara dalam ketujuh bahasa dan mengkloning suara dengan model asli di CI (Apple Silicon)
Windows x86-64 40.5 MBBerbicara dalam ketujuh bahasa dan mengkloning suara dengan model asli di CI

Linux x86-64 (glibc 2.35 atau lebih baru, seperti di Ubuntu 22.04, Debian 12, atau Fedora 36), macOS di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on seperti yang dilakukan Subtitld, mengunduh model, mengucapkan satu baris dalam setiap bahasa, dan mengkloning satu suara.

Pemecahan masalah

  • network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.
  • disk_fullRuang disk tidak cukup untuk model: 640 MB (378 MB dengan Fast), dan 327 MB lagi untuk suara asli pembicara.
  • unsupported_languageBahasa proyek bukan salah satu dari ketujuh bahasa itu, atau belum diatur. Atur bahasanya di proyek, atau pilih mesin dubbing lain.
  • unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.
  • bad_paramsBaris tidak memiliki teks, atau suara klon tidak mendapat sampel atau transkrip sampelnya. Untuk proyek terjemahan, atur Bahasa subtitle ke bahasa yang diucapkan; jika tidak ada video yang terbuka, atur Fallback reference clip beserta transkripnya. Pesannya menyebutkan yang mana.
  • out_of_memoryMemori komputer habis. Tutup program lain: Reverb butuh sekitar 1,5 GB memori kosong.
  • internalAda yang gagal di dalam add-on; pesannya berisi detailnya.

Lisensi

Add-on
Apache-2.0
dengan kode Reverb sendiri, yang di-porting ke numpy
Engine
MIT
ONNX Runtime
Model
CC-BY-NC-4.0
Bobot Reverb-TTS v1.0.0, oleh Software Mansion AI Labs; hanya untuk penggunaan nonkomersial
Suara
CC-BY-NC-4.0
16 suara bawaan Reverb; hanya untuk penggunaan nonkomersial
Pembacaan teks
MIT, Unicode-3.0
Verbalis, oleh Software Mansion, dengan tabel dari Unicode Character Database

Add-on ini berlisensi Apache-2.0, begitu pula kode Reverb yang di-porting-nya. Bobot Reverb-TTS dan 16 suara bawaannya berlisensi CC-BY-NC-4.0: hanya untuk penggunaan nonkomersial. Berkas lisensi yang disertakan bersama model menjelaskan apa yang diubah saat mengonversinya. ONNX Runtime berlisensi MIT, dan Verbalis, yang membacakan angka dan tanggal, berlisensi MIT.

Gunakan secara bertanggung jawab. Suara klon terdengar seperti orang sungguhan. Kloning hanya suara yang berhak Anda pakai, dengan persetujuan pembicaranya; jangan menyamar sebagai orang sungguhan, dan jangan gunakan ucapan yang Anda buat untuk menipu, melakukan penipuan, atau melecehkan. Beri tahu pendengar Anda ketika mereka mendengar suara sintetis.

Versi

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Pengaya Suara lainnya