Audio8 TTS (offline, voice clone, 11 languages)

Fungsinya

Sebelum menginstal

Audio8 TTS menuntut lebih banyak dari komputer Anda daripada mesin dubbing yang ringan:

• Disk: sekitar 1 GB untuk model, diunduh pada baris pertama yang Anda dubbing.
• Memori: sekitar 1,6 GB saat berbicara, dan hingga 3 GB sesaat ketika pertama kali mendengar pembicara baru.
• Waktu: setiap detik ucapan butuh dua sampai tiga detik untuk dibuat, di Intel Core i7-13700T. Video sepuluh menit bisa memakan sekitar setengah jam.
• Prosesor: prosesor Intel atau AMD 64-bit apa pun, atau Apple Silicon. Kartu grafis tidak dipakai.

Untuk dubbing cepat, Sopro atau Chatterbox mengkloning suara sekitar waktu nyata atau lebih cepat, dalam lebih sedikit bahasa.

Suara

Di tab Pembicara, pilih Audio8 TTS sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya.

1 suara.

Audio8 TTS punya satu suara, Speaker's own voice, dan tidak punya suara siap pakai: setiap baris mengkloning seorang pembicara. Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya yang berdurasi 3 sampai 12 detik, atau beberapa subtitle pendek yang digabung. Jika Anda sudah memisahkan musik dari suara untuk video ini, sampelnya diambil dari suara saja. Fallback reference clip di pengaturan add-on hanya dipakai ketika tidak ada sampel yang bisa dipotong.

Subtitld mengirim teks subtitle bersama sampelnya, dan Audio8 TTS memakainya agar lebih mendekati pembicara. Tanpa teks itu, misalnya ketika bahasa asli proyek belum diatur, add-on mengkloning dari bunyi sampel saja, sedikit kurang mirip. Jika subtitle Anda memparafrasekan ucapan, bukan mentranskripsikannya, aktifkan Don't send the subtitles of the reference clip.

Baris pertama setiap pembicara butuh beberapa detik lebih lama, sementara add-on mendengarkan sampelnya. Add-on mengingatnya, sehingga baris berikutnya dari pembicara itu langsung dimulai.

Model

Hanya ada satu model, Audio8 TTS Preview 0.6B, dalam build ONNX 4-bit untuk prosesor yang diterbitkan pembuatnya. Model ini tidak ada di dalam add-on: model diunduh ke cache model bersama Subtitld saat pertama kali Anda melakukan dubbing, dari Hugging Face pada revisi yang dipatok, dengan setiap berkas diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus modelnya.

Add-on ini menjalankan build tersebut tanpa PyTorch. Dengan suara, baris, dan seed yang sama, hasilnya persis sama dengan hasil runtime milik Audio8 sendiri.

Opsi

Di Pengaturan › Pengaya › Audio8 TTS (offline, voice clone, 11 languages) › Atur.

Bahasa

Mandarin, Kanton, Jepang, Korea, Inggris, Belanda, Prancis, Jerman, Italia, Polandia, dan Spanyol. Pembicara yang dikloning dari klip dalam salah satu bahasa itu bisa berbicara dalam semua bahasa lainnya. Proyek dalam bahasa lain akan mendapat pesan yang menyebutkan hal itu: pilih mesin dubbing lain untuk proyek tersebut.

Audio8 menyebut model ini sebagai pratinjau: inilah bahasa yang direkomendasikannya. Kami memeriksa satu kalimat dalam setiap bahasa, dengan Whisper dan skor kemiripan suara, bukan dengan mendengarkan langsung di setiap bahasa.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Platform

Linux x86-64, macOS di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on seperti yang dilakukan Subtitld, mengunduh model, lalu melakukan dubbing dengannya.

Pemecahan masalah

• network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.
• disk_fullRuang disk tidak cukup untuk model, sekitar 1 GB.
• unsupported_languageBahasa proyek bukan salah satu dari kesebelas bahasa itu, atau belum diatur. Atur bahasanya di proyek, atau pilih mesin dubbing lain.
• unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.
• bad_paramsBaris tidak memiliki teks, atau suara klon tidak mendapat sampel: buka videonya, atau atur Fallback reference clip. Pesannya menyebutkan yang mana.
• out_of_memoryMemori komputer habis. Tutup program lain: Audio8 TTS butuh sekitar 3 GB kosong.
• internalAda yang gagal di dalam add-on; pesannya berisi detailnya.

Lisensi

Aman untuk pekerjaan komersial: add-on ini Apache-2.0, begitu pula kode Audio8 TTS dan bobot Audio8 TTS Preview 0.6B. Dubbing yang Anda buat adalah milik Anda. Suara klon terdengar seperti orang sungguhan: kloning hanya suara yang berhak Anda pakai, dan nyatakan bahwa dubbing itu sintetis bila hal itu penting.