KittenTTS 2 (offline, voice clone, 16 languages)

Fungsinya

Sebelum menginstal

• Disk: sekitar 1,7 GB untuk model, diunduh pada baris pertama, dan 540 MB lagi untuk kloning, pada baris klon pertama.
• Memori: sekitar 2,3 GB saat berbicara, jadi sekitar 3 GB memori kosong.
• Prosesor: pada Intel dan AMD, prosesor dengan AVX2, FMA, dan F16C, yang sudah ada di prosesor Intel sejak 2013 dan AMD sejak 2015. Beberapa prosesor Celeron, Pentium, dan Atom tidak memilikinya, dan di sana baris pertama gagal dengan pesan yang menyebutkan hal itu. Semua Mac Apple Silicon bisa dipakai.

Kloning suara hanya dengan persetujuan pemiliknya.

Suara

Di tab Pembicara, pilih KittenTTS 2 sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya. Atur bahasa proyek sebelum melakukan dubbing.

116 suara dalam 16 bahasa.

• ar 4
• de 4
• en 50
• es 5
• fr 5
• hi 5
• id 2
• it 6
• ja 4
• ko 3
• nl 3
• pl 4
• pt 6
• ru 7
• tr 3
• zh 4

Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, 3 sampai 12 detik, dan mengirimnya bersama teks subtitle yang diucapkan di dalamnya. KittenTTS melanjutkan dari sampel itu, yang hasilnya paling mirip dengan pembicara dan paling stabil. Dalam pengujian kami, dengan sampel bahasa Inggris dan baris bahasa Portugis, dubbing klon terdengar hampir semirip hasil VoxCPM2 dengan pembicaranya, dan lebih sedikit salah kata. Jika Anda sudah memisahkan musik dari suara untuk video ini, sampelnya diambil dari suara saja. Fallback reference clip di pengaturan add-on hanya dipakai ketika tidak ada sampel yang bisa dipotong.

Setiap suara siap pakai hanya untuk satu bahasa: suara itu adalah rekaman, dan model melanjutkannya dengan aksennya. Karena itu daftar Suara menampilkan suara-suara dari bahasa proyek Anda. Bahasa Inggris punya 50, di antaranya Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki, dan Leo dari KittenTTS 0.8, serta karakter seperti Marcus, DJ radio bersuara lembut, atau Victoria, narator yang anggun. Bahasa lainnya masing-masing punya 2 sampai 7. KittenML tidak menyebutkan asal rekaman-rekaman itu.

Sesekali model diam alih-alih mengucapkan sebuah baris. Add-on menyadarinya dan mencoba lagi, sampai tiga kali, jadi Anda tidak perlu melakukannya.

Model

Tidak ada satu pun berkas KittenML di dalam add-on: berkas-berkas itu diunduh ke cache model bersama Subtitld saat pertama kali Anda melakukan dubbing, dari repositori Hugging Face milik KittenML pada revisi yang dipatok, dengan setiap berkas diperiksa. Encoder referensi, yang mengubah sampel menjadi suara, diambil dari rilis add-on itu sendiri pada baris klon pertama. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus modelnya.

Add-on ini menjalankan program C++ buatan KittenML sendiri untuk KittenTTS 2, yang sekitar empat kali lebih cepat daripada paket Python KittenML dan hanya butuh sepertiga memorinya.

Opsi

Di Pengaturan › Pengaya › KittenTTS 2 (offline, voice clone, 16 languages) › Atur.

Bahasa

Inggris, Spanyol, Prancis, Jerman, Italia, Portugis, Rusia, Mandarin, Jepang, Korea, Arab, Hindi, Turki, Belanda, Polandia, dan Indonesia. Proyek dalam bahasa lain akan mendapat pesan yang menyebutkan hal itu: pilih mesin dubbing lain untuk proyek tersebut.

Teks bahasa Inggris dibaca sebagaimana maksudnya: "the 3rd of May" menjadi "the third of May", "$12.50" menjadi "twelve dollars fifty". Dalam bahasa lain, tulis angka dan simbol sebagai kata bila hal itu penting.

• en
• es
• fr
• de
• it
• pt
• ru
• zh
• ja
• ko
• ar
• hi
• tr
• nl
• pl
• id

Platform

Linux x86-64, macOS di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on seperti yang dilakukan Subtitld, mengunduh model, lalu melakukan dubbing dengannya, juga dengan suara klon. Di Linux, dibutuhkan glibc 2.35 atau yang lebih baru.

Pemecahan masalah

• network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.
• disk_fullRuang disk tidak cukup untuk model, sekitar 1,7 GB, atau 2,2 GB dengan kloning.
• unsupported_languageBahasa proyek bukan salah satu dari 16 bahasa itu, atau belum diatur. Atur bahasanya di proyek, atau pilih mesin dubbing lain.
• unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.
• bad_paramsBaris tidak memiliki teks, atau suara klon tidak mendapat sampel: buka videonya, atau atur Fallback reference clip. Pesannya menyebutkan yang mana.
• internalAda yang gagal di dalam add-on; pesannya berisi detailnya. Jika pesannya menyebut prosesor tidak memiliki AVX2, FMA, dan F16C, komputer ini tidak dapat menjalankan KittenTTS 2. Jika pesannya menyebut baris itu terus menghasilkan keheningan, coba suara lain atau ubah susunan kata baris itu.

Lisensi

Add-on ini Apache-2.0. Runtime KittenML berlisensi MIT dan Apache-2.0, LibTorch berlisensi BSD-3-Clause, dan bagian-bagian encoder referensi berlisensi MIT. Bobot KittenTTS 2 berada di bawah Stellon Labs Community License, yang Anda terima ketika add-on mengunduhnya: gratis untuk riset dan penggunaan pribadi, dan untuk penggunaan komersial hanya di bawah US$1.000.000 pendapatan tahunan dan total pendanaan, dengan pendaftaran ke Stellon Labs. Bobot dan apa yang dihasilkannya tidak boleh dipakai untuk melatih model lain. Dubbing yang Anda buat adalah milik Anda. Powered by KittenML.