Mengklon suara setiap pembicara dari beberapa detik video dan mengucapkan subtitle Anda dalam 16 bahasa, di komputer Anda sendiri. Model ini gratis hanya untuk penggunaan nonkomersial.

Fungsinya

Kloning dari video

Pilih Custom voice dan Subtitld memberi model beberapa detik dari pembicara itu, dipotong dari video. Hasilnya paling baik dengan 6 detik atau lebih.

Dua suara bawaan

XTTS female 1 dan XTTS male 1, untuk pembicara yang tidak Anda klon.

16 bahasa

Model berbicara dalam bahasa proyek, atau dalam bahasa Inggris ketika proyek tidak memiliki bahasa yang diatur.

Dimuat sekali

Baris pertama menunggu model dimuat, dan pada pemakaian pertama juga menunggu unduhannya; baris berikutnya memakai ulang model itu. Di CPU, sebuah kalimat panjang bisa memakan waktu setengah menit.

Model nonkomersial. Bobot XTTS-v2 berada di bawah Coqui Public Model License (CPML): gratis untuk penggunaan nonkomersial, dan lisensi berbayar dari Coqui diperlukan untuk keperluan lain. Add-on menyetujui perintah ketentuan Coqui untuk Anda ketika memuat model, jadi Anda tidak akan melihatnya; ketentuannya tetap berlaku.

Suara

Di tab Pembicara, pilih Coqui XTTS sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Custom voice ada di bagian atas daftar. Setiap baris keluar sepanjang yang dibuat model; aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkannya sesuai subtitlenya.

3 suara dalam 1 bahasa.

en 2

Sampel untuk klon

Ketika suara seorang pembicara adalah Custom voice, Subtitld memotong sampel dari pembicara itu dari audio proyek:

subtitle terpanjangnya yang berdurasi antara 3 dan 12 detik;
jika tidak ada yang cocok, 12 detik pertama dari subtitle yang lebih panjang;
jika semuanya lebih pendek dari 3 detik, beberapa secara berurutan, digabung hingga mencapai 3 detik.

XTTS bekerja paling baik dengan 6 detik atau lebih, jadi berikan setiap pembicara setidaknya satu baris yang berdurasi 6 hingga 12 detik. Jika Anda sudah memisahkan musik dari suara untuk video ini, sampelnya diambil dari suara saja. Default voice reference di pengaturan add-on hanya dipakai ketika tidak ada sampel yang bisa dipotong, misalnya ketika tidak ada video yang terbuka.

Subtitld menyimpan sampel setiap pembicara dan memotongnya ulang hanya jika berkas audio berubah. Setelah Anda menggeser ulang baris seorang pembicara, hapus sampelnya untuk mendapatkan yang baru; namanya diakhiri dengan nama pembicara.

Sistem	Folder
Linux	`~/.cache/subtitld/clone-refs`
macOS	`~/Library/Caches/subtitld/clone-refs`
Windows	`%LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs`

Model

Satu model, diunduh saat pertama kali Anda membuat sebuah baris; dua berkas kecil di sebelahnya adalah pengaturan dan kosakatanya. Add-on menjaganya tetap dimuat sampai tidak dipakai selama lima menit.

Model	Unduhan
xtts_v2	1.9 GB
xtts_v2_config	1 MB
xtts_v2_vocab	1 MB

Opsi

Add-on membaca pengaturan ini saat mulai, sehingga perubahan berlaku setelah ia tidak dipakai selama lima menit, atau setelah Anda memulai ulang Subtitld.

Di Pengaturan › Pengaya › Coqui XTTS-v2 (offline + voice clone) › Atur.

Inference device

Bawaan: cpu

Biarkan di CPU. Build yang dirilis dibuat dengan paket CPU PyTorch, sehingga CUDA tidak akan berfungsi dengannya; MPS ditandai beta.

Default voice reference (6+ seconds, mono WAV recommended)

Bawaan: kosong

Sebuah klip untuk disalin ketika Subtitld tidak dapat mengambil sampel pembicara dari video, misalnya ketika tidak ada video yang terbuka. Sampel dari video selalu didahulukan. Selama ini diatur, kedua suara bawaan ikut menyalin klip ini.

Bahasa

Add-on meneruskan bahasa proyek ke model tanpa wilayahnya; jika tidak ada bahasa yang diatur, model berbicara dalam bahasa Inggris.

en
es
fr
de
it
pt
pl
tr
ru
nl
cs
ar
zh-cn
ja
hu
ko

Platform

Sistem	Unduhan	Diuji
Linux x86-64	442.7 MB	Dibangun dan dimulai di CI
macOS (universal)	323.1 MB	Dibangun dan dimulai di CI
Windows x86-64	302.2 MB	Dibangun dan dimulai di CI

Setiap rilis dibangun di Linux, macOS, dan Windows, dan CI memeriksa bahwa program dimulai dan mendaftar suaranya. CI tidak membuat ucapan.

Pemecahan masalah

bad_paramsSubtitle tidak memiliki teks, atau klon tidak mendapat sampel: Subtitld tidak dapat memotongnya (tidak ada video yang terbuka, atau tidak ada subtitle untuk pembicara itu) dan tidak ada klip bawaan yang diatur. Beri teks pada subtitle, buka videonya, atau atur Default voice reference.
internalModel gagal dimuat atau gagal mengucapkan baris; pesannya menyebutkan yang mana. Unduhan yang gagal pada pemakaian pertama juga berakhir di sini: periksa koneksi dan ruang disk kosong Anda, lalu coba lagi. Periksa juga bahwa bahasa proyek termasuk salah satu yang tercantum di atas.

Lisensi

Add-on

MIT

Engine

MPL-2.0

coqui-ai-TTS (fork idiap)

Models

CPML

Bobot XTTS-v2; nonkomersial tanpa lisensi Coqui

Tidak untuk pekerjaan komersial kecuali Anda memiliki lisensi komersial dari Coqui untuk bobot XTTS-v2. Kode add-on itu sendiri berlisensi MIT.

Coqui XTTS (offline + voice clone)