ZONOS3-Mini luring, kloning suara, 43 bahasa

SuaraLuringHanya CPUKloning suaraBoleh untuk komersial

Mengisi suara subtitle Anda dalam 43 bahasa dengan ZONOS3-Mini karya Zyphra, dengan salah satu dari 27 suara atau dengan suara asli setiap pembicara yang dikloning dari beberapa detik video. Berjalan di prosesor komputer Anda sendiri, sekitar dua kali lebih cepat daripada waktu nyata, tanpa kartu grafis.

Pasang dari Subtitld

Pengaturan Pengaya ZONOS3-Mini (offline, voice clone, 43 languages) Pasang

Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.

Sumber di GitHub
Bahasa
43
Model
2
Suara
28
Unduhan pengaya
19–24 MB
RAM, minimal
2 GB

Fungsinya

43 bahasa

Dari Arab, Bengali, dan Bulgaria hingga Turki, Urdu, dan Vietnam, termasuk Jepang, Korea, Mandarin, Hindi, dan delapan bahasa India lainnya. Angka, tanggal, harga, dan satuan dibaca menurut tata bahasa masing-masing bahasa.

Suara asli pembicara

Subtitld memotong sampel setiap pembicara dari video dan mengirimnya bersama setiap baris. ZONOS3-Mini mengkloning suara itu dalam bahasa mana pun yang didukungnya. Atau pilih salah satu dari 27 suara.

Baris berakhir saat teksnya berakhir

Setiap baris diperiksa selagi diucapkan, sehingga tidak ada kata yang terlewat, dan baris berhenti saat teksnya selesai dibaca alih-alih berlanjut dengan kata-kata yang tidak ada di subtitle.

Offline setelah baris pertama

Model diunduh sekali, saat pertama kali sebuah baris membutuhkannya. Setelah itu, tidak ada yang keluar dari komputer Anda.

Sebelum menginstal

  • Disk: 1.115 MB untuk model, diunduh pada baris pertama, dan 45 MB lagi saat pertama kali Anda memakai suara asli pembicara.
  • Memori: sekitar 1,6 GB saat berbicara.
  • Waktu: di Intel Core i7-13700T, satu detik ucapan butuh sekitar setengah detik untuk dibuat. Baris pertama menunggu sekitar 4 detik lebih lama selagi model dimuat, dan baris pertama dengan suara asli pembicara sekitar 5 detik lebih lama selagi suaranya dipelajari.
  • Prosesor: prosesor Intel atau AMD 64-bit dengan AVX2 (Intel sejak 2013, AMD sejak 2015), atau Apple Silicon. Kartu grafis tidak dipakai.

Suara

Di tab Pembicara, pilih ZONOS3-Mini sebagai Mesin dubbing seorang pembicara, lalu pilih Suara. Aktifkan Sesuaikan dubbing dengan durasi subtitle agar pembicara itu meregangkan atau memampatkan setiap baris sesuai subtitlenya.

28 suara.

Direkam dalam Wanita Pria
Inggris Imogen (Britania), Morgana (penyihir), Sakura (anime), Savannah (Amerika), Willow (ASMR) Cillian (Irlandia), Jett (energik), Rupert (Britania), Thaddeus (penyiar), Wyatt (Amerika)
Prancis Gaspard
Jerman Liesel Wolfgang
Hindi Ananya Arjun
Italia Ginevra Lorenzo
Korea Seoyeon Minjun
Mandarin Meilin (energik) Haoran (energik)
Portugis Leonor Thiago
Spanyol Ximena Rodrigo
Telugu Sravya Chaitanya

Ini adalah suara bawaan Zyphra sendiri. Setiap suara berbicara dalam semua bahasa, tetapi dengan aksen bahasa tempat suara itu direkam, dan dalam bahasa lain aksen itu bisa kuat: suara Inggris yang berbicara bahasa Rusia sulit diikuti. Untuk bahasa yang tidak punya suara sendiri di sini, pakai suara asli pembicara.

Dengan Speaker's own voice, Subtitld memotong sampel pembicara itu dari audio proyek, dari salah satu subtitlenya atau beberapa subtitle pendek yang digabung. Jika Anda sudah memisahkan musik dari suara untuk video ini, sampelnya diambil dari suara saja. Fallback reference clip di pengaturan add-on hanya dipakai ketika tidak ada sampel yang bisa dipotong.

ZONOS3-Mini mendengarkan hingga satu menit sampel dan meniru suaranya, bukan kata-katanya atau cara mengucapkannya. Sampel terbaik adalah ucapan bersih yang dekat dengan mikrofon: bising dan gema membuat klon kurang mirip dengan pembicara, dan rekaman ponsel menghasilkan suara yang terdengar seperti dari telepon.

Model

Model tidak ada di dalam add-on: model diunduh ke cache model bersama Subtitld saat pertama kali sebuah baris membutuhkannya, dari repositori Hugging Face milik Zyphra pada revisi yang dipatok, dengan setiap berkas diperiksa. Unduhan yang terputus dilanjutkan dari tempat berhentinya. Memperbarui atau menghapus add-on tidak menghapus model itu.

Model UnduhanCocok untuk
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Bawaan zonos3-mini
1.1 GB
Setiap baris, dalam setiap bahasa dan suara
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
Suara asli pembicara, saat pertama kali Anda melakukan dubbing dengannya

Add-on ini menjalankan runtime ggml milik Zyphra sendiri, kode yang sama dengan server lokal Zyphra, yang dibangun ke dalam add-on tanpa PyTorch.

Jika dibiarkan, model kadang terus berbicara setelah baris pendek, menambahkan beberapa kata yang tidak ada di subtitle. Karena itu setiap baris dijalankan dengan LACI, pemeriksaan penyelarasan milik Zyphra: LACI mengikuti bagian teks mana yang sedang diucapkan, mengulang bagian yang terlewat atau macet, dan menghentikan baris begitu teksnya selesai dibaca. Add-on lalu memotong baris pada jeda hening pertama setelah titik itu. Pemotongan itu adalah aturan add-on sendiri, bukan aturan Zyphra. Dalam pengujian kami dengan baris subtitle pendek, 61 dari 64 baris keluar bersih dengan cara ini, dibandingkan 37 dari 64 tanpanya. Baris yang keluar tanpa suara dibuat ulang.

Opsi

Di Pengaturan › Pengaya › ZONOS3-Mini (offline, voice clone, 43 languages) › Atur.

CPU threads
Bawaan: 0

0 memakai prosesor logis komputer, paling banyak 8. Lebih banyak jarang lebih cepat; lebih sedikit membuat komputer tetap lebih responsif selama dubbing.

Fallback reference clip
Bawaan: kosong

Klip untuk suara klon ketika Subtitld tidak dapat memotongnya dari video, misalnya ketika tidak ada video yang terbuka: 5 sampai 20 detik satu orang berbicara, bersih, bukan rekaman ponsel.

Bahasa

Arab, Bengali, Bulgaria, Tionghoa (Mandarin), Ceko, Denmark, Belanda, Inggris, Finlandia, Prancis, Georgia, Jerman, Yunani, Gujarati, Ibrani, Hindi, Hungaria, Indonesia, Italia, Jepang, Kannada, Korea, Melayu, Malayalam, Marathi, Norwegia, Odia, Polandia, Portugis, Punjabi, Rumania, Rusia, Slowakia, Spanyol, Swedia, Tagalog, Tamil, Telugu, Thai, Turki, Ukraina, Urdu, dan Vietnam. Proyek dalam bahasa lain akan mendapat pesan yang menyebutkan hal itu: pilih mesin dubbing lain untuk proyek tersebut.

Bahasa Inggris mengikuti wilayah proyek: Britania Raya, Irlandia, Australia, Selandia Baru, Afrika Selatan, dan India mendapat bahasa Inggris Britania, wilayah lain mana pun mendapat bahasa Inggris Amerika. Bahasa Portugis dibaca sebagai Portugis Brasil, dan bahasa Prancis sebagai Prancis dari Prancis.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Platform

Sistem UnduhanDiuji
Linux x86-64 19.0 MBDubbing dengan model asli dari arsip rilis di AlmaLinux 8, dan di CI
macOS (Apple silicon) 24.0 MBDubbing dengan model asli di CI (Apple Silicon)
Windows x86-64 18.5 MBDubbing dengan model asli di CI

Linux x86-64, macOS di Apple Silicon, dan Windows x86-64. Setiap rilis dibangun di ketiganya, dan di masing-masing CI menginstal add-on seperti yang dilakukan Subtitld, mengunduh model, lalu melakukan dubbing baris dalam enam bahasa, satu baris pendek, dan satu suara klon.

Pemecahan masalah

  • network_unavailableModel tidak dapat diunduh. Periksa koneksi Anda dan coba lagi: unduhan akan dilanjutkan.
  • disk_fullRuang disk tidak cukup untuk model: 1.115 MB, dan 45 MB lagi untuk suara asli pembicara.
  • unsupported_languageBahasa proyek bukan salah satu dari ke-43 bahasa itu, atau belum diatur. Atur bahasanya di proyek, atau pilih mesin dubbing lain.
  • unsupported_voiceProyek menyebut suara yang tidak ada di versi ini. Pilih suaranya lagi di tab Pembicara.
  • bad_paramsBaris tidak memiliki teks, atau suara klon tidak mendapat sampel: buka videonya, atau atur Fallback reference clip. Pesannya menyebutkan yang mana.
  • out_of_memoryMemori komputer habis. Tutup program lain: ZONOS3-Mini butuh sekitar 2 GB memori kosong.
  • internalAda yang gagal di dalam add-on; pesannya berisi detailnya. Pada prosesor lama tanpa AVX2, pesannya menyebutkan hal itu.

Lisensi

Add-on
Apache-2.0
Engine
MIT
Runtime ZONOS3-Mini milik Zyphra, dengan ggml
Model
Apache-2.0
Bobot ZONOS3-Mini, oleh Zyphra
Suara
Apache-2.0
Suara bawaan Zyphra
Pembacaan teks
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm, dengan tata bahasa yang di-porting dari NeMo-text-processing milik NVIDIA dan data dari Unicode CLDR

Add-on ini berlisensi Apache-2.0. Bobot ZONOS3-Mini dan suara bawaannya berlisensi Apache-2.0, dan runtime Zyphra berlisensi MIT, jadi pekerjaan komersial diizinkan. Pembacaan teks, zyphra-textnorm, berlisensi MIT, dengan tata bahasa yang di-porting dari NeMo-text-processing milik NVIDIA (Apache-2.0) dan data dari Unicode CLDR.

Dubbing yang Anda buat adalah milik Anda. Suara klon terdengar seperti orang sungguhan: kloning hanya suara yang berhak Anda pakai, dan sebutkan bahwa dubbing itu sintetis bila hal itu penting.

Versi

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Pengaya Suara lainnya