ZONOS3-Mini çevrimdışı, ses klonlama, 43 dil

SeslerÇevrimdışıYalnızca CPUSes klonlamaTicari kullanıma uygun

Altyazılarınızı Zyphra'nın ZONOS3-Mini'siyle 43 dilde seslendirir: 27 sesten biriyle ya da her konuşmacının videonun birkaç saniyesinden klonlanan kendi sesiyle. Ekran kartı gerekmeden kendi bilgisayarınızın işlemcisinde, gerçek zamandan yaklaşık iki kat hızlı çalışır.

Subtitld'den yükleyin

Ayarlar Eklentiler ZONOS3-Mini (offline, voice clone, 43 languages) Yükle

Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.

GitHub'da kaynak kod
Diller
43
Modeller
2
Sesler
28
Eklenti indirmesi
19–24 MB
En az RAM
2 GB

Ne yapar

43 dil

Arapça, Bengalce ve Bulgarcadan Türkçe, Urduca ve Vietnamcaya; Japonca, Korece, Mandarin Çincesi, Hintçe ve Hindistan'ın sekiz dili daha dahil. Sayılar, tarihler, fiyatlar ve birimler her dilin kendi dilbilgisiyle okunur.

Konuşmacının kendi sesi

Subtitld her konuşmacının videodan bir örneğini keser ve her satırla birlikte gönderir. ZONOS3-Mini o sesi dillerinden herhangi birinde klonlar. Ya da 27 sesten birini seçin.

Satır metinle birlikte biter

Her satır konuşulurken denetlenir, böylece sözcükler atlanmaz; satır, metin okununca durur ve altyazıda olmayan sözcüklerle devam etmez.

İlk satırdan sonra çevrimdışı

Model bir kez, bir satır ona ilk kez ihtiyaç duyduğunda iner. Bundan sonra hiçbir şey bilgisayarınızdan dışarı çıkmaz.

Kurmadan önce

  • Disk: model için 1.115 MB, ilk satırda iner; bir konuşmacının kendi sesini ilk kullandığınızda 45 MB daha.
  • Bellek: konuşurken yaklaşık 1,6 GB.
  • Süre: bir Intel Core i7-13700T'de bir saniyelik konuşmanın yapılması yaklaşık yarım saniye sürer. İlk satır, model yüklenirken yaklaşık 4 saniye daha; konuşmacının kendi sesiyle ilk satır ise ses öğrenilirken yaklaşık 5 saniye daha bekler.
  • İşlemci: AVX2 destekli 64 bit bir Intel ya da AMD işlemci (2013'ten beri Intel, 2015'ten beri AMD) veya Apple Silicon. Ekran kartı kullanılmaz.

Sesler

Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak ZONOS3-Mini'yi seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın.

28 ses.

Kaydedildiği dil Kadın Erkek
İngilizce Imogen (İngiliz), Morgana (cadı), Sakura (anime), Savannah (Amerikan), Willow (ASMR) Cillian (İrlandalı), Jett (enerjik), Rupert (İngiliz), Thaddeus (spiker), Wyatt (Amerikan)
Fransızca Gaspard
Almanca Liesel Wolfgang
Hintçe Ananya Arjun
İtalyanca Ginevra Lorenzo
Korece Seoyeon Minjun
Mandarin Çincesi Meilin (enerjik) Haoran (enerjik)
Portekizce Leonor Thiago
İspanyolca Ximena Rodrigo
Telugu dili Sravya Chaitanya

Bunlar Zyphra'nın kendi varsayılan sesleridir. Her ses her dili konuşur, ama kaydedildiği dilin aksanıyla; başka bir dilde bu aksan güçlü olabilir: Rusça konuşan bir İngilizce sesi anlamak zordur. Burada kendine ait bir sesi olmayan bir dil için konuşmacının kendi sesini kullanın.

Speaker's own voice ile Subtitld projenin sesinden o konuşmacının bir örneğini keser: altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan. Bu video için müziği sesten ayırdıysanız, örnek yalnızca sesten gelir. Eklentinin ayarlarındaki Fallback reference clip yalnızca bir örnek kesilemediğinde kullanılır.

ZONOS3-Mini örneğin bir dakikaya kadarını dinler ve sözcükleri ya da söyleniş biçimini değil, sesi kopyalar. En iyi örnek, mikrofona yakın temiz konuşmadır: gürültü ve yankı klonu konuşmacıya daha az benzetir, telefon kaydı ise telefondan geliyormuş gibi bir ses verir.

Modeller

Model eklentinin içinde değildir: bir satır ona ilk kez ihtiyaç duyduğunda Zyphra'nın Hugging Face deposundan sabitlenmiş bir sürümle, her dosyası denetlenerek Subtitld'nin paylaşılan model önbelleğine iner. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak onu tutar.

Model İndirmeUygun olduğu
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Varsayılan zonos3-mini
1.1 GB
Her satır, her dilde ve her seste
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
Konuşmacının kendi sesi, onunla ilk seslendirmede

Eklenti, Zyphra'nın kendi ggml çalışma ortamını, yani Zyphra'nın yerel sunucusuyla aynı kodu, eklentinin içine yerleşik olarak, PyTorch olmadan çalıştırır.

Kendi hâline bırakılırsa model kısa bir satırdan sonra bazen konuşmaya devam eder ve altyazıda olmayan birkaç sözcük ekler. Bu yüzden her satır, Zyphra'nın hizalama denetimi LACI altında çalışır: metnin hangi kısmının konuşulduğunu izler, atlanan ya da takılan bir bölümü yeniden alır ve metin okunur okunmaz satırı durdurur. Eklenti sonra satırı o noktadan sonraki ilk sessizlikte keser. Bu kesme Zyphra'nın değil, eklentinin kendi kuralıdır. Kısa altyazı satırlarıyla yaptığımız testte bu şekilde 64 satırdan 61'i temiz çıktı, bu olmadan 64'te 37. Sessiz çıkan bir satır yeniden yapılır.

Seçenekler

Ayarlar › Eklentiler › ZONOS3-Mini (offline, voice clone, 43 languages) › Yapılandır bölümünde.

CPU threads
Varsayılan: 0

0, bilgisayarın mantıksal işlemcilerini, en çok 8 tanesini kullanır. Daha fazlası nadiren daha hızlıdır; daha azı seslendirme sırasında bilgisayarı daha duyarlı tutar.

Fallback reference clip
Varsayılan: boş

Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu 5 ila 20 saniye, temiz, telefon kaydı olmayan.

Diller

Arapça, Bengalce, Bulgarca, Çince (Mandarin), Çekçe, Danca, Felemenkçe, İngilizce, Fince, Fransızca, Gürcüce, Almanca, Yunanca, Güceratça, İbranice, Hintçe, Macarca, Endonezce, İtalyanca, Japonca, Kannada dili, Korece, Malayca, Malayalam dili, Marathi dili, Norveççe, Oriya dili, Lehçe, Portekizce, Pencapça, Rumence, Rusça, Slovakça, İspanyolca, İsveççe, Tagalogca, Tamilce, Telugu dili, Tayca, Türkçe, Ukraynaca, Urduca ve Vietnamca. Başka bir dildeki proje bunu belirten bir mesaj alır: o proje için başka bir dublaj motoru seçin.

İngilizce projenin bölgesine göre değişir: Birleşik Krallık, İrlanda, Avustralya, Yeni Zelanda, Güney Afrika ve Hindistan İngiliz İngilizcesini, diğer her bölge Amerikan İngilizcesini alır. Portekizce Brezilya Portekizcesi, Fransızca da Fransa Fransızcası olarak okunur.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Platformlar

Sistem İndirmeTest edildi
Linux x86-64 19.0 MBAlmaLinux 8'de sürüm arşivindeki gerçek modelle ve CI'da seslendirildi
macOS (Apple silicon) 24.0 MBCI'da gerçek modelle seslendirildi (Apple Silicon)
Windows x86-64 18.5 MBCI'da gerçek modelle seslendirildi

Linux x86-64, Apple Silicon'da macOS ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi Subtitld'nin yaptığı gibi kurar, modeli indirir ve altı dilde satırlar, kısa bir satır ve klonlanmış bir ses seslendirir.

Sorun giderme

  • network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.
  • disk_fullModel için yeterli disk alanı yok: 1.115 MB ve konuşmacının kendi sesi için 45 MB daha.
  • unsupported_languageProjenin dili bu 43 dilden biri değil ya da ayarlanmamış. Dili projede ayarlayın ya da başka bir dublaj motoru seçin.
  • unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.
  • bad_paramsSatırın metni yok ya da klon ses bir örnek alamadı: videoyu açın ya da bir Fallback reference clip ayarlayın. Mesaj hangisi olduğunu söyler.
  • out_of_memoryBilgisayarın belleği tükendi. Diğer programları kapatın: ZONOS3-Mini yaklaşık 2 GB boş bellek ister.
  • internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda. AVX2'si olmayan eski bir işlemcide mesaj bunu söyler.

Lisans

Eklenti
Apache-2.0
Motor
MIT
Zyphra'nın ZONOS3-Mini çalışma ortamı, ggml ile
Model
Apache-2.0
ZONOS3-Mini ağırlıkları, Zyphra tarafından
Sesler
Apache-2.0
Zyphra'nın varsayılan sesleri
Metin okuma
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm; NVIDIA'nın NeMo-text-processing'inden aktarılan dilbilgileri ve Unicode CLDR verileriyle

Eklenti Apache-2.0. ZONOS3-Mini'nin ağırlıkları ve varsayılan sesleri Apache-2.0, Zyphra'nın çalışma ortamı MIT; bu yüzden ticari işlere izin verilir. Metin okuma kısmı, zyphra-textnorm, MIT; NVIDIA'nın NeMo-text-processing'inden (Apache-2.0) aktarılan dilbilgileri ve Unicode CLDR verileriyle.

Yaptığınız dublajlar sizindir. Klonlanmış bir ses gerçek bir kişi gibi duyulur: yalnızca kullanma hakkınız olan sesleri klonlayın ve önemli olduğu yerde dublajın yapay olduğunu belirtin.

Sürümler

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Diğer Sesler eklentileri