Reverb çevrimdışı, ses klonlama, 7 dil, ticari olmayan

SeslerÇevrimdışıYalnızca CPUSes klonlamaTicari olmayan

Altyazılarınızı Software Mansion AI Labs'in Reverb-TTS'iyle İngilizce, Almanca, Fransızca, İspanyolca, İtalyanca, Lehçe ve Portekizce seslendirir: 16 sesten biriyle ya da her konuşmacının videonun birkaç saniyesinden ve altyazılarından klonlanan kendi sesiyle. Ekran kartı gerekmeden kendi bilgisayarınızın işlemcisinde çalışır. Model yalnızca ticari olmayan kullanım içindir.

Subtitld'den yükleyin

Ayarlar Eklentiler Reverb (offline, voice clone, 7 languages, non-commercial) Yükle

Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.

GitHub'da kaynak kod
Diller
7
Modeller
3
Sesler
17
Eklenti indirmesi
40–65 MB
En az RAM
2.5 GB

Ne yapar

Yedi dil

İngilizce, Almanca, Fransızca, İspanyolca, İtalyanca, Lehçe ve Portekizce. Sayılar, tarihler, fiyatlar ve birimler her dilin kendi biçimiyle sözcük olarak okunur.

Konuşmacının kendi sesi

Subtitld her konuşmacının videodan birkaç saniyesini keser ve içinde konuşulan altyazılarla birlikte gönderir. Reverb o sesi yedi dilinden herhangi birinde klonlar. Ya da 16 sesten birini seçin.

Exact ya da Fast

Exact, modeli yayımlandığı gibi çalıştırır. Fast yaklaşık iki kat hızlıdır ve indirmesi daha küçüktür; karşılığında doğruluktan biraz kaybeder.

İlk satırdan sonra çevrimdışı

Model bir kez, bir satır ona ilk kez ihtiyaç duyduğunda iner. Bundan sonra hiçbir şey bilgisayarınızdan dışarı çıkmaz.

Ticari olmayan model. Reverb-TTS ağırlıkları ve hazır sesleri CC-BY-NC-4.0 altındadır ve bu lisans ticari kullanıma izin vermez. Eklentinin kodu Apache-2.0'dır, ama bu ağırlıkların koşullarını değiştirmez. Ticari işler için ZONOS3-Mini de bu yedi dilin hepsinde ses klonlar ve ağırlıkları Apache-2.0'dır.

Kurmadan önce

  • Disk: model için 640 MB, ilk satırda iner; ilk satırdan önce Fast'i seçerseniz bunun yerine 378 MB. Bir konuşmacının kendi sesini ilk kullandığınızda 327 MB daha.
  • Bellek: konuşurken yaklaşık 1,5 GB.
  • Süre: başka işlerle meşgul bir Intel Core i7-13700T'de bir saniyelik konuşmanın yapılması Exact hızında yaklaşık 0,8 saniye, Fast'te yaklaşık 0,6 saniye sürdü.
  • İşlemci: 64 bit bir Intel ya da AMD işlemci veya Apple Silicon. Ekran kartı kullanılmaz.

Sesler

Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak Reverb'ü seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın.

17 ses.

Kaydedildiği dil Kadın Erkek
İngilizce Anlatıcı, fısıltı Anlatıcı 1, anlatıcı 2, öfkeli
Fransızca Fransız kadın Fransız erkek
Almanca Alman kadın Alman erkek
İtalyanca İtalyan erkek, etkileyici İtalyan erkek
Lehçe Polonyalı erkek
Portekizce Portekizli kadın Portekizli erkek
İspanyolca İspanyol erkek 1, İspanyol erkek 2

Bunlar Reverb'ün kendi hazır sesleridir. Her ses her dili konuşur, ama kaydedildiği dilin aksanıyla. Burada kendine ait bir sesi ya da kadın sesi olmayan bir dil için konuşmacının kendi sesini kullanın.

Speaker's own voice ile Subtitld projenin sesinden o konuşmacının bir örneğini keser (altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan) ve içinde söyleneni, yani o altyazıların metnini gönderir. Reverb'ün ikisine de ihtiyacı vardır. Örnekten ve onun sözcüklerinden devam eder; sözcükler olmadan her satırın ilk sözcüklerini atlardı.

Bu yüzden altyazılar videoda konuşulan dilde olmalıdır. Onları çevirdiyseniz, Subtitld sesin hangi dilde olduğunu bildiği sürece özgün metni gönderir: bunu Yazıya dökme panelinde Altyazı dili altında ayarlayın. Aksi hâlde satır bunu belirten bir mesajla durur. Söyleneni yazıya dökmek yerine başka sözcüklerle aktaran altyazılar klonu kötüleştirir.

En iyi örnek, tek bir kişinin konuştuğu, temiz ve mikrofona yakın 3 ila 10 saniyedir. 2 saniyeden kısa bir örnek reddedilir, 15 saniyeden uzun bir örnek ise genellikle daha kötü satırlar verir. Eklentinin ayarlarındaki Fallback reference clip, Fallback clip's transcript ile birlikte, yalnızca bir örnek kesilemediğinde kullanılır.

Her satır Subtitld'nin gönderdiği tohumla yapılır, bu yüzden aynı seste aynı satır her seferinde aynı çıkar.

Modeller

Model eklentinin içinde değildir: bir satır ona ilk kez ihtiyaç duyduğunda, Reverb'ün ağırlıklarının ONNX Runtime için dönüştürülmüş olarak tutulduğu eklentinin GitHub'daki kendi sürümünden, her dosyası denetlenerek Subtitld'nin paylaşılan model önbelleğine iner. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak onu tutar.

Model İndirmeUygun olduğu
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Varsayılan reverb
640 MB
Varsayılan Exact hızında her satır: ağ, kod çözücü ve 16 ses
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Fast hızında her satır, Exact ağının yerine: kod çözücüyle birlikte toplam 378 MB
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
Konuşmacının kendi sesi, onunla ilk seslendirmede

Exact ve Fast kod çözücüyü ve sesleri paylaşır (111 MB): yalnızca ağ farklıdır, Exact için 529 MB, Fast için 266 MB. Sonradan birinden ötekine geçmek, bir satır ona ilk kez ihtiyaç duyduğunda öteki ağı indirir.

Eklenti Reverb'ü PyTorch olmadan ONNX Runtime üzerinde çalıştırır. Reverb'ün örnekleyicisi ve metin hazırlığı Software Mansion'ın kendi kodundan aktarılmıştır. Rastgele sayıları başka bir kaynaktan gelir, bu yüzden bir tohum burada Reverb'ün kendi paketindekinden farklı bir sonuç verir; Exact ağının o paketin öngördüğünü öngördüğü denetlenmiştir.

Seçenekler

Ayarlar › Eklentiler › Reverb (offline, voice clone, 7 languages, non-commercial) › Yapılandır bölümünde.

CPU threads
Varsayılan: 0

0, bilgisayarın mantıksal işlemcilerini, en çok 8 tanesini kullanır. Daha fazlası nadiren daha hızlıdır; daha azı seslendirme sırasında bilgisayarı daha duyarlı tutar.

Quality steps
Varsayılan: 8

Modelin her satır üzerinden kaç geçiş yaptığı. 8, Reverb'ün kendi ayarıdır; daha azı daha hızlıdır, ama daha çok hata yapar.

Speed
Varsayılan: exact

Exact, modeli Software Mansion'ın yayımladığı gibi çalıştırır. Fast onu 8 bit tamsayılarla, yaklaşık iki kat hızlı, kendi 266 MB'lık indirmesiyle çalıştırır: satırları genellikle aynı duyulur, ama yayımlanan modelden daha çok sapar ve daha sık hata yapar.

Fallback reference clip
Varsayılan: boş

Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu 3 ila 10 saniye, temiz.

Fallback clip's transcript
Varsayılan: boş

Yedek klipte söylenenin tam olarak kendisi, sözcüğü sözcüğüne. Reverb klipten ve sözcüklerinden klonlar, bu yüzden bu metin olmadan yedek klip reddedilir.

Diller

İngilizce, Almanca, Fransızca, İspanyolca, İtalyanca, Lehçe ve Portekizce. Başka bir dildeki proje bunu belirten bir mesaj alır: o proje için başka bir dublaj motoru seçin.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Platformlar

Sistem İndirmeTest edildi
Linux x86-64 64.9 MBCI'da gerçek modelle yedi dilin hepsi seslendirildi ve bir ses klonlandı
macOS (Apple silicon) 45.6 MBCI'da gerçek modelle yedi dilin hepsi seslendirildi ve bir ses klonlandı (Apple Silicon)
Windows x86-64 40.5 MBCI'da gerçek modelle yedi dilin hepsi seslendirildi ve bir ses klonlandı

Linux x86-64 (Ubuntu 22.04, Debian 12 ya da Fedora 36'daki gibi glibc 2.35 veya daha yenisi), Apple Silicon'da macOS ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi Subtitld'nin yaptığı gibi kurar, modeli indirir, her dilde bir satır seslendirir ve bir ses klonlar.

Sorun giderme

  • network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.
  • disk_fullModel için yeterli disk alanı yok: 640 MB (Fast'te 378 MB) ve konuşmacının kendi sesi için 327 MB daha.
  • unsupported_languageProjenin dili bu yedi dilden biri değil ya da ayarlanmamış. Dili projede ayarlayın ya da başka bir dublaj motoru seçin.
  • unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.
  • bad_paramsSatırın metni yok ya da klon ses bir örnek veya örneğin yazıya dökümünü alamadı. Çevrilmiş bir proje için Altyazı dili seçeneğini konuşulan dile ayarlayın; açık video yoksa bir Fallback reference clip ve onun yazıya dökümünü ayarlayın. Mesaj hangisi olduğunu söyler.
  • out_of_memoryBilgisayarın belleği tükendi. Diğer programları kapatın: Reverb yaklaşık 1,5 GB boş bellek ister.
  • internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda.

Lisans

Eklenti
Apache-2.0
Reverb'ün numpy'a aktarılan kendi koduyla
Motor
MIT
ONNX Runtime
Model
CC-BY-NC-4.0
Reverb-TTS v1.0.0 ağırlıkları, Software Mansion AI Labs tarafından; yalnızca ticari olmayan kullanım
Sesler
CC-BY-NC-4.0
Reverb'ün 16 hazır sesi; yalnızca ticari olmayan kullanım
Metin okuma
MIT, Unicode-3.0
Software Mansion'ın Verbalis'i, Unicode Character Database'ten bir tabloyla

Eklenti Apache-2.0'dır, aktardığı Reverb kodu da öyle. Reverb-TTS ağırlıkları ve 16 hazır sesi CC-BY-NC-4.0'dır: yalnızca ticari olmayan kullanım. Modelle gelen bir lisans dosyası, dönüştürülürken neyin değiştirildiğini söyler. ONNX Runtime MIT'dir; sayıları ve tarihleri okuyan Verbalis de MIT'dir.

Sorumlu kullanın. Klonlanmış bir ses gerçek bir kişi gibi duyulur. Yalnızca kullanma hakkınız olan sesleri, konuşmacının onayıyla klonlayın; gerçek kişilerin kimliğine bürünmeyin ve yaptığınız konuşmayı aldatmak, dolandırmak ya da taciz etmek için kullanmayın. Dinleyicilerinize yapay bir ses duyduklarında bunu söyleyin.

Sürümler

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Diğer Sesler eklentileri