BlueTTS çevrimdışı, ses klonlama, İbranice + 6 dil

SeslerÇevrimdışıYalnızca CPUSes klonlamaTicari kullanıma uygun

Altyazılarınızı Maxim Melichov'un BlueV3'üyle İbranice, İngilizce, Almanca, İspanyolca, İtalyanca, Rusça ve Yidiş olarak seslendirir: 15 sesten biriyle ya da her konuşmacının videonun yaklaşık on saniyesinden klonlanan kendi sesiyle. Ekran kartı gerekmeden kendi bilgisayarınızın işlemcisinde, gerçek zamandan üç ila beş kat hızlı çalışır.

Subtitld'den yükleyin

Ayarlar Eklentiler BlueTTS (offline, voice clone, Hebrew + 6 languages) Yükle

Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.

GitHub'da kaynak kod
Diller
7
Modeller
5
Sesler
16
Eklenti indirmesi
37–62 MB
En az RAM
2.5 GB

Ne yapar

İbranice ve Yidiş

BlueTTS önce İbranice için yapıldı: sayılar, tarihler ve fiyatlar dahil harekesiz İbranice metni okur, bir İbranice satırın içindeki İngilizce sözcükleri de İngilizce okur. Az sayıda dublaj motorunun yapabildiği gibi Yidiş de konuşur.

Konuşmacının kendi sesi

Subtitld her konuşmacının videodan yaklaşık on saniyesini keser ve her satırla birlikte gönderir. BlueTTS o sesi yedi dilinden herhangi birinde klonlar. Ya da 15 sesten birini seçin.

Her bilgisayarda hızlı

Bir dizüstü bilgisayar işlemcisinde gerçek zamandan üç ila beş kat hızlı konuşur. Ekran kartı kullanılmaz.

İlk satırdan sonra çevrimdışı

Her parça bir kez, bir satır ona ilk kez ihtiyaç duyduğunda iner. Bundan sonra hiçbir şey bilgisayarınızdan dışarı çıkmaz.

Kurmadan önce

BlueTTS'in neye ihtiyaç duyduğu, seslendirdiğiniz dillere bağlıdır:

  • Disk: model için 428 MB, ilk satırda iner. İbranice 1,2 GB (ya da kompakt okuma modeliyle 312 MB), Yidiş 307 MB, konuşmacının kendi sesi 136 MB ekler; her biri ilk kullandığınızda.
  • Bellek: konuşurken yaklaşık 700 MB, İbranice yüklendikten sonra yaklaşık 2 GB.
  • Süre: bir Intel Core i7-13700T'de bir saniyelik konuşmanın yapılması yaklaşık beşte bir saniye, İbranicede üçte bir saniye sürer. İlk İbranice satır, okuma modeli yüklenirken yaklaşık 15 saniye daha bekler.
  • İşlemci: herhangi bir 64 bit Intel ya da AMD işlemci veya Apple Silicon. Ekran kartı kullanılmaz.

Sesler

Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak BlueTTS'i seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın.

16 ses.

Sesler
Kadın Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Erkek Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Her ses yedi dilin hepsini, her dilde kendi doğal hızında konuşur. Sesler, LibriTTS-R sesli kitap derleminin okuyucularından yapıldı.

Speaker's own voice ile Subtitld projenin sesinden o konuşmacının bir örneğini keser: altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan. Bu video için müziği sesten ayırdıysanız, örnek yalnızca sesten gelir. Eklentinin ayarlarındaki Fallback reference clip yalnızca bir örnek kesilemediğinde kullanılır.

BlueTTS örneğin yaklaşık ilk dokuz saniyesini dinler ve sesin anlatımını değil, tınısını ve perdesini kopyalar. En iyi örnek, mikrofona yakın temiz konuşmadır: gürültü ve yankı klonu konuşmacıya daha az benzetir, telefon kaydı ise telefondan geliyormuş gibi bir ses verir.

Modeller

Model ve okuma modelleri eklentinin içinde değildir: her biri, bir satır ona ilk kez ihtiyaç duyduğunda Hugging Face'ten sabitlenmiş bir sürümle, her dosyası denetlenerek Subtitld'nin paylaşılan model önbelleğine iner. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak onları tutar.

Model İndirmeUygun olduğu
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Varsayılan bluev3
428 MB
Her satır: sesler ve İngilizce, Almanca, İspanyolca, İtalyanca ile Rusçanın okunuşu
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
Konuşmacının kendi sesi, onunla ilk seslendirmede
RenikudPlus Hebrew G2P renikudplus
1.2 GB
İbranice, ilk seslendirmede (varsayılan)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
İbranice, kompakt okuma modelini seçtiğinizde
ReNikud-yi Yiddish context model renikud-yi
307 MB
Yidiş, ilk seslendirmede

Eklenti, BlueTTS'in kendi kodunu ONNX Runtime üzerinde, PyTorch olmadan çalıştırır. Aynı ses, satır ve seed ile BlueTTS'in kendi Python paketinin verdiğinin tam aynısını verir.

Seçenekler

Ayarlar › Eklentiler › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Yapılandır bölümünde.

CPU threads
Varsayılan: 0

0, bilgisayarın mantıksal işlemcilerini, en çok 8 tanesini kullanır. Daha fazlası nadiren daha hızlıdır; daha azı seslendirme sırasında bilgisayarı daha duyarlı tutar.

Quality steps
Varsayılan: 8

Modelin her satırın üzerinden kaç kez geçtiği. 8, BlueTTS'in kendi ayarıdır. 4 yaklaşık 1,7 kat hızlıdır, kalitesi biraz daha düşüktür.

Hebrew reading model
Varsayılan: accurate

İbranice metnin seslere nasıl dönüştürüldüğü. accurate tam modeldir, 1,2 GB, yaklaşık 2 GB bellekle. compact aynı modelin küçültülmüş hâlidir, 312 MB: testimizde yaklaşık 200 sözcükte 1'ini farklı, çoğunlukla yanlış okudu.

Fallback reference clip
Varsayılan: boş

Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu yaklaşık 10 saniye, temiz, telefon kaydı olmayan.

Diller

İbranice, İngilizce, Almanca, İspanyolca, İtalyanca, Rusça ve Yidiş. Başka bir dildeki proje bunu belirten bir mesaj alır: o proje için başka bir dublaj motoru seçin.

İspanyolca projenin bölgesine göre değişir: İspanya Kastilya İspanyolcasını, diğer her bölge Latin Amerika İspanyolcasını alır. Sayılar, tarihler, fiyatlar ve kodlar sözcük olarak okunur, Yidiş dışında: Yidiş sayıları sözcüklerle yazın, yoksa satır bunu belirten bir mesajla reddedilir.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Platformlar

Sistem İndirmeTest edildi
Linux x86-64 61.7 MBGerçek bir makinede Subtitld'nin eklenti yöneticisi üzerinden ve CI'da gerçek modelle seslendirildi
macOS (Apple silicon) 43.8 MBCI'da gerçek modelle seslendirildi (Apple Silicon)
Windows x86-64 37.3 MBCI'da gerçek modelle seslendirildi

Linux x86-64, Apple Silicon'da macOS ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi Subtitld'nin yaptığı gibi kurar, modelleri indirir ve her dilde bir satır seslendirir.

Sorun giderme

  • network_unavailableBir model indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.
  • disk_fullModel için yeterli disk alanı yok: 428 MB ve İbranice, Yidiş ve konuşmacının kendi sesi için 1,7 GB'a kadar daha.
  • unsupported_languageProjenin dili bu yedi dilden biri değil ya da ayarlanmamış. Dili projede ayarlayın ya da başka bir dublaj motoru seçin.
  • unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.
  • bad_paramsSatırın metni yok, bir Yidiş satırda rakam var ya da klon ses bir örnek alamadı: videoyu açın ya da bir Fallback reference clip ayarlayın. Mesaj hangisi olduğunu söyler.
  • out_of_memoryBilgisayarın belleği tükendi. Diğer programları kapatın: BlueTTS yaklaşık 1 GB, İbraniceyle 2,5 GB boş bellek ister.
  • internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda.

Lisans

Eklenti
Apache-2.0
Motor
MIT
BlueTTS, Maxim Melichov tarafından; ONNX Runtime MIT
Model
MIT, BigScience OpenRAIL-M
BlueV3 ağırlıkları; Supertone'un Supertonic-3'ünden ince ayarlanan vocoder, kullanım kısıtlamalarıyla OpenRAIL-M
Sesler
CC-BY-4.0
LibriTTS-R konuşmacılarından yapıldı
Okuma modelleri
Apache-2.0, MIT, CC BY-SA
RenikudPlus (İbranice), polyg2p; Almanca ve İtalyanca sözlükler ile Yidiş sözlüğünün bir kısmı CC BY-SA

Eklenti Apache-2.0, BlueTTS'in kodu MIT. Ses modeli de MIT, vocoder'ı hariç; vocoder, modelin çıktısını sese dönüştüren parçadır: Supertone'un Supertonic-3'ünden ince ayarlanmıştır ve BigScience OpenRAIL-M lisansını taşır. Ticari işlere izin verilir, ama OpenRAIL-M ürettiklerinin bazı kullanımlarını yasaklar; bunlar arasında yasaları çiğnemek, insanları aldatmak ve birini rızası olmadan taklit etmek var. 15 ses CC-BY-4.0. Almanca ve İtalyanca sözlükler ile Yidiş sözlüğünün bir kısmı CC BY-SA; modellerle birlikte inerler ve yazarlarının yayımladığı gibi kalırlar.

Yaptığınız dublajlar sizindir. Klonlanmış bir ses gerçek bir kişi gibi duyulur: yalnızca kullanma hakkınız olan sesleri klonlayın ve önemli olduğu yerde dublajın yapay olduğunu belirtin.

Sürümler

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Diğer Sesler eklentileri