Chatterbox çevrimdışı, ses klonlama, 20 dil

SeslerÇevrimdışıYalnızca CPUSes klonlamaTicari kullanıma uygun

Altyazılarınızı Resemble AI'ın Chatterbox'ıyla 20 dilde seslendirir: her konuşmacının videonun birkaç saniyesinden klonlanan kendi sesiyle ya da 8 hazır sesten biriyle. Klonlanan ses, klip hangi dilde olursa olsun her dili konuşur. Ekran kartı gerekmeden kendi bilgisayarınızın işlemcisinde, yaklaşık gerçek zamanlı çalışır.

Subtitld'den yükleyin

Ayarlar Eklentiler Chatterbox (offline, voice clone, 20 languages) Yükle

Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.

GitHub'da kaynak kod
Diller
20
Modeller
2
Sesler
9
Eklenti indirmesi
39–62 MB
En az RAM
2 GB

Dinleyin

Ne yapar

Konuşmacının kendi sesi, başka bir dilde

Subtitld her konuşmacının videodan birkaç saniyesini keser ve her satırla birlikte gönderir. Chatterbox o sesi 20 dilinden herhangi birinde klonlar; böylece Portekizli bir oyuncu Almanca seslendirilip yine kendisi gibi duyulabilir.

İki model

Multilingual 20 dilin hepsini konuşur. Turbo yalnızca İngilizce konuşur, konuşmacıya daha yakın duyulur, daha az bellek ister ve altyazıya yazılan [laugh] ve [sigh] gibi etiketleri okur.

Her bilgisayarda

Ekran kartı gerekmeden işlemcide, yaklaşık gerçek zamanlı çalışır: 10 saniyelik bir satır yaklaşık 10 saniye sürer.

Ticari işler için ücretsiz

Eklenti Apache-2.0, Chatterbox ve modelleri MIT; hazır sesler ise kamu malı olan LibriVox okuyucularıdır.

Kurmadan önce

  • Disk: Multilingual ilk satırda 1,3 GB indirir, Turbo 725 MB.
  • Bellek: Multilingual ile konuşurken yaklaşık 1,7 GB, Turbo ile yaklaşık 1 GB.
  • İşlemci: herhangi bir 64 bit Intel ya da AMD işlemci veya Apple Silicon. Ekran kartı kullanılmaz.

Bir sesi yalnızca sahibinin rızasıyla klonlayın. Chatterbox'ın kendi derlemeleri sesi duyulmayan bir filigranla işaretler; bu eklenti bunu yapmaz, bu yüzden klonlanan bir sesin nasıl kullanıldığının sorumluluğu size aittir.

Sesler

Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak Chatterbox'ı seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın.

9 ses.

Speaker's own voice ile Subtitld projenin sesinden o konuşmacının bir örneğini keser: altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan. Bu video için müziği sesten ayırdıysanız, örnek yalnızca sesten gelir. Eklentinin ayarlarındaki Fallback reference clip yalnızca bir örnek kesilemediğinde kullanılır. En iyi örnek, konuşmacının müzik ya da başka sesler olmadan tek başına konuştuğu 5 ila 20 saniyedir; eklenti bunun ilk 10 saniyesini kullanır.

Hazır sesler
Kadın İngilizce, Portekizce, Fransızca, Almanca
Erkek İngilizce, Portekizce, Fransızca, Almanca

Her hazır ses, o dilde bir kitap okuyan bir LibriVox gönüllüsüdür; Sopro eklentisindeki okuyucuların aynısı. Her hazır ses 20 dilin hepsini konuşur; kendi dili ona yalnızca bir aksan verir. Bu yüzden en doğal dublaj için projenizin diline en yakın olanı seçin.

Modeller

Modellerin hiçbiri eklentinin içinde değildir: kullandığınız model, ilk seslendirmede Hugging Face'ten sabitlenmiş bir sürümle, her dosyası denetlenerek Subtitld'nin paylaşılan model önbelleğine iner. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak modelleri tutar.

ModelDil İndirmeUygun olduğu
Chatterbox Multilingual (0.5B, 4-bit ONNX) Varsayılan multilingual
1.3 GB
20 dilin tamamı; varsayılan
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Yalnızca İngilizce: konuşmacıya daha yakın, daha az bellek, [laugh], [sigh] ve [cough] etiketlerini okur

Eklenti, Chatterbox'ın ONNX dışa aktarımlarını PyTorch olmadan çalıştırır. İngilizce, Portekizce, Fransızca, Almanca, İspanyolca, İtalyanca, Rusça ve Lehçe 10 cümleyle, her birini iki sesten klonlayarak yaptığımız testte Multilingual sözcüklerin %2,4'ünü yanlış söyledi ve konuşmacıya yakın duyuldu; Turbo İngilizcede hiç hata yapmadı ve konuşmacıya daha da yakın duyuldu.

Seçenekler

Ayarlar › Eklentiler › Chatterbox (offline, voice clone, 20 languages) › Yapılandır bölümünde.

Model
Varsayılan: multilingual

Turbo yalnızca İngilizce konuşur. Turbo seçiliyken diğer dillerdeki satırları Multilingual seslendirir. Bellekte aynı anda yalnızca bir model bulunur.

Expressiveness
Varsayılan: 0.5

Yalnızca Multilingual: sesin ne kadar duygu kattığı. 0,5 Chatterbox'ın kendi varsayılanıdır; yüksek değer daha dramatiktir ve genellikle daha hızlı konuşur.

CPU threads
Varsayılan: 0

0, bilgisayarın mantıksal işlemcilerinin yarısını, en çok 8 tanesini kullanır. Daha az iş parçacığı, seslendirme sırasında bilgisayarı daha duyarlı tutar.

Fallback reference clip
Varsayılan: boş

Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu 5 ila 20 saniye.

Diller

Almanca, Arapça, Danca, Fince, Fransızca, Hintçe, Hollandaca, İngilizce, İspanyolca, İsveççe, İtalyanca, Korece, Lehçe, Malayca, Norveççe, Portekizce, Rusça, Svahili, Türkçe ve Yunanca. Başka bir dildeki proje bunu belirten bir mesaj alır: o proje için başka bir dublaj motoru seçin.

Chatterbox'ta İbranice, Japonca ve Çince de var, ama eklenti bunları dışarıda bırakır: İbranice ünlü işaretlerini eklemek için ikinci bir model ister, Japonca lisansı paketlenmesine izin vermeyen bir dönüştürücü ister, Çince ise testlerimizde bozuk çıktı.

Önemli olduğu yerde sayıları ve sembolleri sözcüklerle yazın. Bir satır tek seferde, en çok 40 saniyelik konuşma olarak söylenir.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Platformlar

Sistem İndirmeTest edildi
Linux x86-64 62.5 MBGerçek bir makinede ve Subtitld'nin kendisinde iki modelle de seslendirildi
macOS (Apple silicon) 43.7 MBCI'da kurulu eklenti bir model indirir ve onunla seslendirir (Apple Silicon)
Windows x86-64 38.7 MBCI'da kurulu eklenti bir model indirir ve onunla seslendirir

Linux x86-64, Apple Silicon'da macOS ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi Subtitld'nin yaptığı gibi kurar, bir model indirir ve onunla seslendirir.

Sorun giderme

  • network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.
  • disk_fullModel için yeterli disk alanı yok: Multilingual için 1,3 GB, Turbo için 725 MB gerekir.
  • unsupported_languageProjenin dili bu 20 dilden biri değil ya da ayarlanmamış. Dili projede ayarlayın ya da başka bir dublaj motoru seçin.
  • unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.
  • bad_paramsSatırın metni yok ya da klon ses bir örnek alamadı: videoyu açın ya da bir Fallback reference clip ayarlayın. Mesaj hangisi olduğunu söyler.
  • out_of_memoryBilgisayarın belleği tükendi. Diğer programları kapatın ya da İngilizce için Turbo'yu seçin: yaklaşık 1 GB ister.
  • internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda.

Lisans

Eklenti
Apache-2.0
Motor
MIT
Chatterbox, Resemble AI tarafından; ONNX Runtime MIT
Model
MIT
Chatterbox Multilingual ve Turbo ağırlıkları, ONNX dışa aktarımlarıyla
Hazır sesler
Public domain, CC-BY-4.0
LibriVox okuyucuları; İngilizce olanlar LibriTTS-R üzerinden

Ticari işler için uygundur: eklenti Apache-2.0, Chatterbox ve iki model de MIT. Hazır sesler kamu malı olan LibriVox kayıtlarıdır; İngilizce olanlar CC-BY-4.0 lisanslı LibriTTS-R üzerinden gelir ve eklenti her birinin adını anar. Yaptığınız dublajlar sizindir.

Sürümler

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Diğer Sesler eklentileri