Chatterbox çevrimdışı, ses klonlama, 20 dil
Altyazılarınızı Resemble AI'ın Chatterbox'ıyla 20 dilde seslendirir: her konuşmacının videonun birkaç saniyesinden klonlanan kendi sesiyle ya da 8 hazır sesten biriyle. Klonlanan ses, klip hangi dilde olursa olsun her dili konuşur. Ekran kartı gerekmeden kendi bilgisayarınızın işlemcisinde, yaklaşık gerçek zamanlı çalışır.
Ayarlar Eklentiler Chatterbox (offline, voice clone, 20 languages) Yükle
Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.
- Diller
- 20
- Modeller
- 2
- Sesler
- 9
- Eklenti indirmesi
- 39–62 MB
- En az RAM
- 2 GB
Dinleyin
Ne yapar
Subtitld her konuşmacının videodan birkaç saniyesini keser ve her satırla birlikte gönderir. Chatterbox o sesi 20 dilinden herhangi birinde klonlar; böylece Portekizli bir oyuncu Almanca seslendirilip yine kendisi gibi duyulabilir.
Multilingual 20 dilin hepsini konuşur. Turbo yalnızca İngilizce konuşur, konuşmacıya daha yakın duyulur, daha az bellek ister ve altyazıya yazılan [laugh] ve [sigh] gibi etiketleri okur.
Ekran kartı gerekmeden işlemcide, yaklaşık gerçek zamanlı çalışır: 10 saniyelik bir satır yaklaşık 10 saniye sürer.
Eklenti Apache-2.0, Chatterbox ve modelleri MIT; hazır sesler ise kamu malı olan LibriVox okuyucularıdır.
Kurmadan önce
- Disk: Multilingual ilk satırda 1,3 GB indirir, Turbo 725 MB.
- Bellek: Multilingual ile konuşurken yaklaşık 1,7 GB, Turbo ile yaklaşık 1 GB.
- İşlemci: herhangi bir 64 bit Intel ya da AMD işlemci veya Apple Silicon. Ekran kartı kullanılmaz.
Bir sesi yalnızca sahibinin rızasıyla klonlayın. Chatterbox'ın kendi derlemeleri sesi duyulmayan bir filigranla işaretler; bu eklenti bunu yapmaz, bu yüzden klonlanan bir sesin nasıl kullanıldığının sorumluluğu size aittir.
Sesler
Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak Chatterbox'ı seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın.
9 ses.
Speaker's own voice ile Subtitld projenin sesinden o konuşmacının bir örneğini keser: altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan. Bu video için müziği sesten ayırdıysanız, örnek yalnızca sesten gelir. Eklentinin ayarlarındaki Fallback reference clip yalnızca bir örnek kesilemediğinde kullanılır. En iyi örnek, konuşmacının müzik ya da başka sesler olmadan tek başına konuştuğu 5 ila 20 saniyedir; eklenti bunun ilk 10 saniyesini kullanır.
| Hazır sesler | |
|---|---|
| Kadın | İngilizce, Portekizce, Fransızca, Almanca |
| Erkek | İngilizce, Portekizce, Fransızca, Almanca |
Her hazır ses, o dilde bir kitap okuyan bir LibriVox gönüllüsüdür; Sopro eklentisindeki okuyucuların aynısı. Her hazır ses 20 dilin hepsini konuşur; kendi dili ona yalnızca bir aksan verir. Bu yüzden en doğal dublaj için projenizin diline en yakın olanı seçin.
Modeller
Modellerin hiçbiri eklentinin içinde değildir: kullandığınız model, ilk seslendirmede Hugging Face'ten sabitlenmiş bir sürümle, her dosyası denetlenerek Subtitld'nin paylaşılan model önbelleğine iner. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak modelleri tutar.
| Model | Dil | İndirme | Uygun olduğu |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) Varsayılan multilingual | | 20 dilin tamamı; varsayılan | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Yalnızca İngilizce: konuşmacıya daha yakın, daha az bellek, [laugh], [sigh] ve [cough] etiketlerini okur |
Eklenti, Chatterbox'ın ONNX dışa aktarımlarını PyTorch olmadan çalıştırır. İngilizce, Portekizce, Fransızca, Almanca, İspanyolca, İtalyanca, Rusça ve Lehçe 10 cümleyle, her birini iki sesten klonlayarak yaptığımız testte Multilingual sözcüklerin %2,4'ünü yanlış söyledi ve konuşmacıya yakın duyuldu; Turbo İngilizcede hiç hata yapmadı ve konuşmacıya daha da yakın duyuldu.
Seçenekler
Ayarlar › Eklentiler › Chatterbox (offline, voice clone, 20 languages) › Yapılandır bölümünde.
multilingualTurbo yalnızca İngilizce konuşur. Turbo seçiliyken diğer dillerdeki satırları Multilingual seslendirir. Bellekte aynı anda yalnızca bir model bulunur.
0.5Yalnızca Multilingual: sesin ne kadar duygu kattığı. 0,5 Chatterbox'ın kendi varsayılanıdır; yüksek değer daha dramatiktir ve genellikle daha hızlı konuşur.
00, bilgisayarın mantıksal işlemcilerinin yarısını, en çok 8 tanesini kullanır. Daha az iş parçacığı, seslendirme sırasında bilgisayarı daha duyarlı tutar.
Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu 5 ila 20 saniye.
Diller
Almanca, Arapça, Danca, Fince, Fransızca, Hintçe, Hollandaca, İngilizce, İspanyolca, İsveççe, İtalyanca, Korece, Lehçe, Malayca, Norveççe, Portekizce, Rusça, Svahili, Türkçe ve Yunanca. Başka bir dildeki proje bunu belirten bir mesaj alır: o proje için başka bir dublaj motoru seçin.
Chatterbox'ta İbranice, Japonca ve Çince de var, ama eklenti bunları dışarıda bırakır: İbranice ünlü işaretlerini eklemek için ikinci bir model ister, Japonca lisansı paketlenmesine izin vermeyen bir dönüştürücü ister, Çince ise testlerimizde bozuk çıktı.
Önemli olduğu yerde sayıları ve sembolleri sözcüklerle yazın. Bir satır tek seferde, en çok 40 saniyelik konuşma olarak söylenir.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Platformlar
| Sistem | İndirme | Test edildi |
|---|---|---|
| Linux x86-64 | 62.5 MB | Gerçek bir makinede ve Subtitld'nin kendisinde iki modelle de seslendirildi |
| macOS (Apple silicon) | 43.7 MB | CI'da kurulu eklenti bir model indirir ve onunla seslendirir (Apple Silicon) |
| Windows x86-64 | 38.7 MB | CI'da kurulu eklenti bir model indirir ve onunla seslendirir |
Linux x86-64, Apple Silicon'da macOS ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi Subtitld'nin yaptığı gibi kurar, bir model indirir ve onunla seslendirir.
Sorun giderme
network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.disk_fullModel için yeterli disk alanı yok: Multilingual için 1,3 GB, Turbo için 725 MB gerekir.unsupported_languageProjenin dili bu 20 dilden biri değil ya da ayarlanmamış. Dili projede ayarlayın ya da başka bir dublaj motoru seçin.unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.bad_paramsSatırın metni yok ya da klon ses bir örnek alamadı: videoyu açın ya da bir Fallback reference clip ayarlayın. Mesaj hangisi olduğunu söyler.out_of_memoryBilgisayarın belleği tükendi. Diğer programları kapatın ya da İngilizce için Turbo'yu seçin: yaklaşık 1 GB ister.internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda.
Lisans
Ticari işler için uygundur: eklenti Apache-2.0, Chatterbox ve iki model de MIT. Hazır sesler kamu malı olan LibriVox kayıtlarıdır; İngilizce olanlar CC-BY-4.0 lisanslı LibriTTS-R üzerinden gelir ve eklenti her birinin adını anar. Yaptığınız dublajlar sizindir.
Sürümler
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Diğer Sesler eklentileri
-
Piper Çevrimdışı
49 dilde 158 çevrimdışı ses, her biri ayrı küçük bir indirme.
-
Kokoro Çevrimdışı
54 çevrimdışı ses, dokuz dilde; hepsi tek bir 82 MB modelden.
-
Supertonic Çevrimdışı
On çevrimdışı ses; her biri 31 dilin tamamını konuşabilir.
-
sanoTTS Çevrimdışı
Küçük çevrimdışı sesler, 14 dilde 28 tane; her biri 10 MB'ın altında.
-
Parler-TTS Çevrimdışı
Yazılı bir betimlemeyi izleyen İngilizce sesler; 34 adlandırılmış konuşmacı.
-
Qwen3-TTS Klon
On dil, dokuz ses ve 3 saniyeden konuşmacı klonlama.
-
Coqui XTTS Klon
On altı dilde ses klonlama; ticari olmayan model lisansı.
-
F5-TTS Klon
Yalnızca ses klonlama; İngilizce ve Çince; ticari olmayan model.
-
VoxCPM2 Klon
48 kHz'de 30 dil, konuşmacının kendi sesiyle ya da tarif edilen bir sesle. Ağır.
-
Pocket TTS Çevrimdışı
Hızlı ve hafif, yalnızca CPU. Yedi Avrupa dilinde 23 ses.
-
Sopro Klon
Konuşmacının kendi sesi, CPU'da hızlı. Dört dil.
-
KittenTTS 2 Klon
Konuşmacının kendi sesi 16 dilde, CPU'da. Ağırlıklar kısıtlayıcı bir lisans altında.
-
Ming-3.0-tts Klon
44,1 kHz'de 7 dil: klonlanan, yerleşik ya da tarif edilen sesler, duyguyla. Ağır.
-
Scylla's Band Çevrimdışı
Altı dilde on dört ses, CPU'da hafif ve hızlı. Yalnızca hazır sesler.
-
Audio8 TTS Klon
Kantonca ve Arapça dahil 23 dilde konuşmacının kendi sesi. CPU'da yavaş.
-
Inflect Çevrimdışı
Minicik bir modelden doğal İngilizce konuşma, her CPU'da hızlı.
-
Paradee Çevrimdışı
Tek bir 8,5 MB'lık modelden Amerikan ve İngiliz aksanlı dört doğal İngilizce ses.
-
BlueTTS Klon
İbranice ve Yidiş, artı beş dil daha. Konuşmacının kendi sesi, CPU'da hızlı.
-
ZONOS3-Mini Klon
Arapçadan Vietnamcaya 43 dil. Konuşmacının kendi sesi, CPU'da.
-
Reverb Klon
Yedi Avrupa dili ve konuşmacının kendi sesi, CPU'da; ticari olmayan model.
-
OmniVoice Klon
646 dil, diller arasında konuşmacının kendi sesi; ticari olmayan model.
-
VoxMel Klon
İngilizce ve Mandarin Çincesi, konuşmacının kendi sesinin yakın klonlarıyla.
-
tiny-voca Çevrimdışı
4,5 milyon parametreli bir modelden iki Amerikan İngilizcesi ses, indirilecek hiçbir şey olmadan.