Altyazılarınızı KittenML'in KittenTTS 2'siyle 16 dilde seslendirir: her konuşmacının videodan klonlanan kendi sesiyle ya da 115 hazır sesten biriyle. Ekran kartı gerekmeden kendi bilgisayarınızın işlemcisinde, yaklaşık gerçek zamanlı çalışır.

Ne yapar

Konuşmacının kendi sesi

Subtitld her konuşmacının videodan birkaç saniyesini keser ve içinde söylenen sözcüklerle birlikte her satırla gönderir. KittenTTS 2 o sesi klonlar ve çevrilmiş satırı o sesle söyler; böylece dublaj ekrandaki kişi gibi duyulur.

16 dil, 115 ses

İngilizce, İspanyolca, Fransızca, Almanca, İtalyanca, Portekizce, Rusça, Çince, Japonca, Korece, Arapça, Hintçe, Türkçe, Felemenkçe, Lehçe ve Endonezce; her biri için 2 ila 50 hazır ses.

CPU'da yaklaşık gerçek zamanlı

Bir saniyelik konuşma, bir dizüstü bilgisayar işlemcisinde yaklaşık 2,3 GB bellekle 1,1 ila 1,5 saniyede üretilir. Ekran kartı kullanılmaz.

İlk satırdan sonra çevrimdışı

Model bir kez, onunla ilk seslendirdiğinizde iner. Bundan sonra hiçbir şey bilgisayarınızdan dışarı çıkmaz.

Modelde kısıtlayıcı bir lisans. Eklenti Apache-2.0, ama indirdiği KittenTTS 2 ağırlıkları KittenML'e aittir ve Stellon Labs Community License altındadır. Ücretli dublaj dahil ticari kullanım, yalnızca siz ve bağlı kuruluşlarınızın yıllık geliri 1.000.000 ABD dolarının ve toplam fonlaması 1.000.000 ABD dolarının altında olduğu sürece ücretsizdir ve Stellon Labs'e kayıt olmanız gerekir. Kullanım ayrıca Stellon Labs'in yayımlamadığı bir Kabul Edilebilir Kullanım Politikası'na uymalıdır ve lisans geri alınabilir. Ücretli işlerde kullanmadan önce lisansı okuyun. Koşulları size uymuyorsa, VoxCPM2 ve Sopro da Apache-2.0 altında ses klonlar.

Kurmadan önce

Disk: model için yaklaşık 1,7 GB, ilk satırda iner; klonlama için de ilk klon satırında 540 MB daha.
Bellek: konuşurken yaklaşık 2,3 GB, yani yaklaşık 3 GB boş bellek.
İşlemci: Intel ve AMD'de AVX2, FMA ve F16C destekli bir işlemci; Intel işlemcilerde 2013'ten, AMD'de 2015'ten beri bulunur. Bazı Celeron, Pentium ve Atom işlemcilerde yoktur ve orada ilk satır bunu belirten bir mesajla başarısız olur. Her Apple Silicon Mac çalışır.

Bir sesi yalnızca sahibinin rızasıyla klonlayın.

Sesler

Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak KittenTTS 2'yi seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın. Seslendirmeden önce projenin dilini ayarlayın.

116 ses 16 dilde.

ar 4
de 4
en 50
es 5
fr 5
hi 5
id 2
it 6
ja 4
ko 3
nl 3
pl 4
pt 6
ru 7
tr 3
zh 4

Speaker's own voice ile Subtitld projenin sesinden o konuşmacının 3 ila 12 saniyelik bir örneğini keser ve içinde söylenen altyazı metniyle birlikte gönderir. KittenTTS o örnekten devam eder; bu, konuşmacıya en yakın ve en istikrarlı sonucu verir. Testimizde, İngilizce örnekler ve Portekizce satırlarla, klonlanmış dublajlar konuşmacılarına neredeyse VoxCPM2'ninkiler kadar yakın duyuldu ve daha az sözcüğü yanlış söyledi. Bu video için müziği sesten ayırdıysanız, örnek yalnızca sesten gelir. Eklentinin ayarlarındaki Fallback reference clip yalnızca bir örnek kesilemediğinde kullanılır.

Her hazır ses tek bir dile aittir: bir kayıttır ve model onun aksanıyla devam eder. Bu yüzden Ses listesi projenizin dilinin seslerini gösterir. İngilizcenin 50 sesi var; aralarında KittenTTS 0.8'in Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki ve Leo sesleri ile yumuşak sesli bir radyo DJ'i olan Marcus ya da asil bir anlatıcı olan Victoria gibi karakterler bulunur. Diğer dillerin her birinde 2 ila 7 ses vardır. KittenML kayıtların nereden geldiğini söylemiyor.

Model ara sıra bir satırı söylemek yerine sessiz kalır. Eklenti bunu fark eder ve en çok üç kez yeniden dener; sizin uğraşmanız gerekmez.

Modeller

KittenML'in dosyalarının hiçbiri eklentinin içinde değildir: ilk seslendirmede KittenML'in Hugging Face deposundan sabitlenmiş bir sürümle, her dosyası denetlenerek Subtitld'nin paylaşılan model önbelleğine inerler. Bir örneği sese dönüştüren referans kodlayıcı, ilk klon satırında eklentinin kendi sürümünden gelir. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak modelleri tutar.

Model	İndirme	Uygun olduğu
KittenTTS 2 (1.7B, ternary) Varsayılan kitten-tts-2	1.6 GB	Her ses ve dil, CPU'da yaklaşık gerçek zamanlı
Reference encoder, for cloning ref-encoder	517 MB	Yalnızca klon ses için, ilk klon satırında iner

Eklenti, KittenTTS 2 için KittenML'in kendi C++ programını çalıştırır; bu program KittenML'in Python paketinden yaklaşık dört kat hızlıdır ve onun belleğinin üçte birine ihtiyaç duyar.

Seçenekler

Ayarlar › Eklentiler › KittenTTS 2 (offline, voice clone, 16 languages) › Yapılandır bölümünde.

Delivery

Varsayılan: stable

Stable neredeyse her projeye uyar. Expressive daha canlıdır ve bir satır daha sık tuhaf çıkar.

CPU threads

Varsayılan: 0

0, verimlilik çekirdekleri de olan bir işlemcide performans çekirdeklerini, aksi halde çekirdek başına bir iş parçacığını, en çok 8 tane kullanır. Daha az iş parçacığı, seslendirme sırasında bilgisayarı daha duyarlı tutar.

Fallback reference clip

Varsayılan: boş

Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu 3 ila 30 saniye.

Fallback reference transcript

Varsayılan: boş

The exact words spoken in the fallback clip. With them the clone is closer to the speaker and makes fewer mistakes.

Clone the timbre only

Varsayılan: kapalı

Konuşmacının klibindeki sözcükleri dışarıda bırakır ve yalnızca ses rengini klonlar. Bir dublaj konuşmacının aksanını koruyorsa ya da altyazılar söyleneni başka sözcüklerle aktarıyorsa deneyin.

Diller

İngilizce, İspanyolca, Fransızca, Almanca, İtalyanca, Portekizce, Rusça, Çince, Japonca, Korece, Arapça, Hintçe, Türkçe, Felemenkçe, Lehçe ve Endonezce. Başka bir dildeki proje bunu belirten bir mesaj alır: o proje için başka bir dublaj motoru seçin.

İngilizce metin kastedildiği gibi okunur: "the 3rd of May", "the third of May" olur; "$12.50", "twelve dollars fifty" olur. Diğer dillerde, önemli olduğu yerde sayıları ve sembolleri sözcüklerle yazın.

en
es
fr
de
it
pt
ru
zh
ja
ko
ar
hi
tr
nl
pl
id

Platformlar

Sistem	İndirme	Test edildi
Linux x86-64	136.1 MB	Gerçek bir makinede ve CI'da, klonlama dahil, gerçek modelle seslendirildi
macOS (Apple silicon)	109.2 MB	CI'da, klonlama dahil, gerçek modelle seslendirildi (Apple Silicon)
Windows x86-64	96.4 MB	CI'da, klonlama dahil, gerçek modelle seslendirildi

Linux x86-64, Apple Silicon'da macOS ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi Subtitld'nin yaptığı gibi kurar, modeli indirir ve onunla, klon bir sesle de, seslendirir. Linux'ta glibc 2.35 ya da daha yenisi gerekir.

Sorun giderme

network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.
disk_fullModel için yeterli disk alanı yok. Yaklaşık 1,7 GB, klonlamayla 2,2 GB gerekir.
unsupported_languageProjenin dili bu 16 dilden biri değil ya da ayarlanmamış. Dili projede ayarlayın ya da başka bir dublaj motoru seçin.
unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.
bad_paramsSatırın metni yok ya da klon ses bir örnek alamadı: videoyu açın ya da bir Fallback reference clip ayarlayın. Mesaj hangisi olduğunu söyler.
internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda. Mesaj işlemcide AVX2, FMA ve F16C olmadığını söylüyorsa, bu bilgisayar KittenTTS 2'yi çalıştıramaz. Satırın sürekli sessizlik ürettiğini söylüyorsa, başka bir ses deneyin ya da satırı farklı sözcüklerle yazın.

Lisans

Eklenti

Apache-2.0

Motor

MIT, Apache-2.0

kitten-tts-2-cpp, KittenML tarafından; LibTorch BSD-3-Clause

Referans kodlayıcı

MIT

chatterbox-turbo (ResembleAI) ve pyannote'dan

Model

Stellon Labs Community License

KittenTTS 2 ağırlıkları; ticari kullanım yalnızca 1 milyon ABD dolarının altındaki gelir ya da fonlamada ücretsiz

Eklenti Apache-2.0. KittenML'in çalışma zamanı MIT ve Apache-2.0, LibTorch BSD-3-Clause, referans kodlayıcının parçaları da MIT. KittenTTS 2 ağırlıkları, eklenti onları indirdiğinde kabul ettiğiniz Stellon Labs Community License altındadır: araştırma ve kişisel kullanım için ücretsiz, ticari kullanım için ise yalnızca yıllık gelir ve toplam fonlama 1.000.000 ABD dolarının altındaysa ve Stellon Labs'e kayıt olunursa ücretsiz. Ağırlıklar ve ürettikleri, başka modelleri eğitmek için kullanılamaz. Yaptığınız dublajlar sizindir. Powered by KittenML.

KittenTTS 2 (offline, voice clone, 16 languages)