Coqui XTTS (offline + voice clone)

SeslerÇevrimdışıGPU isteğe bağlıSes klonlamaTicari olmayan

Her konuşmacının sesini videodan birkaç saniyeyle klonlar ve altyazılarınızı 16 dilde, kendi bilgisayarınızda seslendirir. Model yalnızca ticari olmayan kullanım için ücretsizdir.

Subtitld'den yükleyin

Ayarlar Eklentiler Coqui XTTS-v2 (offline + voice clone) Yükle

Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.

GitHub'da kaynak kod
Diller
16
Modeller
3
Sesler
3
Eklenti indirmesi
302–443 MB
En az RAM
6 GB

Ne yapar

Videodan klonla

Özel ses seçin ve Subtitld modele videodan kesilmiş o konuşmacının birkaç saniyesini verir. En iyi 6 saniye ve üzeriyle çalışır.

İki yerleşik ses

XTTS female 1 ve XTTS male 1, klonlamadığınız konuşmacılar için.

16 dil

Projenin dilinde konuşur; proje dili ayarlanmamışsa İngilizcede.

Bir kez yükler

İlk satır modelin yüklenmesini bekler, ilk seferde indirilmesini de; geri kalanlar onu yeniden kullanır. CPU'da uzun bir cümle yarım dakika sürebilir.

Ticari olmayan model. XTTS-v2 ağırlıkları Coqui Public Model License (CPML) altındadır: ticari olmayan kullanım için ücretsiz; başka her şey için Coqui'den ücretli lisans gerekir. Eklenti, modeli yüklediğinde Coqui'nin koşullarını sizin için onaylar; bunu görmezsiniz, ama koşullar yine de geçerlidir.

Sesler

Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak Coqui XTTS'i seçin, sonra bir Ses seçin. Özel ses listenin en üstündedir. Her satır, model onu ürettiği kadar uzun çıkar; konuşmacının altyazısına uyması için Dublajı altyazı süresine sığdır seçeneğini açın.

3 ses 1 dilde.

  • en 2

Klon için örnek

Özel ses seçildiğinde, Subtitld projenin sesinden o konuşmacının bir örneğini keser:

  • en uzun altyazısı 3 ila 12 saniye arasında olan;
  • hiçbiri uymuyorsa, daha uzun bir altyazının ilk 12 saniyesi;
  • hepsi 3 saniyeden kısaysa, 3 saniyeye ulaşana kadar birbirini izleyen birkaçı, birleştirilerek.

XTTS en iyi 6 saniye ve üzeriyle çalışır; bu yüzden her konuşmacıya 6 ila 12 saniye arasında en az bir satır verin. Bu video için müziği sesten ayırdıysanız, örnek yalnızca sesten gelir. Eklentinin ayarlarındaki Default voice reference yalnızca bir örnek kesilemediğinde kullanılır; örneğin açık bir video yokken.

Subtitld her konuşmacının örneğini tutar ve ses dosyası değişirse yeniden keser. Bir konuşmacının satırlarını yeniden zamanladıktan sonra, yeni bir örnek almak için örneğini silin; adı konuşmacının adıyla biter.

Sistem Klasör
Linux ~/.cache/subtitld/clone-refs
macOS ~/Library/Caches/subtitld/clone-refs
Windows %LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs

Modeller

Tek bir model, ilk satırı ürettiğinizde indirilir; yanındaki iki küçük dosya ayarları ve kelime dağarcığıdır. Eklenti, beş dakika boşta kalana kadar modeli yüklü tutar.

Model İndirme
xtts_v2
1.9 GB
xtts_v2_config
1 MB
xtts_v2_vocab
1 MB

Seçenekler

Eklenti bunları başladığında okur; bu yüzden bir değişiklik beş dakika boşta kaldıktan sonra ya da Subtitld'yi yeniden başlattığınızda uygulanır.

Ayarlar › Eklentiler › Coqui XTTS-v2 (offline + voice clone) › Yapılandır bölümünde.

Inference device
Varsayılan: cpu

CPU'da bırakın. Yayınlanan derlemeler PyTorch'un CPU paketiyle yapıldığından CUDA onlarla çalışmaz; MPS beta olarak işaretlidir.

Default voice reference (6+ seconds, mono WAV recommended)
Varsayılan: boş

Subtitld konuşmacının videodan bir örneğini alamadığında kopyalanacak bir klip; örneğin açık bir video yokken. Videodan alınan örnek her zaman önce gelir. Bu ayarlıyken iki yerleşik ses de bu klibi kopyalar.

Diller

Eklenti projenin dilini modele bölgesiz olarak geçirir; hiç dil ayarlanmamışsa İngilizce konuşur.

  • en
  • es
  • fr
  • de
  • it
  • pt
  • pl
  • tr
  • ru
  • nl
  • cs
  • ar
  • zh-cn
  • ja
  • hu
  • ko

Platformlar

Sistem İndirmeTest edildi
Linux x86-64 442.7 MBCI'da derlendi ve başlatıldı
macOS (evrensel) 323.1 MBCI'da derlendi ve başlatıldı
Windows x86-64 302.2 MBCI'da derlendi ve başlatıldı

Her sürüm Linux, macOS ve Windows'ta derlenir; CI programın başladığını ve seslerini listelediğini denetler. CI konuşma üretmez.

Sorun giderme

  • bad_paramsYa altyazının metni yok ya da klon bir örnek alamadı: Subtitld bir tane kesemedi (açık video yok ya da o konuşmacının altyazısı yok) ve varsayılan bir klip de ayarlı değil. Altyazıya metin verin, videoyu açın ya da Default voice reference ayarlayın.
  • internalModel yüklenemedi ya da satırı seslendiremedi; mesaj hangisi olduğunu söyler. İlk kullanımda başarısız bir indirme de buraya düşer: bağlantınızı ve boş disk alanınızı denetleyip yeniden deneyin. Ayrıca projenin dilinin yukarıda listelenenlerden biri olduğunu denetleyin.

Lisans

Eklenti
MIT
Motor
MPL-2.0
coqui-ai-TTS (idiap çatalı)
Modeller
CPML
XTTS-v2 ağırlıkları; Coqui lisansı olmadan ticari olmayan

Coqui'nin XTTS-v2 ağırlıkları için ticari lisansı olmadan ticari işler için uygun değildir. Eklentinin kendi kodu MIT'dir.

Sürümler

  • 1.0.7

    Automated release for coqui-xtts v1.0.7.

Diğer Sesler eklentileri