VoxCPM2 (offline, voice clone, 30 languages)

SeslerÇevrimdışıGPU isteğe bağlıSes klonlamaTicari kullanıma uygun

Altyazılarınızı OpenBMB'nin VoxCPM2'siyle 30 dilde seslendirir: her konuşmacının videodan klonlanan kendi sesiyle ya da bir tariften oluşturulan bir sesle. Kendi bilgisayarınızda çalışır; eklenti, kod ve ağırlıkların hepsi Apache-2.0.

Subtitld'den yükleyin

Ayarlar Eklentiler VoxCPM2 (offline, voice clone, 30 languages) Yükle

Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.

GitHub'da kaynak kod
Diller
30
Modeller
1
Sesler
9
Eklenti indirmesi
205–318 MB
En az RAM
7 GB

Ne yapar

Konuşmacının kendi sesi

Subtitld her konuşmacının videodan bir klibini keser ve içinde söylenen sözcüklerle birlikte gönderir. VoxCPM2 o klipten devam eder; böylece dublaj, 30 dilinden herhangi birinde, ekrandaki kişi gibi duyulur.

Ya da tarif ettiğiniz bir ses

Sıcak bir kadından boğuk sesli yaşlı bir adama ve bir anlatıcıya kadar yedi hazır ses ya da kendi sözcükleriniz: "a young man, fast and cheerful".

Stüdyo sesi

Konuşma, videonun kullandığı hız olan 48 kHz'de çıkar.

Ticari işler için ücretsiz

Eklenti, VoxCPM'in kodu ve VoxCPM2 ağırlıklarının hepsi Apache-2.0.

Kurmadan önce

VoxCPM2 büyük bir model, 2,4 milyar parametre. Çevrimdışı eklentiler arasında en doğal dublajı verir ve bilgisayarınızdan en çok şeyi ister:

  • Disk: yaklaşık 5,6 GB, çoğu seslendirdiğiniz ilk satırda inen 4,96 GB'lık model.
  • Bellek: yaklaşık 7 GB boş. Daha azıyla da çalışır, ama çok daha yavaş.
  • Süre: CPU'da konuşmanın her saniyesi birkaç saniyede üretilir: Intel Core i7-13700T'de 5 ila 6 saniye. On dakikalık bir video yaklaşık bir saat sürebilir. Apple Silicon bir Mac'te GPU'da çalışır.

Mütevazı bilgisayarlarda hızlı dublaj için Piper ya da Kokoro çok daha hafiftir.

Sesler

Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak VoxCPM2'yi seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın.

9 ses.

Klonlanan ses

Speaker's own voice ile Subtitld projenin sesinden o konuşmacının bir örneğini keser: 3 ila 12 saniyelik altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan. Bu video için müziği sesten ayırdıysanız, örnek yalnızca sesten gelir. Eklentinin ayarlarındaki Fallback reference clip yalnızca bir örnek kesilemediğinde kullanılır.

Subtitld örnekle birlikte altyazı metnini de gönderir ve VoxCPM2 ondan devam eder; bu, söyleyiş dahil konuşmacıya en yakın sonucu verir. Başka bir dile dublaj konuşmacının aksanını koruyorsa, Clone the timbre only seçeneğini açın.

Tarif edilen sesler

VoxCPM2 bir tarifi her okuduğunda yeni bir ses oluşturur. Bu yüzden eklenti her konuşmacının sesini bir kez oluşturur ve o konuşmacının her satırı onu yeniden kullanır: ses video boyunca aynı kalır ve aynı tarifi alan iki konuşmacı yine de iki ayrı kişi gibi duyulur.

Modeller

Tek bir model var: VoxCPM2. Eklentinin içinde değildir: ilk seslendirmede Hugging Face'ten sabitlenmiş bir sürümle, her dosyası denetlenerek Subtitld'nin paylaşılan model önbelleğine iner. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak modeli tutar.

Model İndirmeUygun olduğu
VoxCPM2 (2.4B) Varsayılan voxcpm2
4.7 GB
Her ses, 30 dilin tamamında

İlk satır modeli de yükler, bu yüzden sonrakilerden daha uzun sürer. İptal, bir satırı iki adım arasında ya da indirmeyi durdurur.

Seçenekler

Ayarlar › Eklentiler › VoxCPM2 (offline, voice clone, 30 languages) › Yapılandır bölümünde.

Inference device
Varsayılan: auto

Otomatik, Apple Silicon bir Mac'te GPU'yu, aksi halde CPU'yu kullanır. Bu derleme NVIDIA ekran kartlarını kullanmaz.

Weight precision
Varsayılan: auto

Otomatik neredeyse her bilgisayara uyar. float32 biraz daha hızlıdır ama yaklaşık 11 GB bellek ister.

Quality steps
Varsayılan: 10

Daha çok adım, daha net konuşma, daha yavaş. 5, 10'dan yaklaşık dörtte bir daha hızlıdır, duyulur biçimde daha az netlikle.

Guidance
Varsayılan: 2

How closely the speech follows the text and the voice. VoxCPM's default is 2.0.

CPU threads
Varsayılan: 0

0, verimlilik çekirdekleri de olan CPU'larda performans çekirdeklerini seçer. Daha az iş parçacığı, seslendirme sırasında bilgisayarı daha duyarlı tutar.

Voice description
Varsayılan: boş

"Voice you describe" sesi tarafından kullanılır: kimin ve nasıl konuştuğu, birkaç sözcükle, örneğin "An elderly woman, soft and warm voice, slow pace". İngilizce her dil için işe yarar.

Fallback reference clip
Varsayılan: boş

Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu 3 ila 15 saniye.

Fallback reference transcript
Varsayılan: boş

Yukarıdaki klipte söylenen sözcüklerin tam hali. Onlarla klon konuşmacıya daha yakın olur.

Clone the timbre only
Varsayılan: kapalı

Klibin söyleyişini değil, yalnızca sesin tınısını klonlar. Başka bir dile dublaj konuşmacının aksanını koruyorsa ya da altyazılarınız konuşmayı yeniden ifade ediyorsa deneyin.

Diller

Arapça, Birmanca, Çince, Danca, Felemenkçe, İngilizce, Fince, Fransızca, Almanca, Yunanca, İbranice, Hintçe, Endonezce, İtalyanca, Japonca, Khmerce, Korece, Laoca, Malayca, Norveççe, Lehçe, Portekizce, Rusça, İspanyolca, Svahili, İsveççe, Tagalogca, Tayca, Türkçe ve Vietnamca. VoxCPM2 dili metnin kendisinden okur; bu yüzden her ses her dili konuşur.

  • ar
  • my
  • zh
  • da
  • nl
  • en
  • fi
  • fr
  • de
  • el
  • he
  • hi
  • id
  • it
  • ja
  • km
  • ko
  • lo
  • ms
  • no
  • pl
  • pt
  • ru
  • es
  • sw
  • sv
  • tl
  • th
  • tr
  • vi

Platformlar

Sistem İndirmeTest edildi
Linux x86-64 312.0 MBGerçek bir makinede gerçek modelle seslendirildi; CI'da derlendi ve denetlendi
macOS (Apple silicon) 318.0 MBCI'da derlendi ve denetlendi (Apple Silicon)
Windows x86-64 204.6 MBCI'da derlendi ve denetlendi

Linux x86-64, Apple Silicon'da macOS ve Windows x86-64. Her sürüm üçünde de derlenir ve CI konuşmak için gereken her şeyin derlemede olduğunu denetler. CI modelin kendisini çalıştırmaz.

Sorun giderme

  • network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.
  • disk_fullModel için yeterli disk alanı yok. Yaklaşık 5 GB boş alan gerekir.
  • oomBellek yetersiz. Diğer programları kapatın; VoxCPM2 yaklaşık 7 GB, float32'de 11 GB boş bellek ister.
  • bad_paramsSatırın metni yok ya da klon ses bir örnek alamadı: videoyu açın ya da bir Fallback reference clip ayarlayın. Mesaj hangisi olduğunu söyler.
  • unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.
  • internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda. Inference device ayarını değiştirdiyseniz, Otomatik'e geri alın.

Lisans

Eklenti
Apache-2.0
Motor
Apache-2.0
VoxCPM, OpenBMB tarafından
Model
Apache-2.0
VoxCPM2 ağırlıkları

Ticari işler için uygundur: eklenti, VoxCPM ve VoxCPM2 ağırlıklarının hepsi Apache-2.0. Yaptığınız dublajlar sizindir. Klonlanan bir ses gerçek bir kişi gibi duyulur: yalnızca kullanma hakkınız olan sesleri klonlayın ve önemli olduğu yerde dublajın yapay olduğunu belirtin.

Sürümler

  • 0.0.1

    Text-to-speech for Subtitld with OpenBMB's VoxCPM2: 30 languages at 48 kHz, in the speaker's own voice cloned from the video, or in a voice made from a description.

    The archive holds the add-on and a CPU build of PyTorch. The 4.96 GB model downloads on the first synthesis, at a pinned revision, checked by sha256. Plan for about 7 GB of free memory; on a CPU each second of speech takes several seconds to make.

    The add-on, VoxCPM and the VoxCPM2 weights are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is voxcpm-<version>-libquadmath-source.tar.gz in this release.

Diğer Sesler eklentileri