VoxMel çevrimdışı, ses klonlama, 2 dil

SeslerÇevrimdışıGPU isteğe bağlıSes klonlamaTicari kullanıma uygun

Altyazılarınızı VoxDance Lab'in VoxMel'iyle İngilizce ve Mandarin Çincesiyle seslendirir: her konuşmacının videodan ve altyazılarından yakından klonlanan kendi sesiyle ya da sekiz hazır sesten biriyle. Kendi bilgisayarınızda çalışır; eklenti, model ve seslerin hepsi Apache-2.0.

Subtitld'den yükleyin

Ayarlar Eklentiler VoxMel (offline, voice clone, 2 languages) Yükle

Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.

GitHub'da kaynak kod
Diller
2
Modeller
1
Sesler
9
Eklenti indirmesi
15–19 MB
En az RAM
2 GB

Dinleyin

Ne yapar

Yakın klonlar

Subtitld her konuşmacının videodan birkaç saniyesini keser ve içinde konuşulan altyazılarla birlikte gönderir. VoxMel o sesi İngilizce ya da Mandarin Çincesiyle yakından klonlar.

Sekiz hazır ses

Klonlamak istemediğiniz konuşmacılar için her dilde iki kadın ve iki erkek sesi. Onları VoxMel kendisi üretti: bunlar için hiç kimsenin sesi kaydedilmedi.

Bir klonlama modeline göre hızlı

Klonlanan bir satır, yeni bir dizüstü bilgisayar işlemcisinde konuşmanın her saniyesi için iki ila dört saniye sürer.

Ticari işler için ücretsiz

Eklenti, audio.cpp motoru, VoxMel ağırlıkları ve hazır seslerin hepsi Apache-2.0.

Kurmadan önce

  • Disk: yaklaşık 1,2 GB, çoğu seslendirdiğiniz ilk satırda inen 1,04 GB'lık model.
  • Bellek: yaklaşık 2 GB boş.
  • Süre: Intel Core i7-13700T'de konuşmacının kendi sesindeki bir satır, konuşmanın her saniyesi için iki ila dört saniye sürdü. Apple Silicon bir Mac'te GPU'da çalışır.
  • Diller: yalnızca İngilizce ve Mandarin Çincesi. Başka diller için VoxCPM2 30, OmniVoice ise 646 dilde ses klonlar.

Sesler

Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak VoxMel'i seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın: VoxMel'in kendisinde konuşma hızı denetimi yoktur.

9 ses 2 dilde.

  • en 4
  • zh 4

Klonlanan ses

Speaker's own voice ile Subtitld projenin sesinden o konuşmacının bir örneğini keser (3 ila 12 saniyelik altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan) ve altyazı metnini de onunla birlikte gönderir. VoxMel'in hem örneğe hem de onun sözcüklerine ihtiyacı vardır. Eklentinin ayarlarındaki Fallback reference clip, yazıya dökümüyle birlikte, yalnızca bir örnek kesilemediğinde kullanılır.

VoxMel en iyi aynı dil içinde klonlar. Mandarin Çincesi konuşan birinin İngilizce dublajı iyi olur; İngilizce konuşan birinin Mandarin Çincesi dublajında bazı sözcükler yutulabilir.

Clone the timbre only bu eklentiyle çalışmaz, çünkü VoxMel örneğin sözcükleri olmadan klonlayamaz. VoxMel kullanan konuşmacılar için bu seçeneği kapalı bırakın.

Hazır sesler

Her hazır ses, VoxMel'in hiçbir referans kaydı olmadan ürettiği kısa bir kliptir ve tam sözcükleriyle birlikte saklanır. Hazır ses verilen bir konuşmacının her satırı o klibi klonlar; böylece ses video boyunca aynı kalır. İngilizce hazır sesler İngilizce satırlara, Mandarin Çincesi hazır sesler de Mandarin Çincesi satırlara uyar.

Modeller

Tek bir model var: Vocos vocoder'ıyla birlikte VoxMel 0.6B; ağırlıkları, audio.cpp projesinin dönüştürdüğü biçimde 8 bitle saklanır. Eklentinin içinde değildir: ilk seslendirmede Hugging Face'ten sabitlenmiş bir sürümle Subtitld'nin paylaşılan model önbelleğine iner ve denetlenir. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak modeli tutar.

Model İndirmeUygun olduğu
VoxMel 0.6B (8-bit) Varsayılan voxmel
992 MB
Her ses, İngilizce ve Mandarin Çincesiyle

İlk satır modeli de yükler, bu yüzden sonrakilerden daha uzun sürer. Apple Silicon bir Mac'te, ilk seferde, eklenti ayrıca GPU'da kısa bir deneme satırı söyler ve bu işe yaramazsa CPU'yu kullanır. İptal, bir satırı iki adım arasında ya da indirmeyi durdurur.

Seçenekler

Ayarlar › Eklentiler › VoxMel (offline, voice clone, 2 languages) › Yapılandır bölümünde.

Quality steps
Varsayılan: 32

VoxMel'in konuşmanın her anını ne kadar ince çizdiği. 32, VoxMel'in kendi ayarıdır; daha azı daha hızlıdır, daha az ayrıntıyla.

Text guidance
Varsayılan: 3.5

Konuşmanın metne ne kadar sıkı uyduğu. 3,5, VoxMel'in kendi ayarıdır.

Voice guidance
Varsayılan: 3

Klonlanan bir sesin klibe ne kadar sıkı uyduğu. 3,0, VoxMel'in kendi ayarıdır; daha yükseği daha yakın ya da zorlanmış duyulabilir.

CPU threads
Varsayılan: 0

0, verimlilik çekirdekleri de olan CPU'larda performans çekirdeklerini seçer. Daha az iş parçacığı, seslendirme sırasında bilgisayarı daha duyarlı tutar.

Fallback reference clip
Varsayılan: boş

Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu 3 ila 15 saniye.

Fallback reference transcript
Varsayılan: boş

Yedek klipte söylenenin tam olarak kendisi, sözcüğü sözcüğüne. VoxMel klipten ve sözcüklerinden klonlar, bu yüzden bu metin olmadan yedek klip reddedilir.

Diller

İngilizce ve Mandarin Çincesi. VoxMel dili metinden okur.

  • en
  • zh

Platformlar

Sistem İndirmeTest edildi
Linux x86-64 18.8 MBGerçek bir makinede ve AlmaLinux 8'de gerçek modelle seslendirildi; CI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder
macOS (Apple silicon) 18.1 MBCI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder (Apple Silicon)
Windows x86-64 15.4 MBCI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder

Linux x86-64 (2018'den bu yana herhangi bir dağıtım, glibc 2.28 ya da daha yenisi), Apple Silicon'da macOS 13.3 ya da daha yenisi ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi kurar, modeli indirir ve ona konuşturur, bir ses klonlatır ve bir satırı iptal ettirir.

Sorun giderme

  • network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.
  • disk_fullModel için yeterli disk alanı yok. Yaklaşık 1,2 GB boş alan gerekir.
  • oomBellek yetersiz. Diğer programları kapatın; VoxMel yaklaşık 2 GB boş bellek ister.
  • bad_paramsSatırın metni yok ya da klon ses bir örnek veya onunla birlikte sözcükler alamadı. Mesaj hangisi olduğunu söyler. Klon ses için videoyu açın ve Clone the timbre only seçeneğini kapalı bırakın.
  • unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.
  • internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda.

Lisans

Eklenti
Apache-2.0
sekiz hazır sesiyle birlikte
Motor
Apache-2.0
audio.cpp, ggml (MIT) ile
Model
Apache-2.0
VoxMel 0.6B ağırlıkları, VoxDance Lab tarafından; Vocos vocoder MIT

Ticari işler için uygundur: eklenti, hazır sesleri, audio.cpp motoru ve VoxMel ağırlıklarının hepsi Apache-2.0; Vocos vocoder'ı ve ggml ise MIT. Yaptığınız dublajlar sizindir. Klonlanan bir ses gerçek bir kişi gibi duyulur: yalnızca kullanma hakkınız olan sesleri klonlayın ve önemli olduğu yerde dublajın yapay olduğunu belirtin.

Sürümler

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Diğer Sesler eklentileri