VoxMel çevrimdışı, ses klonlama, 2 dil
Altyazılarınızı VoxDance Lab'in VoxMel'iyle İngilizce ve Mandarin Çincesiyle seslendirir: her konuşmacının videodan ve altyazılarından yakından klonlanan kendi sesiyle ya da sekiz hazır sesten biriyle. Kendi bilgisayarınızda çalışır; eklenti, model ve seslerin hepsi Apache-2.0.
Ayarlar Eklentiler VoxMel (offline, voice clone, 2 languages) Yükle
Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.
- Diller
- 2
- Modeller
- 1
- Sesler
- 9
- Eklenti indirmesi
- 15–19 MB
- En az RAM
- 2 GB
Dinleyin
Ne yapar
Subtitld her konuşmacının videodan birkaç saniyesini keser ve içinde konuşulan altyazılarla birlikte gönderir. VoxMel o sesi İngilizce ya da Mandarin Çincesiyle yakından klonlar.
Klonlamak istemediğiniz konuşmacılar için her dilde iki kadın ve iki erkek sesi. Onları VoxMel kendisi üretti: bunlar için hiç kimsenin sesi kaydedilmedi.
Klonlanan bir satır, yeni bir dizüstü bilgisayar işlemcisinde konuşmanın her saniyesi için iki ila dört saniye sürer.
Eklenti, audio.cpp motoru, VoxMel ağırlıkları ve hazır seslerin hepsi Apache-2.0.
Kurmadan önce
- Disk: yaklaşık 1,2 GB, çoğu seslendirdiğiniz ilk satırda inen 1,04 GB'lık model.
- Bellek: yaklaşık 2 GB boş.
- Süre: Intel Core i7-13700T'de konuşmacının kendi sesindeki bir satır, konuşmanın her saniyesi için iki ila dört saniye sürdü. Apple Silicon bir Mac'te GPU'da çalışır.
- Diller: yalnızca İngilizce ve Mandarin Çincesi. Başka diller için VoxCPM2 30, OmniVoice ise 646 dilde ses klonlar.
Sesler
Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak VoxMel'i seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın: VoxMel'in kendisinde konuşma hızı denetimi yoktur.
9 ses 2 dilde.
en4zh4
Klonlanan ses
Speaker's own voice ile Subtitld projenin sesinden o konuşmacının bir örneğini keser (3 ila 12 saniyelik altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan) ve altyazı metnini de onunla birlikte gönderir. VoxMel'in hem örneğe hem de onun sözcüklerine ihtiyacı vardır. Eklentinin ayarlarındaki Fallback reference clip, yazıya dökümüyle birlikte, yalnızca bir örnek kesilemediğinde kullanılır.
VoxMel en iyi aynı dil içinde klonlar. Mandarin Çincesi konuşan birinin İngilizce dublajı iyi olur; İngilizce konuşan birinin Mandarin Çincesi dublajında bazı sözcükler yutulabilir.
Clone the timbre only bu eklentiyle çalışmaz, çünkü VoxMel örneğin sözcükleri olmadan klonlayamaz. VoxMel kullanan konuşmacılar için bu seçeneği kapalı bırakın.
Hazır sesler
Her hazır ses, VoxMel'in hiçbir referans kaydı olmadan ürettiği kısa bir kliptir ve tam sözcükleriyle birlikte saklanır. Hazır ses verilen bir konuşmacının her satırı o klibi klonlar; böylece ses video boyunca aynı kalır. İngilizce hazır sesler İngilizce satırlara, Mandarin Çincesi hazır sesler de Mandarin Çincesi satırlara uyar.
Modeller
Tek bir model var: Vocos vocoder'ıyla birlikte VoxMel 0.6B; ağırlıkları, audio.cpp projesinin dönüştürdüğü biçimde 8 bitle saklanır. Eklentinin içinde değildir: ilk seslendirmede Hugging Face'ten sabitlenmiş bir sürümle Subtitld'nin paylaşılan model önbelleğine iner ve denetlenir. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak modeli tutar.
| Model | İndirme | Uygun olduğu |
|---|---|---|
| VoxMel 0.6B (8-bit) Varsayılan voxmel | Her ses, İngilizce ve Mandarin Çincesiyle |
İlk satır modeli de yükler, bu yüzden sonrakilerden daha uzun sürer. Apple Silicon bir Mac'te, ilk seferde, eklenti ayrıca GPU'da kısa bir deneme satırı söyler ve bu işe yaramazsa CPU'yu kullanır. İptal, bir satırı iki adım arasında ya da indirmeyi durdurur.
Seçenekler
Ayarlar › Eklentiler › VoxMel (offline, voice clone, 2 languages) › Yapılandır bölümünde.
32VoxMel'in konuşmanın her anını ne kadar ince çizdiği. 32, VoxMel'in kendi ayarıdır; daha azı daha hızlıdır, daha az ayrıntıyla.
3.5Konuşmanın metne ne kadar sıkı uyduğu. 3,5, VoxMel'in kendi ayarıdır.
3Klonlanan bir sesin klibe ne kadar sıkı uyduğu. 3,0, VoxMel'in kendi ayarıdır; daha yükseği daha yakın ya da zorlanmış duyulabilir.
00, verimlilik çekirdekleri de olan CPU'larda performans çekirdeklerini seçer. Daha az iş parçacığı, seslendirme sırasında bilgisayarı daha duyarlı tutar.
Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu 3 ila 15 saniye.
Yedek klipte söylenenin tam olarak kendisi, sözcüğü sözcüğüne. VoxMel klipten ve sözcüklerinden klonlar, bu yüzden bu metin olmadan yedek klip reddedilir.
Diller
İngilizce ve Mandarin Çincesi. VoxMel dili metinden okur.
enzh
Platformlar
| Sistem | İndirme | Test edildi |
|---|---|---|
| Linux x86-64 | 18.8 MB | Gerçek bir makinede ve AlmaLinux 8'de gerçek modelle seslendirildi; CI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder |
| macOS (Apple silicon) | 18.1 MB | CI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder (Apple Silicon) |
| Windows x86-64 | 15.4 MB | CI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder |
Linux x86-64 (2018'den bu yana herhangi bir dağıtım, glibc 2.28 ya da daha yenisi), Apple Silicon'da macOS 13.3 ya da daha yenisi ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi kurar, modeli indirir ve ona konuşturur, bir ses klonlatır ve bir satırı iptal ettirir.
Sorun giderme
network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.disk_fullModel için yeterli disk alanı yok. Yaklaşık 1,2 GB boş alan gerekir.oomBellek yetersiz. Diğer programları kapatın; VoxMel yaklaşık 2 GB boş bellek ister.bad_paramsSatırın metni yok ya da klon ses bir örnek veya onunla birlikte sözcükler alamadı. Mesaj hangisi olduğunu söyler. Klon ses için videoyu açın ve Clone the timbre only seçeneğini kapalı bırakın.unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda.
Lisans
Ticari işler için uygundur: eklenti, hazır sesleri, audio.cpp motoru ve VoxMel ağırlıklarının hepsi Apache-2.0; Vocos vocoder'ı ve ggml ise MIT. Yaptığınız dublajlar sizindir. Klonlanan bir ses gerçek bir kişi gibi duyulur: yalnızca kullanma hakkınız olan sesleri klonlayın ve önemli olduğu yerde dublajın yapay olduğunu belirtin.
Sürümler
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Diğer Sesler eklentileri
-
Piper Çevrimdışı
49 dilde 158 çevrimdışı ses, her biri ayrı küçük bir indirme.
-
Kokoro Çevrimdışı
54 çevrimdışı ses, dokuz dilde; hepsi tek bir 82 MB modelden.
-
Supertonic Çevrimdışı
On çevrimdışı ses; her biri 31 dilin tamamını konuşabilir.
-
sanoTTS Çevrimdışı
Küçük çevrimdışı sesler, 14 dilde 28 tane; her biri 10 MB'ın altında.
-
Parler-TTS Çevrimdışı
Yazılı bir betimlemeyi izleyen İngilizce sesler; 34 adlandırılmış konuşmacı.
-
Qwen3-TTS Klon
On dil, dokuz ses ve 3 saniyeden konuşmacı klonlama.
-
Coqui XTTS Klon
On altı dilde ses klonlama; ticari olmayan model lisansı.
-
F5-TTS Klon
Yalnızca ses klonlama; İngilizce ve Çince; ticari olmayan model.
-
VoxCPM2 Klon
48 kHz'de 30 dil, konuşmacının kendi sesiyle ya da tarif edilen bir sesle. Ağır.
-
Pocket TTS Çevrimdışı
Hızlı ve hafif, yalnızca CPU. Yedi Avrupa dilinde 23 ses.
-
Sopro Klon
Konuşmacının kendi sesi, CPU'da hızlı. Dört dil.
-
KittenTTS 2 Klon
Konuşmacının kendi sesi 16 dilde, CPU'da. Ağırlıklar kısıtlayıcı bir lisans altında.
-
Ming-3.0-tts Klon
44,1 kHz'de 7 dil: klonlanan, yerleşik ya da tarif edilen sesler, duyguyla. Ağır.
-
Scylla's Band Çevrimdışı
Altı dilde on dört ses, CPU'da hafif ve hızlı. Yalnızca hazır sesler.
-
Audio8 TTS Klon
Kantonca ve Arapça dahil 23 dilde konuşmacının kendi sesi. CPU'da yavaş.
-
Inflect Çevrimdışı
Minicik bir modelden doğal İngilizce konuşma, her CPU'da hızlı.
-
Paradee Çevrimdışı
Tek bir 8,5 MB'lık modelden Amerikan ve İngiliz aksanlı dört doğal İngilizce ses.
-
BlueTTS Klon
İbranice ve Yidiş, artı beş dil daha. Konuşmacının kendi sesi, CPU'da hızlı.
-
ZONOS3-Mini Klon
Arapçadan Vietnamcaya 43 dil. Konuşmacının kendi sesi, CPU'da.
-
Reverb Klon
Yedi Avrupa dili ve konuşmacının kendi sesi, CPU'da; ticari olmayan model.
-
OmniVoice Klon
646 dil, diller arasında konuşmacının kendi sesi; ticari olmayan model.
-
tiny-voca Çevrimdışı
4,5 milyon parametreli bir modelden iki Amerikan İngilizcesi ses, indirilecek hiçbir şey olmadan.
-
Chatterbox Klon
Konuşmacının kendi sesi 20 dilde, CPU'da, hesap gerekmeden.