VoxMel offline, clonazione vocale, 2 lingue
Doppia i tuoi sottotitoli in inglese e cinese mandarino con VoxMel di VoxDance Lab, con la voce di ogni parlante clonata fedelmente dal video e dai suoi sottotitoli, oppure con una di otto voci predefinite. Funziona sul tuo computer, e il componente aggiuntivo, il modello e le voci sono tutti Apache-2.0.
Impostazioni Componenti aggiuntivi VoxMel (offline, voice clone, 2 languages) Installa
Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.
- Lingue
- 2
- Modelli
- 1
- Voci
- 9
- Download del componente
- 15–19 MB
- RAM, almeno
- 2 GB
Ascolta
Cosa fa
Subtitld ritaglia dal video pochi secondi di ogni parlante e li invia con i sottotitoli pronunciati in quei secondi. VoxMel clona fedelmente quella voce, in inglese o in mandarino.
Due donne e due uomini per ogni lingua, per i parlanti che non vuoi clonare. Le ha create VoxMel stesso: per realizzarle non è stata registrata la voce di nessuna persona.
Una battuta clonata richiede da due a quattro secondi per secondo di parlato su un processore recente per portatili.
Il componente aggiuntivo, il motore audio.cpp, i pesi VoxMel e le voci predefinite sono tutti Apache-2.0.
Prima di installare
- Disco: circa 1,2 GB, quasi tutti per il modello da 1,04 GB, scaricato alla prima battuta che doppi.
- Memoria: circa 2 GB liberi.
- Tempo: su un Intel Core i7-13700T, una battuta con la voce del parlante ha richiesto da due a quattro secondi per secondo di parlato. Su un Mac con Apple Silicon gira sulla GPU.
- Lingue: solo inglese e mandarino. Per altre lingue, VoxCPM2 clona le voci in 30 lingue e OmniVoice in 646.
Voci
Nella scheda Parlanti, scegli VoxMel come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo: VoxMel da solo non ha alcun controllo del ritmo.
9 voci in 2 lingue.
en4zh4
La voce clonata
Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli tra 3 e 12 secondi, o da più sottotitoli brevi uniti, e invia insieme il testo del sottotitolo. VoxMel ha bisogno sia del campione sia delle sue parole. La Fallback reference clip nelle impostazioni del componente aggiuntivo, con la sua trascrizione, si usa solo quando non si riesce a ritagliare nessun campione.
VoxMel clona al meglio all'interno della stessa lingua. Un doppiaggio in inglese di un parlante mandarino funziona bene; un doppiaggio in mandarino di un parlante inglese può biascicare alcune parole.
Clone the timbre only non funziona con questo componente aggiuntivo, perché VoxMel non sa clonare senza le parole del campione. Lascialo disattivato per i parlanti che usano VoxMel.
Voci predefinite
Ogni voce predefinita è una breve clip che VoxMel ha generato senza alcuna registrazione di riferimento, conservata con le sue parole esatte. Ogni battuta di un parlante a cui è assegnata una voce predefinita clona quella clip, così la voce resta la stessa per tutto il video. Le voci predefinite inglesi sono adatte alle battute in inglese e quelle mandarine alle battute in mandarino.
Modelli
C'è un solo modello, VoxMel 0.6B con il suo vocoder Vocos, con i pesi memorizzati a 8 bit, come li ha convertiti il progetto audio.cpp. Non è incluso nel componente aggiuntivo: si scarica nella cache dei modelli condivisa di Subtitld la prima volta che doppi, da Hugging Face a una revisione fissata, e viene verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo mantiene il modello.
| Modello | Download | Adatto a |
|---|---|---|
| VoxMel 0.6B (8-bit) Predefinito voxmel | Tutte le voci, in inglese e mandarino |
La prima battuta carica anche il modello, quindi richiede più tempo delle successive. Su un Mac con Apple Silicon, la primissima volta, il componente aggiuntivo pronuncia anche una breve battuta di prova sulla GPU, e usa la CPU se non funziona. Annulla ferma una battuta tra due passi, oppure ferma il download.
Opzioni
In Impostazioni › Componenti aggiuntivi › VoxMel (offline, voice clone, 2 languages) › Configuri.
32Con quanta finezza VoxMel disegna ogni istante del parlato. 32 è l'impostazione di VoxMel stesso; meno passi sono più veloci, con meno dettaglio.
3.5Quanto il parlato segue da vicino il testo. 3,5 è l'impostazione di VoxMel stesso.
3Quanto una voce clonata segue da vicino la clip. 3,0 è l'impostazione di VoxMel stesso; valori più alti possono suonare più somiglianti, oppure forzati.
00 sceglie i core ad alte prestazioni sulle CPU che hanno anche core a efficienza. Meno thread lasciano il computer più reattivo durante il doppiaggio.
Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza nessun video aperto: da 3 a 15 secondi di una persona che parla.
Esattamente ciò che viene detto nella clip di riserva, parola per parola. VoxMel clona dalla clip e dalle sue parole, quindi senza di esse la clip di riserva viene rifiutata.
Lingue
Inglese e cinese mandarino. VoxMel riconosce la lingua dal testo.
enzh
Piattaforme
| Sistema | Download | Testato |
|---|---|---|
| Linux x86-64 | 18.8 MB | Doppiato con il modello vero su una macchina vera e su AlmaLinux 8; in CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta |
| macOS (Apple silicon) | 18.1 MB | In CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta (Apple Silicon) |
| Windows x86-64 | 15.4 MB | In CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta |
Linux x86-64 (qualsiasi distribuzione dal 2018 in poi, glibc 2.28 o successiva), macOS 13.3 o successivo su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ciascuna la CI installa il componente aggiuntivo, scarica il modello e lo fa parlare, clonare una voce e annullare una battuta.
Risoluzione dei problemi
network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.disk_fullSpazio su disco insufficiente per il modello. Servono circa 1,2 GB liberi.oomMemoria esaurita. Chiudi altri programmi; VoxMel ha bisogno di circa 2 GB liberi.bad_paramsLa battuta non ha testo, oppure la voce clonata non ha ricevuto nessun campione o nessuna parola insieme al campione. Il messaggio dice quale. Per una voce clonata, apri il video e lascia Clone the timbre only disattivato.unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli.
Licenza
Adatto all'uso commerciale: il componente aggiuntivo, le sue voci predefinite, il motore audio.cpp e i pesi VoxMel sono tutti Apache-2.0, e il vocoder Vocos e ggml sono MIT. I doppiaggi che crei sono tuoi. Una voce clonata suona come una persona reale: clona voci che hai il diritto di usare, e indica che un doppiaggio è sintetico quando conta.
Versioni
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Altri componenti aggiuntivi Voci
-
Piper Offline
158 voci offline in 49 lingue, ciascuna un piccolo download separato.
-
Kokoro Offline
54 voci offline in nove lingue, tutte da un unico modello da 82 MB.
-
Supertonic Offline
Dieci voci offline, ciascuna capace di parlare tutte e 31 le lingue.
-
sanoTTS Offline
Voci offline minuscole, 28 in 14 lingue, ciascuna sotto i 10 MB.
-
Parler-TTS Offline
Voci inglesi che seguono una descrizione scritta; 34 parlanti con nome.
-
Qwen3-TTS Clonazione
Dieci lingue, nove voci, e clonazione da 3 secondi di un parlante.
-
Coqui XTTS Clonazione
Clonazione vocale in 16 lingue, con licenza del modello non commerciale.
-
F5-TTS Clonazione
Solo clonazione vocale, in inglese e cinese; modello non commerciale.
-
VoxCPM2 Clonazione
30 lingue a 48 kHz, con la voce del parlante o una voce descritta. Pesante.
-
Pocket TTS Offline
Veloce e leggero, solo CPU. 23 voci in sette lingue europee.
-
Sopro Clonazione
La voce del parlante, veloce su una CPU. Quattro lingue.
-
KittenTTS 2 Clonazione
La voce del parlante in 16 lingue, su una CPU. Pesi con una licenza restrittiva.
-
Ming-3.0-tts Clonazione
7 lingue a 44,1 kHz: voci clonate, integrate o descritte, con emozione. Pesante.
-
Scylla's Band Offline
Quattordici voci in sei lingue, leggero e veloce su una CPU. Solo voci predefinite.
-
Audio8 TTS Clonazione
La voce del parlante in 23 lingue, cantonese e arabo compresi. Lento su una CPU.
-
Inflect Offline
Voce inglese naturale da un modello minuscolo, veloce su qualsiasi CPU.
-
Paradee Offline
Quattro voci inglesi naturali, americane e britanniche, da un solo modello da 8,5 MB.
-
BlueTTS Clonazione
Ebraico e yiddish, più altre cinque lingue. La voce del parlante, veloce su una CPU.
-
ZONOS3-Mini Clonazione
43 lingue, dall'arabo al vietnamita. La voce del parlante, su una CPU.
-
Reverb Clonazione
Sette lingue europee e la voce del parlante, su una CPU; modello non commerciale.
-
OmniVoice Clonazione
646 lingue, la voce del parlante anche in altre lingue; modello non commerciale.
-
tiny-voca Offline
Due voci in inglese americano da un modello da 4,5 milioni di parametri, senza niente da scaricare.
-
Chatterbox Clonazione
La voce del parlante in 20 lingue, su una CPU, senza account.