VoxMel offline, clonazione vocale, 2 lingue

VociOfflineGPU facoltativaClonazione vocaleUso commerciale consentito

Doppia i tuoi sottotitoli in inglese e cinese mandarino con VoxMel di VoxDance Lab, con la voce di ogni parlante clonata fedelmente dal video e dai suoi sottotitoli, oppure con una di otto voci predefinite. Funziona sul tuo computer, e il componente aggiuntivo, il modello e le voci sono tutti Apache-2.0.

Lo installi da Subtitld

Impostazioni Componenti aggiuntivi VoxMel (offline, voice clone, 2 languages) Installa

Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.

Codice sorgente su GitHub
Lingue
2
Modelli
1
Voci
9
Download del componente
15–19 MB
RAM, almeno
2 GB

Ascolta

Cosa fa

Cloni fedeli

Subtitld ritaglia dal video pochi secondi di ogni parlante e li invia con i sottotitoli pronunciati in quei secondi. VoxMel clona fedelmente quella voce, in inglese o in mandarino.

Otto voci predefinite

Due donne e due uomini per ogni lingua, per i parlanti che non vuoi clonare. Le ha create VoxMel stesso: per realizzarle non è stata registrata la voce di nessuna persona.

Veloce per un modello che clona

Una battuta clonata richiede da due a quattro secondi per secondo di parlato su un processore recente per portatili.

Libero per uso commerciale

Il componente aggiuntivo, il motore audio.cpp, i pesi VoxMel e le voci predefinite sono tutti Apache-2.0.

Prima di installare

  • Disco: circa 1,2 GB, quasi tutti per il modello da 1,04 GB, scaricato alla prima battuta che doppi.
  • Memoria: circa 2 GB liberi.
  • Tempo: su un Intel Core i7-13700T, una battuta con la voce del parlante ha richiesto da due a quattro secondi per secondo di parlato. Su un Mac con Apple Silicon gira sulla GPU.
  • Lingue: solo inglese e mandarino. Per altre lingue, VoxCPM2 clona le voci in 30 lingue e OmniVoice in 646.

Voci

Nella scheda Parlanti, scegli VoxMel come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo: VoxMel da solo non ha alcun controllo del ritmo.

9 voci in 2 lingue.

  • en 4
  • zh 4

La voce clonata

Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli tra 3 e 12 secondi, o da più sottotitoli brevi uniti, e invia insieme il testo del sottotitolo. VoxMel ha bisogno sia del campione sia delle sue parole. La Fallback reference clip nelle impostazioni del componente aggiuntivo, con la sua trascrizione, si usa solo quando non si riesce a ritagliare nessun campione.

VoxMel clona al meglio all'interno della stessa lingua. Un doppiaggio in inglese di un parlante mandarino funziona bene; un doppiaggio in mandarino di un parlante inglese può biascicare alcune parole.

Clone the timbre only non funziona con questo componente aggiuntivo, perché VoxMel non sa clonare senza le parole del campione. Lascialo disattivato per i parlanti che usano VoxMel.

Voci predefinite

Ogni voce predefinita è una breve clip che VoxMel ha generato senza alcuna registrazione di riferimento, conservata con le sue parole esatte. Ogni battuta di un parlante a cui è assegnata una voce predefinita clona quella clip, così la voce resta la stessa per tutto il video. Le voci predefinite inglesi sono adatte alle battute in inglese e quelle mandarine alle battute in mandarino.

Modelli

C'è un solo modello, VoxMel 0.6B con il suo vocoder Vocos, con i pesi memorizzati a 8 bit, come li ha convertiti il progetto audio.cpp. Non è incluso nel componente aggiuntivo: si scarica nella cache dei modelli condivisa di Subtitld la prima volta che doppi, da Hugging Face a una revisione fissata, e viene verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo mantiene il modello.

Modello DownloadAdatto a
VoxMel 0.6B (8-bit) Predefinito voxmel
992 MB
Tutte le voci, in inglese e mandarino

La prima battuta carica anche il modello, quindi richiede più tempo delle successive. Su un Mac con Apple Silicon, la primissima volta, il componente aggiuntivo pronuncia anche una breve battuta di prova sulla GPU, e usa la CPU se non funziona. Annulla ferma una battuta tra due passi, oppure ferma il download.

Opzioni

In Impostazioni › Componenti aggiuntivi › VoxMel (offline, voice clone, 2 languages) › Configuri.

Quality steps
Predefinito: 32

Con quanta finezza VoxMel disegna ogni istante del parlato. 32 è l'impostazione di VoxMel stesso; meno passi sono più veloci, con meno dettaglio.

Text guidance
Predefinito: 3.5

Quanto il parlato segue da vicino il testo. 3,5 è l'impostazione di VoxMel stesso.

Voice guidance
Predefinito: 3

Quanto una voce clonata segue da vicino la clip. 3,0 è l'impostazione di VoxMel stesso; valori più alti possono suonare più somiglianti, oppure forzati.

CPU threads
Predefinito: 0

0 sceglie i core ad alte prestazioni sulle CPU che hanno anche core a efficienza. Meno thread lasciano il computer più reattivo durante il doppiaggio.

Fallback reference clip
Predefinito: vuoto

Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza nessun video aperto: da 3 a 15 secondi di una persona che parla.

Fallback reference transcript
Predefinito: vuoto

Esattamente ciò che viene detto nella clip di riserva, parola per parola. VoxMel clona dalla clip e dalle sue parole, quindi senza di esse la clip di riserva viene rifiutata.

Lingue

Inglese e cinese mandarino. VoxMel riconosce la lingua dal testo.

  • en
  • zh

Piattaforme

Sistema DownloadTestato
Linux x86-64 18.8 MBDoppiato con il modello vero su una macchina vera e su AlmaLinux 8; in CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta
macOS (Apple silicon) 18.1 MBIn CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta (Apple Silicon)
Windows x86-64 15.4 MBIn CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta

Linux x86-64 (qualsiasi distribuzione dal 2018 in poi, glibc 2.28 o successiva), macOS 13.3 o successivo su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ciascuna la CI installa il componente aggiuntivo, scarica il modello e lo fa parlare, clonare una voce e annullare una battuta.

Risoluzione dei problemi

  • network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.
  • disk_fullSpazio su disco insufficiente per il modello. Servono circa 1,2 GB liberi.
  • oomMemoria esaurita. Chiudi altri programmi; VoxMel ha bisogno di circa 2 GB liberi.
  • bad_paramsLa battuta non ha testo, oppure la voce clonata non ha ricevuto nessun campione o nessuna parola insieme al campione. Il messaggio dice quale. Per una voce clonata, apri il video e lascia Clone the timbre only disattivato.
  • unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.
  • internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli.

Licenza

Componente aggiuntivo
Apache-2.0
con le sue otto voci predefinite
Motore
Apache-2.0
audio.cpp, con ggml (MIT)
Modello
Apache-2.0
Pesi VoxMel 0.6B, di VoxDance Lab; vocoder Vocos MIT

Adatto all'uso commerciale: il componente aggiuntivo, le sue voci predefinite, il motore audio.cpp e i pesi VoxMel sono tutti Apache-2.0, e il vocoder Vocos e ggml sono MIT. I doppiaggi che crei sono tuoi. Una voce clonata suona come una persona reale: clona voci che hai il diritto di usare, e indica che un doppiaggio è sintetico quando conta.

Versioni

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Altri componenti aggiuntivi Voci