VoxCPM2 (offline, voice clone, 30 languages)

Cosa fa

Prima di installare

VoxCPM2 è un modello grande, 2,4 miliardi di parametri. Dà i doppiaggi più naturali tra i componenti aggiuntivi offline, ed è quello che chiede di più al tuo computer:

• Disco: circa 5,6 GB, quasi tutti per il modello da 4,96 GB, scaricato alla prima battuta che doppi.
• Memoria: circa 7 GB liberi. Con meno funziona ancora, ma molto più lentamente.
• Tempo: su una CPU ogni secondo di parlato richiede diversi secondi per essere generato: da 5 a 6 secondi su un Intel Core i7-13700T. Un video di dieci minuti può richiedere circa un'ora. Su un Mac con Apple Silicon gira sulla GPU.

Per doppiaggi rapidi su computer modesti, Piper o Kokoro sono molto più leggeri.

Voci

Nella scheda Parlanti, scegli VoxCPM2 come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.

9 voci.

La voce clonata

Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli tra 3 e 12 secondi, o da più sottotitoli brevi uniti. Se per questo video hai separato la musica dalla voce, il campione viene dalla sola voce. La Fallback reference clip nelle impostazioni del componente aggiuntivo si usa solo quando non si riesce a ritagliare nessun campione.

Subtitld invia il testo del sottotitolo insieme al campione, e VoxCPM2 prosegue da lì, il che si avvicina di più al parlante, modo di parlare compreso. Se un doppiaggio in un'altra lingua mantiene l'accento del parlante, attiva Clone the timbre only.

Voci descritte

VoxCPM2 inventa una voce nuova ogni volta che legge una descrizione. Perciò il componente aggiuntivo crea la voce di ogni parlante una sola volta, e tutte le battute di quel parlante la riusano: la voce resta la stessa per tutto il video, e due parlanti con la stessa descrizione suonano comunque come due persone.

Modelli

C'è un solo modello, VoxCPM2. Non è incluso nel componente aggiuntivo: si scarica nella cache dei modelli condivisa di Subtitld la prima volta che doppi, da Hugging Face a una revisione fissata, con ogni file verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo mantiene il modello.

La prima battuta carica anche il modello, quindi richiede più tempo delle successive. Annulla ferma una battuta tra due passi, oppure ferma il download.

Opzioni

In Impostazioni › Componenti aggiuntivi › VoxCPM2 (offline, voice clone, 30 languages) › Configuri.

Lingue

Arabo, birmano, cinese, danese, olandese, inglese, finlandese, francese, tedesco, greco, ebraico, hindi, indonesiano, italiano, giapponese, khmer, coreano, lao, malese, norvegese, polacco, portoghese, russo, spagnolo, swahili, svedese, tagalog, thailandese, turco e vietnamita. VoxCPM2 riconosce la lingua dal testo stesso, quindi ogni voce parla tutte le lingue.

• ar
• my
• zh
• da
• nl
• en
• fi
• fr
• de
• el
• he
• hi
• id
• it
• ja
• km
• ko
• lo
• ms
• no
• pl
• pt
• ru
• es
• sw
• sv
• tl
• th
• tr
• vi

Piattaforme

Linux x86-64, macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e la CI verifica che nella build ci sia tutto il necessario per parlare. La CI non esegue il modello in sé.

Risoluzione dei problemi

• network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.
• disk_fullSpazio su disco insufficiente per il modello. Servono circa 5 GB liberi.
• oomMemoria esaurita. Chiudi altri programmi; VoxCPM2 ha bisogno di circa 7 GB liberi, 11 GB in float32.
• bad_paramsLa battuta non ha testo, oppure la voce clonata non ha ricevuto nessun campione: apri il video, o imposta una Fallback reference clip. Il messaggio dice quale dei due.
• unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.
• internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli. Se hai cambiato Inference device, riportalo su Automatico.

Licenza

Adatto all'uso commerciale: il componente aggiuntivo, VoxCPM e i pesi VoxCPM2 sono tutti Apache-2.0. I doppiaggi che crei sono tuoi. Una voce clonata suona come una persona reale: clona voci che hai il diritto di usare, e indica che un doppiaggio è sintetico quando conta.