Ming-3.0-tts (offline, voice clone, 7 languages)

Cosa fa

Prima di installare

Ming-3.0-tts è un modello grande, circa 1,5 miliardi di parametri con il suo codec audio. Chiede molto al tuo computer:

• Disco: circa 3,4 GB, quasi tutti per il modello da 2,99 GB, scaricato alla prima battuta che doppi.
• Memoria: circa 5 GB liberi. Con meno funziona ancora, ma molto più lentamente.
• Tempo: su una CPU ogni secondo di parlato richiede da quattro a cinque secondi circa per essere generato, su un Intel Core i7-13700T. Un video di dieci minuti può richiedere circa tre quarti d'ora.

Per doppiaggi rapidi su computer modesti, Piper o Kokoro sono molto più leggeri.

Voci

Nella scheda Parlanti, scegli Ming-3.0-tts come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.

12 voci.

La voce clonata

Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli tra 3 e 12 secondi, o da più sottotitoli brevi uniti. Se per questo video hai separato la musica dalla voce, il campione viene dalla sola voce. La Fallback reference clip nelle impostazioni del componente aggiuntivo si usa solo quando non si riesce a ritagliare nessun campione.

Subtitld invia il testo del sottotitolo insieme al campione, e Ming-3.0-tts prosegue da lì, il che si avvicina di più al parlante, modo di parlare compreso. Se un doppiaggio in un'altra lingua mantiene l'accento del parlante, attiva Clone the timbre only.

Voci integrate

Emma (americana), George e Charlotte (britannici), Ling Xiaorou e Ling Kai (cinesi) sono parlanti che il modello ha imparato. Ognuno suona uguale in ogni battuta, e ognuno parla tutte e sette le lingue.

Voci descritte

Ming-3.0-tts inventa una voce nuova ogni volta che legge una descrizione. Perciò il componente aggiuntivo crea la voce di ogni parlante una sola volta, e tutte le battute di quel parlante la riusano: la voce resta la stessa per tutto il video, e due parlanti con la stessa descrizione suonano comunque come due persone.

Emozione, velocità, tono e volume

Sono impostazioni del componente aggiuntivo, quindi valgono per tutti i parlanti doppiati con una voce clonata o descritta. Sono i controlli propri del modello, che prendono il suono della voce del parlante ma non il suo modo di parlare, e funzionano uno alla volta: un'emozione, se impostata, prevale su velocità, tono e volume. Le voci integrate li ignorano.

Nelle battute in cinese o in inglese, il modello produce anche i suoni scritti nel testo: [Laughter], [Sigh], [Breathing], [Cough], [Uhm] e pochi altri.

Modelli

C'è un solo modello, Ming-3.0-tts-0.5B. Non è incluso nel componente aggiuntivo: si scarica nella cache dei modelli condivisa di Subtitld la prima volta che doppi, da Hugging Face a una revisione fissata, con ogni file verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo mantiene il modello.

La prima battuta carica anche il modello, quindi richiede più tempo delle successive. Annulla ferma una battuta tra due passi, oppure ferma il download.

Opzioni

In Impostazioni › Componenti aggiuntivi › Ming-3.0-tts (offline, voice clone, 7 languages) › Configuri.

Lingue

Cinese, inglese, giapponese, coreano, tedesco, francese e spagnolo. Ogni voce le parla tutte.

• zh
• en
• ja
• ko
• de
• fr
• es

Piattaforme

Linux x86-64, macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e la CI verifica che nella build ci sia tutto il necessario per parlare. La CI non esegue il modello in sé.

Risoluzione dei problemi

• network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.
• disk_fullSpazio su disco insufficiente per il modello. Servono circa 3,4 GB liberi.
• oomMemoria esaurita. Chiudi altri programmi; Ming-3.0-tts ha bisogno di circa 5 GB liberi.
• bad_paramsLa battuta non ha testo, la voce clonata non ha ricevuto nessun campione, oppure Voce che descrivi non ha nessuna descrizione. Il messaggio dice quale: apri il video, imposta una Fallback reference clip, o scrivi una Voice description.
• unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.
• internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli. Se hai cambiato Inference device, riportalo su Automatico.

Licenza

Adatto all'uso commerciale: il componente aggiuntivo è Apache-2.0, e il codice di Ming-3.0-tts e i pesi Ming-3.0-tts-0.5B sono MIT. I doppiaggi che crei sono tuoi. Una voce clonata suona come una persona reale: clona voci che hai il diritto di usare, e indica che un doppiaggio è sintetico quando conta.