Audio8 TTS (offline, voice clone, 11 languages)

Cosa fa

Prima di installare

Audio8 TTS chiede al tuo computer più dei motori di doppiaggio leggeri:

• Disco: circa 1 GB per il modello, scaricato alla prima battuta che doppi.
• Memoria: circa 1,6 GB mentre parla, e fino a 3 GB per un momento la prima volta che sente un nuovo parlante.
• Tempo: ogni secondo di parlato richiede da due a tre secondi per essere generato, su un Intel Core i7-13700T. Un video di dieci minuti può richiedere circa mezz'ora.
• Processore: qualsiasi processore Intel o AMD a 64 bit, oppure Apple Silicon. La scheda grafica non viene usata.

Per doppiaggi rapidi, Sopro o Chatterbox clonano le voci all'incirca in tempo reale o più velocemente, in meno lingue.

Voci

Nella scheda Parlanti, scegli Audio8 TTS come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.

1 voce.

Audio8 TTS ha una sola voce, Speaker's own voice, e nessuna voce predefinita: ogni battuta clona un parlante. Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli tra 3 e 12 secondi, o da più sottotitoli brevi uniti. Se per questo video hai separato la musica dalla voce, il campione viene dalla sola voce. La Fallback reference clip nelle impostazioni del componente aggiuntivo si usa solo quando non si riesce a ritagliare nessun campione.

Subtitld invia il testo del sottotitolo insieme al campione, e Audio8 TTS lo usa per avvicinarsi di più al parlante. Senza di esso, per esempio quando la lingua originale del progetto non è impostata, il componente aggiuntivo clona dal solo suono del campione, con un po' meno di somiglianza. Se i tuoi sottotitoli parafrasano il parlato invece di trascriverlo, attiva Don't send the subtitles of the reference clip.

La prima battuta di ogni parlante richiede qualche secondo in più, mentre il componente aggiuntivo ascolta il suo campione. Lo ricorda, così le battute successive del parlante partono subito.

Modelli

C'è un solo modello, Audio8 TTS Preview 0.6B, nella versione ONNX a 4 bit che i suoi autori pubblicano per i processori. Non è incluso nel componente aggiuntivo: si scarica nella cache dei modelli condivisa di Subtitld la prima volta che doppi, da Hugging Face a una revisione fissata, con ogni file verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo mantiene il modello.

Il componente aggiuntivo esegue quella versione senza PyTorch. Con la stessa voce, la stessa battuta e lo stesso seed, dà esattamente ciò che dà il runtime di Audio8 stesso.

Opzioni

In Impostazioni › Componenti aggiuntivi › Audio8 TTS (offline, voice clone, 11 languages) › Configuri.

Lingue

Cinese, cantonese, giapponese, coreano, inglese, olandese, francese, tedesco, italiano, polacco e spagnolo. Un parlante clonato da una clip in una di queste parla tutte le altre. Un progetto in qualsiasi altra lingua riceve un messaggio che lo dice: scegli un altro motore di doppiaggio per quel progetto.

Audio8 chiama questo modello un'anteprima: queste sono le lingue che consiglia. Abbiamo verificato una frase in ciascuna, con Whisper e un punteggio di somiglianza della voce, non a orecchio in ogni lingua.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Piattaforme

Linux x86-64, macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ciascuna la CI installa il componente aggiuntivo come fa Subtitld, scarica il modello e doppia con esso.

Risoluzione dei problemi

• network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.
• disk_fullSpazio su disco insufficiente per il modello, circa 1 GB.
• unsupported_languageLa lingua del progetto non è una delle undici, oppure non è impostata. Impostala nel progetto, o scegli un altro motore di doppiaggio.
• unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.
• bad_paramsLa battuta non ha testo, oppure la voce clonata non ha ricevuto nessun campione: apri il video, o imposta una Fallback reference clip. Il messaggio dice quale.
• out_of_memoryIl computer ha esaurito la memoria. Chiudi altri programmi: Audio8 TTS ha bisogno di circa 3 GB liberi.
• internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli.

Licenza

Adatto all'uso commerciale: il componente aggiuntivo è Apache-2.0, così come il codice di Audio8 TTS e i pesi Audio8 TTS Preview 0.6B. I doppiaggi che crei sono tuoi. Una voce clonata suona come una persona reale: clona voci che hai il diritto di usare, e indica che un doppiaggio è sintetico quando conta.