KittenTTS 2 (offline, voice clone, 16 languages)

Cosa fa

Prima di installare

• Disco: circa 1,7 GB per il modello, scaricato alla prima battuta, e altri 540 MB per la clonazione, alla prima battuta clonata.
• Memoria: circa 2,3 GB mentre parla, quindi circa 3 GB liberi.
• Processore: su Intel e AMD, uno con AVX2, FMA e F16C, che i processori Intel hanno dal 2013 e quelli AMD dal 2015. Alcuni processori Celeron, Pentium e Atom non li hanno, e lì la prima battuta fallisce con un messaggio che lo dice. Ogni Mac con Apple Silicon funziona.

Clona una voce solo con il consenso della persona a cui appartiene.

Voci

Nella scheda Parlanti, scegli KittenTTS 2 come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo. Imposta la lingua del progetto prima di doppiare.

116 voci in 16 lingue.

• ar 4
• de 4
• en 50
• es 5
• fr 5
• hi 5
• id 2
• it 6
• ja 4
• ko 3
• nl 3
• pl 4
• pt 6
• ru 7
• tr 3
• zh 4

Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da 3 a 12 secondi, e lo invia con il testo del sottotitolo pronunciato in esso. KittenTTS prosegue da quel campione, il che si avvicina di più al parlante ed è il modo più stabile. Nella nostra prova, con campioni in inglese e battute in portoghese, i doppiaggi clonati somigliavano ai loro parlanti quasi quanto quelli di VoxCPM2, e sbagliavano meno parole. Se per questo video hai separato la musica dalla voce, il campione viene dalla sola voce. La Fallback reference clip nelle impostazioni del componente aggiuntivo si usa solo quando non si riesce a ritagliare nessun campione.

Ogni voce predefinita appartiene a una sola lingua: è una registrazione, e il modello prosegue con il suo accento. Per questo l'elenco Voce mostra le voci della lingua del tuo progetto. L'inglese ne ha 50, tra cui Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki e Leo di KittenTTS 0.8, e personaggi come Marcus, un DJ radiofonico dalla voce morbida, o Victoria, una narratrice regale. Le altre lingue ne hanno da 2 a 7 ciascuna. KittenML non dice da dove provengono le registrazioni.

Di tanto in tanto il modello resta in silenzio invece di pronunciare una battuta. Il componente aggiuntivo se ne accorge e riprova, fino a tre volte, così non devi farlo tu.

Modelli

Nessuno dei file di KittenML è incluso nel componente aggiuntivo: si scaricano nella cache dei modelli condivisa di Subtitld la prima volta che doppi, dal repository Hugging Face di KittenML a una revisione fissata, con ogni file verificato. L'encoder di riferimento, che trasforma un campione in una voce, arriva dalla versione del componente aggiuntivo stesso alla prima battuta clonata. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo mantiene i modelli.

Il componente aggiuntivo esegue il programma C++ di KittenML stessa per KittenTTS 2, che è circa quattro volte più veloce del pacchetto Python di KittenML e ha bisogno di un terzo della sua memoria.

Opzioni

In Impostazioni › Componenti aggiuntivi › KittenTTS 2 (offline, voice clone, 16 languages) › Configuri.

Lingue

Inglese, spagnolo, francese, tedesco, italiano, portoghese, russo, cinese, giapponese, coreano, arabo, hindi, turco, olandese, polacco e indonesiano. Un progetto in qualsiasi altra lingua riceve un messaggio che lo dice: scegli un altro motore di doppiaggio per quel progetto.

Il testo inglese viene letto come va inteso: in inglese "the 3rd of May" diventa "the third of May", "$12.50" diventa "twelve dollars fifty". Nelle altre lingue, scrivi numeri e simboli in lettere quando conta.

• en
• es
• fr
• de
• it
• pt
• ru
• zh
• ja
• ko
• ar
• hi
• tr
• nl
• pl
• id

Piattaforme

Linux x86-64, macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ognuna la CI installa il componente aggiuntivo come fa Subtitld, scarica il modello e doppia con esso, anche con una voce clonata. Su Linux richiede glibc 2.35 o più recente.

Risoluzione dei problemi

• network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.
• disk_fullSpazio su disco insufficiente per il modello, circa 1,7 GB, o 2,2 GB con la clonazione.
• unsupported_languageLa lingua del progetto non è una delle 16, oppure non è impostata. Impostala nel progetto, o scegli un altro motore di doppiaggio.
• unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.
• bad_paramsLa battuta non ha testo, oppure la voce clonata non ha ricevuto nessun campione: apri il video, o imposta una Fallback reference clip. Il messaggio dice quale dei due.
• internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli. Se dice che il processore non ha AVX2, FMA e F16C, questo computer non può eseguire KittenTTS 2. Se dice che la battuta continuava a produrre silenzio, prova un'altra voce o riformula la battuta.

Licenza

Il componente aggiuntivo è Apache-2.0. Il runtime di KittenML è MIT e Apache-2.0, LibTorch è BSD-3-Clause, e le parti dell'encoder di riferimento sono MIT. I pesi KittenTTS 2 sono sotto la Stellon Labs Community License, che accetti quando il componente aggiuntivo li scarica: gratuiti per la ricerca e l'uso personale, e per l'uso commerciale solo sotto 1.000.000 di dollari USA di ricavi annui e di finanziamenti totali, con registrazione presso Stellon Labs. I pesi e ciò che producono non possono essere usati per addestrare altri modelli. I doppiaggi che crei sono tuoi. Powered by KittenML.