BlueTTS offline, clonazione vocale, ebraico + 6 lingue

VociOfflineSolo CPUClonazione vocaleUso commerciale consentito

Doppia i tuoi sottotitoli in ebraico, inglese, tedesco, spagnolo, italiano, russo e yiddish con BlueV3, di Maxim Melichov, con una di 15 voci oppure con la voce di ogni parlante clonata da circa dieci secondi del video. Funziona sul processore del tuo computer, da tre a cinque volte più veloce del tempo reale, senza scheda grafica.

Lo installi da Subtitld

Impostazioni Componenti aggiuntivi BlueTTS (offline, voice clone, Hebrew + 6 languages) Installa

Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.

Codice sorgente su GitHub
Lingue
7
Modelli
5
Voci
16
Download del componente
37–62 MB
RAM, almeno
2.5 GB

Cosa fa

Ebraico e yiddish

BlueTTS è nato prima di tutto per l'ebraico: legge testo ebraico senza vocali, numeri, date e prezzi compresi, e le parole inglesi dentro una battuta in ebraico vengono lette in inglese. Parla anche yiddish, cosa che pochi motori di doppiaggio fanno.

La voce del parlante

Subtitld ritaglia dal video circa dieci secondi di ogni parlante e li invia con ogni battuta. BlueTTS clona quella voce in una qualsiasi delle sue sette lingue. Oppure scegli una di 15 voci.

Veloce su qualsiasi computer

Sul processore di un portatile parla da tre a cinque volte più veloce del tempo reale. La scheda grafica non viene usata.

Offline dopo la prima battuta

Ogni parte si scarica una volta sola, la prima volta che una battuta ne ha bisogno. Da lì in poi, niente esce dal tuo computer.

Prima di installare

Ciò che serve a BlueTTS dipende dalle lingue che doppi:

  • Disco: 428 MB per il modello, scaricato alla prima battuta. L'ebraico aggiunge 1,2 GB (o 312 MB con il modello di lettura compatto), lo yiddish 307 MB e la voce del parlante 136 MB, ciascuno la prima volta che lo usi.
  • Memoria: circa 700 MB mentre parla, circa 2 GB una volta caricato l'ebraico.
  • Tempo: su un Intel Core i7-13700T, un secondo di parlato richiede circa un quinto di secondo per essere generato, un terzo di secondo in ebraico. La prima battuta in ebraico aspetta circa 15 secondi in più mentre si carica il modello di lettura.
  • Processore: qualsiasi processore Intel o AMD a 64 bit, oppure Apple Silicon. La scheda grafica non viene usata.

Voci

Nella scheda Parlanti, scegli BlueTTS come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.

16 voci.

Voci
Donne Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Uomini Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Ogni voce parla tutte e sette le lingue, ciascuna al proprio ritmo naturale in ogni lingua. Sono state create da lettori del corpus di audiolibri LibriTTS-R.

Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli o da più sottotitoli brevi uniti. Se per questo video hai separato la musica dalla voce, il campione viene dalla sola voce. La Fallback reference clip nelle impostazioni del componente aggiuntivo si usa solo quando non si riesce a ritagliare nessun campione.

BlueTTS ascolta più o meno i primi nove secondi del campione, e copia il timbro e l'altezza della voce, non il suo modo di parlare. Il campione migliore è parlato pulito, vicino al microfono: rumore ed eco rendono il clone meno somigliante al parlante, e una registrazione al telefono dà una voce che suona come al telefono.

Modelli

Il modello e i modelli di lettura non sono inclusi nel componente aggiuntivo: ciascuno si scarica nella cache dei modelli condivisa di Subtitld la prima volta che una battuta ne ha bisogno, da Hugging Face a una revisione fissata, con ogni file verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo li mantiene.

Modello DownloadAdatto a
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Predefinito bluev3
428 MB
Ogni battuta: le voci, e come vengono letti inglese, tedesco, spagnolo, italiano e russo
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
La voce del parlante, la prima volta che ne doppi una
RenikudPlus Hebrew G2P renikudplus
1.2 GB
L'ebraico, la prima volta che lo doppi (il predefinito)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
L'ebraico, quando scegli il modello di lettura compatto
ReNikud-yi Yiddish context model renikud-yi
307 MB
Lo yiddish, la prima volta che lo doppi

Il componente aggiuntivo esegue il codice di BlueTTS stesso su ONNX Runtime, senza PyTorch. Con la stessa voce, la stessa battuta e lo stesso seed, dà esattamente ciò che dà il pacchetto Python di BlueTTS.

Opzioni

In Impostazioni › Componenti aggiuntivi › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Configuri.

CPU threads
Predefinito: 0

0 usa i processori logici del computer, al massimo 8. Di più raramente è più veloce; di meno lasciano il computer più reattivo durante il doppiaggio.

Quality steps
Predefinito: 8

Quanti passaggi fa il modello su ogni battuta. 8 è l'impostazione di BlueTTS stesso. 4 è circa 1,7 volte più veloce, con una qualità un po' più bassa.

Hebrew reading model
Predefinito: accurate

Come il testo ebraico viene trasformato in suoni. accurate è il modello completo, 1,2 GB, con circa 2 GB di memoria. compact è lo stesso modello ridotto, 312 MB: nel nostro test ha letto in modo diverso circa 1 parola su 200, più spesso in modo sbagliato.

Fallback reference clip
Predefinito: vuoto

Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza nessun video aperto: circa 10 secondi di una persona che parla, pulita, non una registrazione al telefono.

Lingue

Ebraico, inglese, tedesco, spagnolo, italiano, russo e yiddish. Un progetto in qualsiasi altra lingua riceve un messaggio che lo dice: scegli un altro motore di doppiaggio per quel progetto.

Lo spagnolo segue la regione del progetto: la Spagna riceve il castigliano, qualsiasi altra regione lo spagnolo latinoamericano. Numeri, date, prezzi e codici vengono letti come parole, tranne in yiddish: scrivi i numeri yiddish in lettere, altrimenti la battuta viene rifiutata con un messaggio che lo dice.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Piattaforme

Sistema DownloadTestato
Linux x86-64 61.7 MBDoppiato con il modello vero su una macchina vera, tramite il gestore dei componenti aggiuntivi di Subtitld, e in CI
macOS (Apple silicon) 43.8 MBDoppiato con il modello vero in CI (Apple Silicon)
Windows x86-64 37.3 MBDoppiato con il modello vero in CI

Linux x86-64, macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ognuna la CI installa il componente aggiuntivo come fa Subtitld, scarica i modelli e doppia una battuta in ogni lingua.

Risoluzione dei problemi

  • network_unavailableNon è stato possibile scaricare un modello. Controlla la connessione e riprova: il download riprende.
  • disk_fullSpazio su disco insufficiente per il modello: 428 MB, e fino a 1,7 GB in più per ebraico, yiddish e la voce del parlante.
  • unsupported_languageLa lingua del progetto non è una delle sette, oppure non è impostata. Impostala nel progetto, o scegli un altro motore di doppiaggio.
  • unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.
  • bad_paramsLa battuta non ha testo, una battuta in yiddish contiene cifre, oppure la voce clonata non ha ricevuto nessun campione: apri il video, o imposta una Fallback reference clip. Il messaggio dice quale.
  • out_of_memoryIl computer ha esaurito la memoria. Chiudi altri programmi: BlueTTS ha bisogno di circa 1 GB libero, 2,5 GB con l'ebraico.
  • internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli.

Licenza

Componente aggiuntivo
Apache-2.0
Motore
MIT
BlueTTS, di Maxim Melichov; ONNX Runtime è MIT
Modello
MIT, BigScience OpenRAIL-M
Pesi BlueV3; il vocoder, perfezionato a partire da Supertonic-3 di Supertone, è OpenRAIL-M, con restrizioni d'uso
Voci
CC-BY-4.0
Create da parlanti di LibriTTS-R
Modelli di lettura
Apache-2.0, MIT, CC BY-SA
RenikudPlus (ebraico), polyg2p; i lessici tedesco e italiano e parte di quello yiddish sono CC BY-SA

Il componente aggiuntivo è Apache-2.0 e il codice di BlueTTS è MIT. Anche il modello vocale è MIT, tranne il suo vocoder, la parte che trasforma l'output del modello in suono: è perfezionato a partire da Supertonic-3 di Supertone e porta la licenza BigScience OpenRAIL-M. L'uso commerciale è consentito, ma OpenRAIL-M vieta alcuni usi di ciò che produce, tra cui violare la legge, ingannare le persone e impersonare qualcuno senza il suo consenso. Le 15 voci sono CC-BY-4.0. I lessici tedesco e italiano, e parte di quello yiddish, sono CC BY-SA; si scaricano con i modelli e restano come i loro autori li pubblicano.

I doppiaggi che crei sono tuoi. Una voce clonata suona come una persona reale: clona voci che hai il diritto di usare, e di' che un doppiaggio è sintetico dove conta.

Versioni

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Altri componenti aggiuntivi Voci