BlueTTS offline, clonazione vocale, ebraico + 6 lingue
Doppia i tuoi sottotitoli in ebraico, inglese, tedesco, spagnolo, italiano, russo e yiddish con BlueV3, di Maxim Melichov, con una di 15 voci oppure con la voce di ogni parlante clonata da circa dieci secondi del video. Funziona sul processore del tuo computer, da tre a cinque volte più veloce del tempo reale, senza scheda grafica.
Impostazioni Componenti aggiuntivi BlueTTS (offline, voice clone, Hebrew + 6 languages) Installa
Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.
- Lingue
- 7
- Modelli
- 5
- Voci
- 16
- Download del componente
- 37–62 MB
- RAM, almeno
- 2.5 GB
Cosa fa
BlueTTS è nato prima di tutto per l'ebraico: legge testo ebraico senza vocali, numeri, date e prezzi compresi, e le parole inglesi dentro una battuta in ebraico vengono lette in inglese. Parla anche yiddish, cosa che pochi motori di doppiaggio fanno.
Subtitld ritaglia dal video circa dieci secondi di ogni parlante e li invia con ogni battuta. BlueTTS clona quella voce in una qualsiasi delle sue sette lingue. Oppure scegli una di 15 voci.
Sul processore di un portatile parla da tre a cinque volte più veloce del tempo reale. La scheda grafica non viene usata.
Ogni parte si scarica una volta sola, la prima volta che una battuta ne ha bisogno. Da lì in poi, niente esce dal tuo computer.
Prima di installare
Ciò che serve a BlueTTS dipende dalle lingue che doppi:
- Disco: 428 MB per il modello, scaricato alla prima battuta. L'ebraico aggiunge 1,2 GB (o 312 MB con il modello di lettura compatto), lo yiddish 307 MB e la voce del parlante 136 MB, ciascuno la prima volta che lo usi.
- Memoria: circa 700 MB mentre parla, circa 2 GB una volta caricato l'ebraico.
- Tempo: su un Intel Core i7-13700T, un secondo di parlato richiede circa un quinto di secondo per essere generato, un terzo di secondo in ebraico. La prima battuta in ebraico aspetta circa 15 secondi in più mentre si carica il modello di lettura.
- Processore: qualsiasi processore Intel o AMD a 64 bit, oppure Apple Silicon. La scheda grafica non viene usata.
Voci
Nella scheda Parlanti, scegli BlueTTS come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.
16 voci.
| Voci | |
|---|---|
| Donne | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| Uomini | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
Ogni voce parla tutte e sette le lingue, ciascuna al proprio ritmo naturale in ogni lingua. Sono state create da lettori del corpus di audiolibri LibriTTS-R.
Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli o da più sottotitoli brevi uniti. Se per questo video hai separato la musica dalla voce, il campione viene dalla sola voce. La Fallback reference clip nelle impostazioni del componente aggiuntivo si usa solo quando non si riesce a ritagliare nessun campione.
BlueTTS ascolta più o meno i primi nove secondi del campione, e copia il timbro e l'altezza della voce, non il suo modo di parlare. Il campione migliore è parlato pulito, vicino al microfono: rumore ed eco rendono il clone meno somigliante al parlante, e una registrazione al telefono dà una voce che suona come al telefono.
Modelli
Il modello e i modelli di lettura non sono inclusi nel componente aggiuntivo: ciascuno si scarica nella cache dei modelli condivisa di Subtitld la prima volta che una battuta ne ha bisogno, da Hugging Face a una revisione fissata, con ogni file verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo li mantiene.
| Modello | Download | Adatto a |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Predefinito bluev3 | Ogni battuta: le voci, e come vengono letti inglese, tedesco, spagnolo, italiano e russo | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | La voce del parlante, la prima volta che ne doppi una | |
| RenikudPlus Hebrew G2P renikudplus | L'ebraico, la prima volta che lo doppi (il predefinito) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | L'ebraico, quando scegli il modello di lettura compatto | |
| ReNikud-yi Yiddish context model renikud-yi | Lo yiddish, la prima volta che lo doppi |
Il componente aggiuntivo esegue il codice di BlueTTS stesso su ONNX Runtime, senza PyTorch. Con la stessa voce, la stessa battuta e lo stesso seed, dà esattamente ciò che dà il pacchetto Python di BlueTTS.
Opzioni
In Impostazioni › Componenti aggiuntivi › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Configuri.
00 usa i processori logici del computer, al massimo 8. Di più raramente è più veloce; di meno lasciano il computer più reattivo durante il doppiaggio.
8Quanti passaggi fa il modello su ogni battuta. 8 è l'impostazione di BlueTTS stesso. 4 è circa 1,7 volte più veloce, con una qualità un po' più bassa.
accurateCome il testo ebraico viene trasformato in suoni. accurate è il modello completo, 1,2 GB, con circa 2 GB di memoria. compact è lo stesso modello ridotto, 312 MB: nel nostro test ha letto in modo diverso circa 1 parola su 200, più spesso in modo sbagliato.
Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza nessun video aperto: circa 10 secondi di una persona che parla, pulita, non una registrazione al telefono.
Lingue
Ebraico, inglese, tedesco, spagnolo, italiano, russo e yiddish. Un progetto in qualsiasi altra lingua riceve un messaggio che lo dice: scegli un altro motore di doppiaggio per quel progetto.
Lo spagnolo segue la regione del progetto: la Spagna riceve il castigliano, qualsiasi altra regione lo spagnolo latinoamericano. Numeri, date, prezzi e codici vengono letti come parole, tranne in yiddish: scrivi i numeri yiddish in lettere, altrimenti la battuta viene rifiutata con un messaggio che lo dice.
heendeesitruyi
Piattaforme
| Sistema | Download | Testato |
|---|---|---|
| Linux x86-64 | 61.7 MB | Doppiato con il modello vero su una macchina vera, tramite il gestore dei componenti aggiuntivi di Subtitld, e in CI |
| macOS (Apple silicon) | 43.8 MB | Doppiato con il modello vero in CI (Apple Silicon) |
| Windows x86-64 | 37.3 MB | Doppiato con il modello vero in CI |
Linux x86-64, macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ognuna la CI installa il componente aggiuntivo come fa Subtitld, scarica i modelli e doppia una battuta in ogni lingua.
Risoluzione dei problemi
network_unavailableNon è stato possibile scaricare un modello. Controlla la connessione e riprova: il download riprende.disk_fullSpazio su disco insufficiente per il modello: 428 MB, e fino a 1,7 GB in più per ebraico, yiddish e la voce del parlante.unsupported_languageLa lingua del progetto non è una delle sette, oppure non è impostata. Impostala nel progetto, o scegli un altro motore di doppiaggio.unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.bad_paramsLa battuta non ha testo, una battuta in yiddish contiene cifre, oppure la voce clonata non ha ricevuto nessun campione: apri il video, o imposta una Fallback reference clip. Il messaggio dice quale.out_of_memoryIl computer ha esaurito la memoria. Chiudi altri programmi: BlueTTS ha bisogno di circa 1 GB libero, 2,5 GB con l'ebraico.internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli.
Licenza
Il componente aggiuntivo è Apache-2.0 e il codice di BlueTTS è MIT. Anche il modello vocale è MIT, tranne il suo vocoder, la parte che trasforma l'output del modello in suono: è perfezionato a partire da Supertonic-3 di Supertone e porta la licenza BigScience OpenRAIL-M. L'uso commerciale è consentito, ma OpenRAIL-M vieta alcuni usi di ciò che produce, tra cui violare la legge, ingannare le persone e impersonare qualcuno senza il suo consenso. Le 15 voci sono CC-BY-4.0. I lessici tedesco e italiano, e parte di quello yiddish, sono CC BY-SA; si scaricano con i modelli e restano come i loro autori li pubblicano.
I doppiaggi che crei sono tuoi. Una voce clonata suona come una persona reale: clona voci che hai il diritto di usare, e di' che un doppiaggio è sintetico dove conta.
Versioni
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
Altri componenti aggiuntivi Voci
-
Piper Offline
158 voci offline in 49 lingue, ciascuna un piccolo download separato.
-
Kokoro Offline
54 voci offline in nove lingue, tutte da un unico modello da 82 MB.
-
Supertonic Offline
Dieci voci offline, ciascuna capace di parlare tutte e 31 le lingue.
-
sanoTTS Offline
Voci offline minuscole, 28 in 14 lingue, ciascuna sotto i 10 MB.
-
Parler-TTS Offline
Voci inglesi che seguono una descrizione scritta; 34 parlanti con nome.
-
Qwen3-TTS Clonazione
Dieci lingue, nove voci, e clonazione da 3 secondi di un parlante.
-
Coqui XTTS Clonazione
Clonazione vocale in 16 lingue, con licenza del modello non commerciale.
-
F5-TTS Clonazione
Solo clonazione vocale, in inglese e cinese; modello non commerciale.
-
VoxCPM2 Clonazione
30 lingue a 48 kHz, con la voce del parlante o una voce descritta. Pesante.
-
Pocket TTS Offline
Veloce e leggero, solo CPU. 23 voci in sette lingue europee.
-
Sopro Clonazione
La voce del parlante, veloce su una CPU. Quattro lingue.
-
KittenTTS 2 Clonazione
La voce del parlante in 16 lingue, su una CPU. Pesi con una licenza restrittiva.
-
Ming-3.0-tts Clonazione
7 lingue a 44,1 kHz: voci clonate, integrate o descritte, con emozione. Pesante.
-
Scylla's Band Offline
Quattordici voci in sei lingue, leggero e veloce su una CPU. Solo voci predefinite.
-
Audio8 TTS Clonazione
La voce del parlante in 11 lingue, cantonese compreso. Lento su una CPU.
-
Inflect Offline
Voce inglese naturale da un modello minuscolo, veloce su qualsiasi CPU.
-
Paradee Offline
Quattro voci inglesi naturali, americane e britanniche, da un solo modello da 8,5 MB.
-
Chatterbox Clonazione
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…