ZONOS3-Mini offline, clonazione vocale, 43 lingue
Doppia i tuoi sottotitoli in 43 lingue con ZONOS3-Mini, di Zyphra, con una di 27 voci oppure con la voce di ogni parlante clonata da pochi secondi del video. Funziona sul processore del tuo computer, circa due volte più veloce del tempo reale, senza scheda grafica.
Impostazioni Componenti aggiuntivi ZONOS3-Mini (offline, voice clone, 43 languages) Installa
Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.
- Lingue
- 43
- Modelli
- 2
- Voci
- 28
- Download del componente
- 19–24 MB
- RAM, almeno
- 2 GB
Cosa fa
Dall'arabo, il bengalese e il bulgaro al turco, l'urdu e il vietnamita, compresi giapponese, coreano, mandarino, hindi e altre otto lingue dell'India. Numeri, date, prezzi e unità vengono letti secondo la grammatica di ciascuna lingua.
Subtitld ritaglia dal video un campione di ogni parlante e lo invia con ogni battuta. ZONOS3-Mini clona quella voce in una qualsiasi delle sue lingue. Oppure scegli una di 27 voci.
Ogni battuta viene controllata mentre viene detta, così nessuna parola viene saltata, e si ferma quando il testo è stato letto invece di continuare con parole che non sono nel sottotitolo.
Il modello si scarica una volta sola, la prima volta che una battuta ne ha bisogno. Da lì in poi, niente esce dal tuo computer.
Prima di installare
- Disco: 1.115 MB per il modello, scaricato alla prima battuta, e 45 MB in più la prima volta che usi la voce di un parlante.
- Memoria: circa 1,6 GB mentre parla.
- Tempo: su un Intel Core i7-13700T, un secondo di parlato richiede circa mezzo secondo per essere generato. La prima battuta aspetta circa 4 secondi in più mentre si carica il modello, e la prima battuta con la voce di un parlante circa 5 secondi in più mentre la voce viene appresa.
- Processore: un processore Intel o AMD a 64 bit con AVX2 (Intel dal 2013, AMD dal 2015), oppure Apple Silicon. La scheda grafica non viene usata.
Voci
Nella scheda Parlanti, scegli ZONOS3-Mini come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.
28 voci.
| Registrata in | Donne | Uomini |
|---|---|---|
| Inglese | Imogen (britannica), Morgana (strega), Sakura (anime), Savannah (americana), Willow (ASMR) | Cillian (irlandese), Jett (energico), Rupert (britannico), Thaddeus (annunciatore), Wyatt (americano) |
| Francese | Gaspard | |
| Tedesco | Liesel | Wolfgang |
| Hindi | Ananya | Arjun |
| Italiano | Ginevra | Lorenzo |
| Coreano | Seoyeon | Minjun |
| Mandarino | Meilin (energica) | Haoran (energico) |
| Portoghese | Leonor | Thiago |
| Spagnolo | Ximena | Rodrigo |
| Telugu | Sravya | Chaitanya |
Sono le voci predefinite di Zyphra stessa. Ogni voce parla ogni lingua, ma con l'accento della lingua in cui è stata registrata, e in un'altra lingua quell'accento può essere forte: una voce inglese che parla russo è difficile da seguire. Per una lingua che qui non ha una voce propria, usa la voce del parlante.
Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli o da più sottotitoli brevi uniti. Se per questo video hai separato la musica dalla voce, il campione viene dalla sola voce. La Fallback reference clip nelle impostazioni del componente aggiuntivo si usa solo quando non si riesce a ritagliare nessun campione.
ZONOS3-Mini ascolta fino a un minuto del campione e copia la voce, non le parole né il modo di dirle. Il campione migliore è parlato pulito, vicino al microfono: rumore ed eco rendono il clone meno somigliante al parlante, e una registrazione al telefono dà una voce che suona come al telefono.
Modelli
Il modello non è incluso nel componente aggiuntivo: si scarica nella cache dei modelli condivisa di Subtitld la prima volta che una battuta ne ha bisogno, dal repository Hugging Face di Zyphra a una revisione fissata, con ogni file verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo lo mantiene.
| Modello | Download | Adatto a |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Predefinito zonos3-mini | Ogni battuta, in ogni lingua e con ogni voce | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | La voce del parlante, la prima volta che ne doppi una |
Il componente aggiuntivo esegue il runtime ggml di Zyphra stessa, lo stesso codice del server locale di Zyphra, integrato nel componente aggiuntivo senza PyTorch.
Lasciato a sé stesso, il modello a volte continua a parlare dopo una battuta breve, aggiungendo qualche parola che non è nel sottotitolo. Per questo ogni battuta passa sotto LACI, il controllo di allineamento di Zyphra: segue quale parte del testo viene detta, riprende un passaggio saltato o bloccato e ferma la battuta appena il testo è stato letto. Il componente aggiuntivo poi taglia la battuta al primo silenzio dopo quel punto. Quel taglio è una regola del componente aggiuntivo, non di Zyphra. Nel nostro test su battute di sottotitoli brevi, 61 su 64 sono uscite pulite in questo modo, contro 37 su 64 senza. Una battuta che esce muta viene rifatta.
Opzioni
In Impostazioni › Componenti aggiuntivi › ZONOS3-Mini (offline, voice clone, 43 languages) › Configuri.
00 usa i processori logici del computer, al massimo 8. Di più raramente è più veloce; di meno lasciano il computer più reattivo durante il doppiaggio.
Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza nessun video aperto: da 5 a 20 secondi di una persona che parla, pulita, non una registrazione al telefono.
Lingue
Arabo, bengalese, bulgaro, cinese (mandarino), ceco, danese, olandese, inglese, finlandese, francese, georgiano, tedesco, greco, gujarati, ebraico, hindi, ungherese, indonesiano, italiano, giapponese, kannada, coreano, malese, malayalam, marathi, norvegese, odia, polacco, portoghese, punjabi, rumeno, russo, slovacco, spagnolo, svedese, tagalog, tamil, telugu, thailandese, turco, ucraino, urdu e vietnamita. Un progetto in qualsiasi altra lingua riceve un messaggio che lo dice: scegli un altro motore di doppiaggio per quel progetto.
L'inglese segue la regione del progetto: Regno Unito, Irlanda, Australia, Nuova Zelanda, Sudafrica e India ricevono l'inglese britannico, qualsiasi altra regione l'inglese americano. Il portoghese viene letto come portoghese del Brasile, e il francese come il francese di Francia.
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
Piattaforme
| Sistema | Download | Testato |
|---|---|---|
| Linux x86-64 | 19.0 MB | Doppiato con il modello vero dall'archivio della versione su AlmaLinux 8, e in CI |
| macOS (Apple silicon) | 24.0 MB | Doppiato con il modello vero in CI (Apple Silicon) |
| Windows x86-64 | 18.5 MB | Doppiato con il modello vero in CI |
Linux x86-64, macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ognuna la CI installa il componente aggiuntivo come fa Subtitld, scarica il modello e doppia battute in sei lingue, una battuta breve e una voce clonata.
Risoluzione dei problemi
network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.disk_fullSpazio su disco insufficiente per il modello: 1.115 MB, e 45 MB in più per la voce del parlante.unsupported_languageLa lingua del progetto non è una delle 43, oppure non è impostata. Impostala nel progetto, o scegli un altro motore di doppiaggio.unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.bad_paramsLa battuta non ha testo, oppure la voce clonata non ha ricevuto nessun campione: apri il video, o imposta una Fallback reference clip. Il messaggio dice quale.out_of_memoryIl computer ha esaurito la memoria. Chiudi altri programmi: ZONOS3-Mini ha bisogno di circa 2 GB liberi.internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli. Su un processore più vecchio senza AVX2, il messaggio lo dice.
Licenza
Il componente aggiuntivo è Apache-2.0. I pesi di ZONOS3-Mini e le sue voci predefinite sono Apache-2.0, e il runtime di Zyphra è MIT, quindi l'uso commerciale è consentito. La lettura del testo, zyphra-textnorm, è MIT, con grammatiche portate da NeMo-text-processing di NVIDIA (Apache-2.0) e dati da Unicode CLDR.
I doppiaggi che crei sono tuoi. Una voce clonata suona come una persona reale: clona voci che hai il diritto di usare, e di' che un doppiaggio è sintetico dove conta.
Versioni
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
Altri componenti aggiuntivi Voci
-
Piper Offline
158 voci offline in 49 lingue, ciascuna un piccolo download separato.
-
Kokoro Offline
54 voci offline in nove lingue, tutte da un unico modello da 82 MB.
-
Supertonic Offline
Dieci voci offline, ciascuna capace di parlare tutte e 31 le lingue.
-
sanoTTS Offline
Voci offline minuscole, 28 in 14 lingue, ciascuna sotto i 10 MB.
-
Parler-TTS Offline
Voci inglesi che seguono una descrizione scritta; 34 parlanti con nome.
-
Qwen3-TTS Clonazione
Dieci lingue, nove voci, e clonazione da 3 secondi di un parlante.
-
Coqui XTTS Clonazione
Clonazione vocale in 16 lingue, con licenza del modello non commerciale.
-
F5-TTS Clonazione
Solo clonazione vocale, in inglese e cinese; modello non commerciale.
-
VoxCPM2 Clonazione
30 lingue a 48 kHz, con la voce del parlante o una voce descritta. Pesante.
-
Pocket TTS Offline
Veloce e leggero, solo CPU. 23 voci in sette lingue europee.
-
Sopro Clonazione
La voce del parlante, veloce su una CPU. Quattro lingue.
-
KittenTTS 2 Clonazione
La voce del parlante in 16 lingue, su una CPU. Pesi con una licenza restrittiva.
-
Ming-3.0-tts Clonazione
7 lingue a 44,1 kHz: voci clonate, integrate o descritte, con emozione. Pesante.
-
Scylla's Band Offline
Quattordici voci in sei lingue, leggero e veloce su una CPU. Solo voci predefinite.
-
Audio8 TTS Clonazione
La voce del parlante in 11 lingue, cantonese compreso. Lento su una CPU.
-
Inflect Offline
Voce inglese naturale da un modello minuscolo, veloce su qualsiasi CPU.
-
Paradee Offline
Quattro voci inglesi naturali, americane e britanniche, da un solo modello da 8,5 MB.
-
BlueTTS Clonazione
Ebraico e yiddish, più altre cinque lingue. La voce del parlante, veloce su una CPU.
-
Chatterbox Clonazione
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…