ZONOS3-Mini offline, clonazione vocale, 43 lingue

VociOfflineSolo CPUClonazione vocaleUso commerciale consentito

Doppia i tuoi sottotitoli in 43 lingue con ZONOS3-Mini, di Zyphra, con una di 27 voci oppure con la voce di ogni parlante clonata da pochi secondi del video. Funziona sul processore del tuo computer, circa due volte più veloce del tempo reale, senza scheda grafica.

Lo installi da Subtitld

Impostazioni Componenti aggiuntivi ZONOS3-Mini (offline, voice clone, 43 languages) Installa

Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.

Codice sorgente su GitHub
Lingue
43
Modelli
2
Voci
28
Download del componente
19–24 MB
RAM, almeno
2 GB

Cosa fa

43 lingue

Dall'arabo, il bengalese e il bulgaro al turco, l'urdu e il vietnamita, compresi giapponese, coreano, mandarino, hindi e altre otto lingue dell'India. Numeri, date, prezzi e unità vengono letti secondo la grammatica di ciascuna lingua.

La voce del parlante

Subtitld ritaglia dal video un campione di ogni parlante e lo invia con ogni battuta. ZONOS3-Mini clona quella voce in una qualsiasi delle sue lingue. Oppure scegli una di 27 voci.

Le battute finiscono dove finisce il testo

Ogni battuta viene controllata mentre viene detta, così nessuna parola viene saltata, e si ferma quando il testo è stato letto invece di continuare con parole che non sono nel sottotitolo.

Offline dopo la prima battuta

Il modello si scarica una volta sola, la prima volta che una battuta ne ha bisogno. Da lì in poi, niente esce dal tuo computer.

Prima di installare

  • Disco: 1.115 MB per il modello, scaricato alla prima battuta, e 45 MB in più la prima volta che usi la voce di un parlante.
  • Memoria: circa 1,6 GB mentre parla.
  • Tempo: su un Intel Core i7-13700T, un secondo di parlato richiede circa mezzo secondo per essere generato. La prima battuta aspetta circa 4 secondi in più mentre si carica il modello, e la prima battuta con la voce di un parlante circa 5 secondi in più mentre la voce viene appresa.
  • Processore: un processore Intel o AMD a 64 bit con AVX2 (Intel dal 2013, AMD dal 2015), oppure Apple Silicon. La scheda grafica non viene usata.

Voci

Nella scheda Parlanti, scegli ZONOS3-Mini come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.

28 voci.

Registrata in Donne Uomini
Inglese Imogen (britannica), Morgana (strega), Sakura (anime), Savannah (americana), Willow (ASMR) Cillian (irlandese), Jett (energico), Rupert (britannico), Thaddeus (annunciatore), Wyatt (americano)
Francese Gaspard
Tedesco Liesel Wolfgang
Hindi Ananya Arjun
Italiano Ginevra Lorenzo
Coreano Seoyeon Minjun
Mandarino Meilin (energica) Haoran (energico)
Portoghese Leonor Thiago
Spagnolo Ximena Rodrigo
Telugu Sravya Chaitanya

Sono le voci predefinite di Zyphra stessa. Ogni voce parla ogni lingua, ma con l'accento della lingua in cui è stata registrata, e in un'altra lingua quell'accento può essere forte: una voce inglese che parla russo è difficile da seguire. Per una lingua che qui non ha una voce propria, usa la voce del parlante.

Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli o da più sottotitoli brevi uniti. Se per questo video hai separato la musica dalla voce, il campione viene dalla sola voce. La Fallback reference clip nelle impostazioni del componente aggiuntivo si usa solo quando non si riesce a ritagliare nessun campione.

ZONOS3-Mini ascolta fino a un minuto del campione e copia la voce, non le parole né il modo di dirle. Il campione migliore è parlato pulito, vicino al microfono: rumore ed eco rendono il clone meno somigliante al parlante, e una registrazione al telefono dà una voce che suona come al telefono.

Modelli

Il modello non è incluso nel componente aggiuntivo: si scarica nella cache dei modelli condivisa di Subtitld la prima volta che una battuta ne ha bisogno, dal repository Hugging Face di Zyphra a una revisione fissata, con ogni file verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo lo mantiene.

Modello DownloadAdatto a
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Predefinito zonos3-mini
1.1 GB
Ogni battuta, in ogni lingua e con ogni voce
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
La voce del parlante, la prima volta che ne doppi una

Il componente aggiuntivo esegue il runtime ggml di Zyphra stessa, lo stesso codice del server locale di Zyphra, integrato nel componente aggiuntivo senza PyTorch.

Lasciato a sé stesso, il modello a volte continua a parlare dopo una battuta breve, aggiungendo qualche parola che non è nel sottotitolo. Per questo ogni battuta passa sotto LACI, il controllo di allineamento di Zyphra: segue quale parte del testo viene detta, riprende un passaggio saltato o bloccato e ferma la battuta appena il testo è stato letto. Il componente aggiuntivo poi taglia la battuta al primo silenzio dopo quel punto. Quel taglio è una regola del componente aggiuntivo, non di Zyphra. Nel nostro test su battute di sottotitoli brevi, 61 su 64 sono uscite pulite in questo modo, contro 37 su 64 senza. Una battuta che esce muta viene rifatta.

Opzioni

In Impostazioni › Componenti aggiuntivi › ZONOS3-Mini (offline, voice clone, 43 languages) › Configuri.

CPU threads
Predefinito: 0

0 usa i processori logici del computer, al massimo 8. Di più raramente è più veloce; di meno lasciano il computer più reattivo durante il doppiaggio.

Fallback reference clip
Predefinito: vuoto

Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza nessun video aperto: da 5 a 20 secondi di una persona che parla, pulita, non una registrazione al telefono.

Lingue

Arabo, bengalese, bulgaro, cinese (mandarino), ceco, danese, olandese, inglese, finlandese, francese, georgiano, tedesco, greco, gujarati, ebraico, hindi, ungherese, indonesiano, italiano, giapponese, kannada, coreano, malese, malayalam, marathi, norvegese, odia, polacco, portoghese, punjabi, rumeno, russo, slovacco, spagnolo, svedese, tagalog, tamil, telugu, thailandese, turco, ucraino, urdu e vietnamita. Un progetto in qualsiasi altra lingua riceve un messaggio che lo dice: scegli un altro motore di doppiaggio per quel progetto.

L'inglese segue la regione del progetto: Regno Unito, Irlanda, Australia, Nuova Zelanda, Sudafrica e India ricevono l'inglese britannico, qualsiasi altra regione l'inglese americano. Il portoghese viene letto come portoghese del Brasile, e il francese come il francese di Francia.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Piattaforme

Sistema DownloadTestato
Linux x86-64 19.0 MBDoppiato con il modello vero dall'archivio della versione su AlmaLinux 8, e in CI
macOS (Apple silicon) 24.0 MBDoppiato con il modello vero in CI (Apple Silicon)
Windows x86-64 18.5 MBDoppiato con il modello vero in CI

Linux x86-64, macOS su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ognuna la CI installa il componente aggiuntivo come fa Subtitld, scarica il modello e doppia battute in sei lingue, una battuta breve e una voce clonata.

Risoluzione dei problemi

  • network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.
  • disk_fullSpazio su disco insufficiente per il modello: 1.115 MB, e 45 MB in più per la voce del parlante.
  • unsupported_languageLa lingua del progetto non è una delle 43, oppure non è impostata. Impostala nel progetto, o scegli un altro motore di doppiaggio.
  • unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.
  • bad_paramsLa battuta non ha testo, oppure la voce clonata non ha ricevuto nessun campione: apri il video, o imposta una Fallback reference clip. Il messaggio dice quale.
  • out_of_memoryIl computer ha esaurito la memoria. Chiudi altri programmi: ZONOS3-Mini ha bisogno di circa 2 GB liberi.
  • internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli. Su un processore più vecchio senza AVX2, il messaggio lo dice.

Licenza

Componente aggiuntivo
Apache-2.0
Motore
MIT
Il runtime di ZONOS3-Mini di Zyphra, con ggml
Modello
Apache-2.0
Pesi ZONOS3-Mini, di Zyphra
Voci
Apache-2.0
Le voci predefinite di Zyphra
Lettura del testo
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm, con grammatiche portate da NeMo-text-processing di NVIDIA e dati da Unicode CLDR

Il componente aggiuntivo è Apache-2.0. I pesi di ZONOS3-Mini e le sue voci predefinite sono Apache-2.0, e il runtime di Zyphra è MIT, quindi l'uso commerciale è consentito. La lettura del testo, zyphra-textnorm, è MIT, con grammatiche portate da NeMo-text-processing di NVIDIA (Apache-2.0) e dati da Unicode CLDR.

I doppiaggi che crei sono tuoi. Una voce clonata suona come una persona reale: clona voci che hai il diritto di usare, e di' che un doppiaggio è sintetico dove conta.

Versioni

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Altri componenti aggiuntivi Voci