OmniVoice offline, clonazione vocale, 646 lingue, non commerciale
Doppia i tuoi sottotitoli in una qualsiasi di 646 lingue con OmniVoice di k2-fsa, con la voce di ogni parlante clonata dal video, anche in un'altra lingua, oppure con una voce progettata a partire da pochi tratti. Funziona sul tuo computer. Il modello è solo per uso non commerciale.
Impostazioni Componenti aggiuntivi OmniVoice (offline, voice clone, 646 languages, non-commercial) Installa
Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.
- Lingue
- 655
- Modelli
- 1
- Voci
- 12
- Download del componente
- 14–17 MB
- RAM, almeno
- 2.5 GB
Cosa fa
Dall'afrikaans allo zulu, con molte lingue che nessun altro componente aggiuntivo parla, e varietà regionali di arabo, cinese e altre ancora.
Subtitld ritaglia dal video pochi secondi di ogni parlante e li invia con i sottotitoli pronunciati in quei secondi. OmniVoice clona quella voce, e la mantiene anche quando il doppiaggio è in un'altra lingua.
Dieci voci pronte, da un bambino a un uomo anziano, oppure una che componi tu da pochi tratti: genere, età, altezza, un accento inglese, un sussurro.
Il modello si scarica una volta sola, la prima volta che una battuta ne ha bisogno. Da lì in poi, niente esce dal tuo computer.
Modello non commerciale. I pesi OmniVoice sono sotto CC-BY-NC, che non consente l'uso commerciale. Il codice del componente aggiuntivo è Apache-2.0, ma questo non cambia le condizioni dei pesi. Per il lavoro commerciale, anche VoxCPM2 (30 lingue) e ZONOS3-Mini (43 lingue) clonano le voci, e i loro pesi sono Apache-2.0.
Prima di installare
- Disco: circa 1,5 GB, quasi tutti per il modello da 1,35 GB, scaricato alla prima battuta che doppi.
- Memoria: circa 2,5 GB liberi.
- Tempo: su una CPU ogni secondo di parlato richiede diversi secondi per essere generato. Su un Intel Core i7-13700T, una battuta con la voce del parlante ha richiesto circa 6 secondi per secondo di parlato, e la prima battuta di una voce progettata richiede di più, mentre il componente aggiuntivo crea la voce. Su un Mac con Apple Silicon gira sulla GPU.
Per doppiaggi rapidi, Piper o Kokoro sono molto più leggeri, e anche Piper copre molte lingue.
Voci
Nella scheda Parlanti, scegli OmniVoice come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.
12 voci.
La voce clonata
Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli tra 3 e 12 secondi, o da più sottotitoli brevi uniti, e invia insieme il testo del sottotitolo. OmniVoice ha bisogno sia del campione sia delle sue parole. Il doppiaggio può essere in una qualsiasi delle sue lingue, qualunque sia la lingua del campione. La Fallback reference clip nelle impostazioni del componente aggiuntivo, con la sua trascrizione, si usa solo quando non si riesce a ritagliare nessun campione.
Clone the timbre only non funziona con questo componente aggiuntivo, perché OmniVoice non sa clonare senza le parole del campione. Lascialo disattivato per i parlanti che usano OmniVoice.
Voci progettate
OmniVoice inventa una voce nuova ogni volta che legge un insieme di tratti. Perciò il componente aggiuntivo crea la voce di ogni parlante una sola volta, come una breve frase, e tutte le battute di quel parlante la riusano: la voce resta la stessa per tutto il video, e due parlanti con la stessa voce progettata suonano comunque come due persone.
Modelli
C'è un solo modello, OmniVoice, con i pesi memorizzati a 8 bit, come li ha convertiti il progetto audio.cpp. Non è incluso nel componente aggiuntivo: si scarica nella cache dei modelli condivisa di Subtitld la prima volta che doppi, da Hugging Face a una revisione fissata, e viene verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo mantiene il modello.
| Modello | Download | Adatto a |
|---|---|---|
| OmniVoice (8-bit) Predefinito omnivoice | Tutte le voci, in tutte le 646 lingue |
La prima battuta carica anche il modello, quindi richiede più tempo delle successive. Su un Mac con Apple Silicon, la primissima volta, il componente aggiuntivo pronuncia anche una breve battuta di prova sulla GPU, e usa la CPU se non funziona. Annulla ferma una battuta tra due passi, oppure ferma il download.
Opzioni
In Impostazioni › Componenti aggiuntivi › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Configuri.
16Quanti passaggi fa OmniVoice su ogni battuta. 16 è veloce e mantiene ogni parola; 32, l'impostazione di OmniVoice stesso, richiede il doppio del tempo e si avvicina un po' di più al parlante.
2Quanto il parlato segue da vicino il testo e la voce. 2,0 è l'impostazione di OmniVoice stesso.
00 sceglie i core ad alte prestazioni sulle CPU che hanno anche core a efficienza. Meno thread lasciano il computer più reattivo durante il doppiaggio.
Per la voce "Voce che descrivi". Lascia un tratto su Any perché sia OmniVoice a sceglierlo.
Per la voce "Voce che descrivi": da bambino ad anziano.
Per la voce "Voce che descrivi": da molto bassa a molto alta.
Per la voce "Voce che descrivi": l'accento con cui parla inglese, per esempio britannico o indiano.
Per la voce "Voce che descrivi": una voce sussurrata.
Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza nessun video aperto: da 3 a 15 secondi di una persona che parla.
Esattamente ciò che viene detto nella clip di riserva, parola per parola. OmniVoice clona dalla clip e dalle sue parole, quindi senza di esse la clip di riserva viene rifiutata.
Lingue
L'elenco di 646 lingue di OmniVoice stesso, tra cui arabo, bengalese, cinese e cantonese, inglese, francese, tedesco, hindi, indonesiano, giapponese, coreano, persiano, portoghese, russo, spagnolo, swahili, turco, urdu, vietnamita, yoruba, zulu e centinaia di lingue regionali. Subtitld gli comunica la lingua del progetto; quando non la conosce, OmniVoice la riconosce dal testo.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Piattaforme
| Sistema | Download | Testato |
|---|---|---|
| Linux x86-64 | 17.3 MB | Doppiato con il modello vero su una macchina vera e su AlmaLinux 8; in CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta |
| macOS (Apple silicon) | 16.6 MB | In CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta (Apple Silicon) |
| Windows x86-64 | 14.0 MB | In CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta |
Linux x86-64 (qualsiasi distribuzione dal 2018 in poi, glibc 2.28 o successiva), macOS 13.3 o successivo su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ciascuna la CI installa il componente aggiuntivo, scarica il modello e lo fa parlare, clonare una voce e annullare una battuta.
Risoluzione dei problemi
network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.disk_fullSpazio su disco insufficiente per il modello. Servono circa 1,5 GB liberi.oomMemoria esaurita. Chiudi altri programmi; OmniVoice ha bisogno di circa 2,5 GB liberi.bad_paramsLa battuta non ha testo, la voce clonata non ha ricevuto nessun campione o nessuna parola insieme al campione, oppure la voce che descrivi non ha nessun tratto impostato. Il messaggio dice quale. Per una voce clonata, apri il video e lascia Clone the timbre only disattivato.unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli.
Licenza
Il componente aggiuntivo e il motore audio.cpp sono Apache-2.0, e ggml, su cui gira audio.cpp, è MIT. I pesi OmniVoice, di k2-fsa, sono CC-BY-NC: ciò che doppi con essi è solo per uso non commerciale. Una voce clonata suona come una persona reale: clona voci che hai il diritto di usare, e indica che un doppiaggio è sintetico quando conta.
Versioni
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Altri componenti aggiuntivi Voci
-
Piper Offline
158 voci offline in 49 lingue, ciascuna un piccolo download separato.
-
Kokoro Offline
54 voci offline in nove lingue, tutte da un unico modello da 82 MB.
-
Supertonic Offline
Dieci voci offline, ciascuna capace di parlare tutte e 31 le lingue.
-
sanoTTS Offline
Voci offline minuscole, 28 in 14 lingue, ciascuna sotto i 10 MB.
-
Parler-TTS Offline
Voci inglesi che seguono una descrizione scritta; 34 parlanti con nome.
-
Qwen3-TTS Clonazione
Dieci lingue, nove voci, e clonazione da 3 secondi di un parlante.
-
Coqui XTTS Clonazione
Clonazione vocale in 16 lingue, con licenza del modello non commerciale.
-
F5-TTS Clonazione
Solo clonazione vocale, in inglese e cinese; modello non commerciale.
-
VoxCPM2 Clonazione
30 lingue a 48 kHz, con la voce del parlante o una voce descritta. Pesante.
-
Pocket TTS Offline
Veloce e leggero, solo CPU. 23 voci in sette lingue europee.
-
Sopro Clonazione
La voce del parlante, veloce su una CPU. Quattro lingue.
-
KittenTTS 2 Clonazione
La voce del parlante in 16 lingue, su una CPU. Pesi con una licenza restrittiva.
-
Ming-3.0-tts Clonazione
7 lingue a 44,1 kHz: voci clonate, integrate o descritte, con emozione. Pesante.
-
Scylla's Band Offline
Quattordici voci in sei lingue, leggero e veloce su una CPU. Solo voci predefinite.
-
Audio8 TTS Clonazione
La voce del parlante in 23 lingue, cantonese e arabo compresi. Lento su una CPU.
-
Inflect Offline
Voce inglese naturale da un modello minuscolo, veloce su qualsiasi CPU.
-
Paradee Offline
Quattro voci inglesi naturali, americane e britanniche, da un solo modello da 8,5 MB.
-
BlueTTS Clonazione
Ebraico e yiddish, più altre cinque lingue. La voce del parlante, veloce su una CPU.
-
ZONOS3-Mini Clonazione
43 lingue, dall'arabo al vietnamita. La voce del parlante, su una CPU.
-
Reverb Clonazione
Sette lingue europee e la voce del parlante, su una CPU; modello non commerciale.
-
Chatterbox Clonazione
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…