OmniVoice offline, clonazione vocale, 646 lingue, non commerciale

VociOfflineGPU facoltativaClonazione vocaleNon commerciale

Doppia i tuoi sottotitoli in una qualsiasi di 646 lingue con OmniVoice di k2-fsa, con la voce di ogni parlante clonata dal video, anche in un'altra lingua, oppure con una voce progettata a partire da pochi tratti. Funziona sul tuo computer. Il modello è solo per uso non commerciale.

Lo installi da Subtitld

Impostazioni Componenti aggiuntivi OmniVoice (offline, voice clone, 646 languages, non-commercial) Installa

Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.

Codice sorgente su GitHub
Lingue
655
Modelli
1
Voci
12
Download del componente
14–17 MB
RAM, almeno
2.5 GB

Cosa fa

646 lingue

Dall'afrikaans allo zulu, con molte lingue che nessun altro componente aggiuntivo parla, e varietà regionali di arabo, cinese e altre ancora.

La voce del parlante, in qualsiasi lingua

Subtitld ritaglia dal video pochi secondi di ogni parlante e li invia con i sottotitoli pronunciati in quei secondi. OmniVoice clona quella voce, e la mantiene anche quando il doppiaggio è in un'altra lingua.

Oppure una voce progettata

Dieci voci pronte, da un bambino a un uomo anziano, oppure una che componi tu da pochi tratti: genere, età, altezza, un accento inglese, un sussurro.

Offline dopo la prima battuta

Il modello si scarica una volta sola, la prima volta che una battuta ne ha bisogno. Da lì in poi, niente esce dal tuo computer.

Modello non commerciale. I pesi OmniVoice sono sotto CC-BY-NC, che non consente l'uso commerciale. Il codice del componente aggiuntivo è Apache-2.0, ma questo non cambia le condizioni dei pesi. Per il lavoro commerciale, anche VoxCPM2 (30 lingue) e ZONOS3-Mini (43 lingue) clonano le voci, e i loro pesi sono Apache-2.0.

Prima di installare

  • Disco: circa 1,5 GB, quasi tutti per il modello da 1,35 GB, scaricato alla prima battuta che doppi.
  • Memoria: circa 2,5 GB liberi.
  • Tempo: su una CPU ogni secondo di parlato richiede diversi secondi per essere generato. Su un Intel Core i7-13700T, una battuta con la voce del parlante ha richiesto circa 6 secondi per secondo di parlato, e la prima battuta di una voce progettata richiede di più, mentre il componente aggiuntivo crea la voce. Su un Mac con Apple Silicon gira sulla GPU.

Per doppiaggi rapidi, Piper o Kokoro sono molto più leggeri, e anche Piper copre molte lingue.

Voci

Nella scheda Parlanti, scegli OmniVoice come Motore di doppiaggio di un parlante, poi scegli una Voce. Attiva Adatta il doppiaggio alla durata del sottotitolo perché ogni battuta di quel parlante venga allungata o compressa sul suo sottotitolo.

12 voci.

La voce clonata

Con Speaker's own voice, Subtitld ritaglia un campione di quel parlante dall'audio del progetto, da uno dei suoi sottotitoli tra 3 e 12 secondi, o da più sottotitoli brevi uniti, e invia insieme il testo del sottotitolo. OmniVoice ha bisogno sia del campione sia delle sue parole. Il doppiaggio può essere in una qualsiasi delle sue lingue, qualunque sia la lingua del campione. La Fallback reference clip nelle impostazioni del componente aggiuntivo, con la sua trascrizione, si usa solo quando non si riesce a ritagliare nessun campione.

Clone the timbre only non funziona con questo componente aggiuntivo, perché OmniVoice non sa clonare senza le parole del campione. Lascialo disattivato per i parlanti che usano OmniVoice.

Voci progettate

OmniVoice inventa una voce nuova ogni volta che legge un insieme di tratti. Perciò il componente aggiuntivo crea la voce di ogni parlante una sola volta, come una breve frase, e tutte le battute di quel parlante la riusano: la voce resta la stessa per tutto il video, e due parlanti con la stessa voce progettata suonano comunque come due persone.

Modelli

C'è un solo modello, OmniVoice, con i pesi memorizzati a 8 bit, come li ha convertiti il progetto audio.cpp. Non è incluso nel componente aggiuntivo: si scarica nella cache dei modelli condivisa di Subtitld la prima volta che doppi, da Hugging Face a una revisione fissata, e viene verificato. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo mantiene il modello.

Modello DownloadAdatto a
OmniVoice (8-bit) Predefinito omnivoice
1.3 GB
Tutte le voci, in tutte le 646 lingue

La prima battuta carica anche il modello, quindi richiede più tempo delle successive. Su un Mac con Apple Silicon, la primissima volta, il componente aggiuntivo pronuncia anche una breve battuta di prova sulla GPU, e usa la CPU se non funziona. Annulla ferma una battuta tra due passi, oppure ferma il download.

Opzioni

In Impostazioni › Componenti aggiuntivi › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Configuri.

Quality steps
Predefinito: 16

Quanti passaggi fa OmniVoice su ogni battuta. 16 è veloce e mantiene ogni parola; 32, l'impostazione di OmniVoice stesso, richiede il doppio del tempo e si avvicina un po' di più al parlante.

Guidance
Predefinito: 2

Quanto il parlato segue da vicino il testo e la voce. 2,0 è l'impostazione di OmniVoice stesso.

CPU threads
Predefinito: 0

0 sceglie i core ad alte prestazioni sulle CPU che hanno anche core a efficienza. Meno thread lasciano il computer più reattivo durante il doppiaggio.

Voice gender
Predefinito: vuoto

Per la voce "Voce che descrivi". Lascia un tratto su Any perché sia OmniVoice a sceglierlo.

Voice age
Predefinito: vuoto

Per la voce "Voce che descrivi": da bambino ad anziano.

Voice pitch
Predefinito: vuoto

Per la voce "Voce che descrivi": da molto bassa a molto alta.

Accent (English)
Predefinito: vuoto

Per la voce "Voce che descrivi": l'accento con cui parla inglese, per esempio britannico o indiano.

Whisper
Predefinito: disattivo

Per la voce "Voce che descrivi": una voce sussurrata.

Fallback reference clip
Predefinito: vuoto

Una clip per la voce clonata quando Subtitld non riesce a ritagliarne una dal video, per esempio senza nessun video aperto: da 3 a 15 secondi di una persona che parla.

Fallback reference transcript
Predefinito: vuoto

Esattamente ciò che viene detto nella clip di riserva, parola per parola. OmniVoice clona dalla clip e dalle sue parole, quindi senza di esse la clip di riserva viene rifiutata.

Lingue

L'elenco di 646 lingue di OmniVoice stesso, tra cui arabo, bengalese, cinese e cantonese, inglese, francese, tedesco, hindi, indonesiano, giapponese, coreano, persiano, portoghese, russo, spagnolo, swahili, turco, urdu, vietnamita, yoruba, zulu e centinaia di lingue regionali. Subtitld gli comunica la lingua del progetto; quando non la conosce, OmniVoice la riconosce dal testo.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

Piattaforme

Sistema DownloadTestato
Linux x86-64 17.3 MBDoppiato con il modello vero su una macchina vera e su AlmaLinux 8; in CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta
macOS (Apple silicon) 16.6 MBIn CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta (Apple Silicon)
Windows x86-64 14.0 MBIn CI, il componente aggiuntivo installato scarica il modello, parla, clona una voce e annulla una battuta

Linux x86-64 (qualsiasi distribuzione dal 2018 in poi, glibc 2.28 o successiva), macOS 13.3 o successivo su Apple Silicon e Windows x86-64. Ogni versione viene compilata su tutte e tre, e su ciascuna la CI installa il componente aggiuntivo, scarica il modello e lo fa parlare, clonare una voce e annullare una battuta.

Risoluzione dei problemi

  • network_unavailableNon è stato possibile scaricare il modello. Controlla la connessione e riprova: il download riprende.
  • disk_fullSpazio su disco insufficiente per il modello. Servono circa 1,5 GB liberi.
  • oomMemoria esaurita. Chiudi altri programmi; OmniVoice ha bisogno di circa 2,5 GB liberi.
  • bad_paramsLa battuta non ha testo, la voce clonata non ha ricevuto nessun campione o nessuna parola insieme al campione, oppure la voce che descrivi non ha nessun tratto impostato. Il messaggio dice quale. Per una voce clonata, apri il video e lascia Clone the timbre only disattivato.
  • unsupported_voiceIl progetto indica una voce che questa versione non ha. Scegli di nuovo la voce nella scheda Parlanti.
  • internalQualcosa non ha funzionato all'interno del componente aggiuntivo; il messaggio riporta i dettagli.

Licenza

Componente aggiuntivo
Apache-2.0
Motore
Apache-2.0
audio.cpp, con ggml (MIT)
Modello
CC-BY-NC
Pesi OmniVoice, di k2-fsa; solo non commerciale

Il componente aggiuntivo e il motore audio.cpp sono Apache-2.0, e ggml, su cui gira audio.cpp, è MIT. I pesi OmniVoice, di k2-fsa, sono CC-BY-NC: ciò che doppi con essi è solo per uso non commerciale. Una voce clonata suona come una persona reale: clona voci che hai il diritto di usare, e indica che un doppiaggio è sintetico quando conta.

Versioni

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Altri componenti aggiuntivi Voci