OmniVoice offline, stemklonen, 646 talen, niet-commercieel

StemmenOfflineGPU optioneelStemkloningNiet-commercieel

Spreekt uw ondertitels in elk van 646 talen in met OmniVoice van k2-fsa, in de eigen stem van elke spreker, gekloond uit de video, zelfs in een andere taal, of in een stem die is samengesteld uit een paar kenmerken. Het draait op uw eigen computer. Het model is alleen voor niet-commercieel gebruik.

Installeer hem vanuit Subtitld

Instellingen Add-ons OmniVoice (offline, voice clone, 646 languages, non-commercial) Installeren

Subtitld downloadt hem, controleert de SHA-256 en houdt hem up-to-date.

Broncode op GitHub
Talen
655
Modellen
1
Stemmen
12
Download van de add-on
14–17 MB
RAM, minimaal
2.5 GB

Wat het doet

646 talen

Van Afrikaans tot Zoeloe, met veel talen die geen andere add-on spreekt, en regionale varianten van onder meer Arabisch en Chinees.

De eigen stem van de spreker, in elke taal

Subtitld snijdt een paar seconden van elke spreker uit de video en stuurt die mee met de ondertitels die erin worden uitgesproken. OmniVoice kloont die stem, en houdt hem ook als de dub in een andere taal is.

Of een samengestelde stem

Tien kant-en-klare stemmen, van een kind tot een oudere man, of een stem die u zelf samenstelt uit een paar kenmerken: geslacht, leeftijd, toonhoogte, een Engels accent, gefluister.

Offline na de eerste regel

Het model wordt één keer gedownload, de eerste keer dat een regel het nodig heeft. Daarna verlaat niets meer uw computer.

Niet-commercieel model. De gewichten van OmniVoice vallen onder CC-BY-NC, dat geen commercieel gebruik toestaat. De code van de add-on is Apache-2.0, maar dat verandert niets aan de voorwaarden van de gewichten. Voor commercieel werk klonen ook VoxCPM2 (30 talen) en ZONOS3-Mini (43 talen) stemmen, en hun gewichten zijn Apache-2.0.

Voordat u installeert

  • Schijf: ongeveer 1,5 GB, vooral het model van 1,35 GB, gedownload bij de eerste regel die u nasynchroniseert.
  • Geheugen: ongeveer 2,5 GB vrij.
  • Tijd: op een CPU kost elke seconde spraak meerdere seconden. Op een Intel Core i7-13700T kostte een regel in de eigen stem van de spreker ongeveer 6 seconden per seconde spraak, en de eerste regel van een samengestelde stem duurt langer, terwijl de add-on de stem maakt. Op een Mac met Apple Silicon draait het op de GPU.

Voor snelle dubs zijn Piper of Kokoro veel lichter, en Piper dekt ook veel talen.

Stemmen

Kies in het tabblad Sprekers OmniVoice als Nasynchronisatie-engine van een spreker, en kies daarna een Stem. Zet Dub aanpassen aan duur van ondertitel aan, zodat de spreker elke regel uitrekt of inkrimpt tot zijn ondertitel.

12 stemmen.

De gekloonde stem

Met Speaker's own voice snijdt Subtitld een voorbeeld van die spreker uit de audio van het project, uit een van zijn ondertitels van 3 tot 12 seconden, of uit meerdere korte, samengevoegd, en stuurt de ondertiteltekst mee. OmniVoice heeft zowel het voorbeeld als de woorden ervan nodig. De dub kan in elk van zijn talen zijn, in welke taal het voorbeeld ook is. Fallback reference clip in de instellingen van de add-on, met de transcriptie ervan, wordt alleen gebruikt wanneer er geen voorbeeld kan worden gesneden.

Clone the timbre only werkt niet met deze add-on, omdat OmniVoice niet kan klonen zonder de woorden van het voorbeeld. Laat het uit voor sprekers die OmniVoice gebruiken.

Samengestelde stemmen

OmniVoice verzint elke keer dat het een reeks kenmerken leest een nieuwe stem. Daarom maakt de add-on de stem van elke spreker één keer, als een korte zin, en elke regel van die spreker gebruikt hem opnieuw: de stem blijft gelijk door de hele video, en twee sprekers met dezelfde samengestelde stem klinken toch als twee mensen.

Modellen

Er is één model, OmniVoice, met zijn gewichten opgeslagen in 8 bits, zoals het audio.cpp-project het heeft omgezet. Het zit niet in de add-on: het wordt de eerste keer dat u nasynchroniseert gedownload naar de gedeelde modelcache van Subtitld, van Hugging Face op een vaste revisie, en wordt gecontroleerd. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijft het model bewaard.

Model DownloadGeschikt voor
OmniVoice (8-bit) Standaard omnivoice
1.3 GB
Elke stem, in alle 646 talen

De eerste regel laadt ook het model, dus die duurt langer dan de volgende. Op een Mac met Apple Silicon spreekt de add-on de allereerste keer ook één korte testregel op de GPU, en gebruikt hij de CPU als dat niet werkt. Annuleren stopt een regel tussen twee stappen, of stopt de download.

Opties

In Instellingen › Add-ons › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Configureren.

Quality steps
Standaard: 16

Hoeveel rondes OmniVoice over elke regel maakt. 16 is snel en houdt elk woord; 32, de eigen instelling van OmniVoice, duurt twee keer zo lang en komt iets dichter bij de spreker.

Guidance
Standaard: 2

Hoe nauw de spraak de tekst en de stem volgt. 2,0 is de eigen instelling van OmniVoice.

CPU threads
Standaard: 0

Bij 0 worden de prestatiekernen gekozen op CPU's die ook efficiëntiekernen hebben. Minder threads houden de computer vlotter terwijl hij nasynchroniseert.

Voice gender
Standaard: leeg

Voor de stem "Voice you describe". Laat een kenmerk op Any staan om OmniVoice het te laten kiezen.

Voice age
Standaard: leeg

Voor de stem "Voice you describe": van kind tot bejaarde.

Voice pitch
Standaard: leeg

Voor de stem "Voice you describe": van heel laag tot heel hoog.

Accent (English)
Standaard: leeg

Voor de stem "Voice you describe": het accent waarmee hij Engels spreekt, zoals Brits of Indiaas.

Whisper
Standaard: uit

Voor de stem "Voice you describe": een fluisterende stem.

Fallback reference clip
Standaard: leeg

Een clip voor de klonestem wanneer Subtitld er geen uit de video kan snijden, bijvoorbeeld zonder geopende video: 3 tot 15 seconden van één persoon die spreekt.

Fallback reference transcript
Standaard: leeg

Precies wat er in de reserveclip wordt gezegd, woord voor woord. OmniVoice kloont uit de clip en de woorden ervan, dus zonder dit wordt de reserveclip geweigerd.

Talen

De eigen lijst van OmniVoice met 646 talen, waaronder Arabisch, Bengaals, Chinees en Kantonees, Engels, Frans, Duits, Hindi, Indonesisch, Japans, Koreaans, Perzisch, Portugees, Russisch, Spaans, Swahili, Turks, Urdu, Vietnamees, Yoruba, Zoeloe en honderden regionale talen. Subtitld geeft de taal van het project door; als die niet bekend is, haalt OmniVoice de taal uit de tekst.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

Platforms

Systeem DownloadGetest
Linux x86-64 17.3 MBNagesynchroniseerd met het echte model op een echte computer en op AlmaLinux 8; in CI downloadt de geïnstalleerde add-on het model, spreekt, kloont een stem en annuleert een regel
macOS (Apple silicon) 16.6 MBIn CI downloadt de geïnstalleerde add-on het model, spreekt, kloont een stem en annuleert een regel (Apple Silicon)
Windows x86-64 14.0 MBIn CI downloadt de geïnstalleerde add-on het model, spreekt, kloont een stem en annuleert een regel

Linux x86-64 (elke distributie vanaf 2018, glibc 2.28 of nieuwer), macOS 13.3 of nieuwer op Apple Silicon, en Windows x86-64. Elke release wordt op alle drie gebouwd, en op elk ervan installeert CI de add-on, downloadt het model en laat het spreken, een stem klonen en een regel annuleren.

Problemen oplossen

  • network_unavailableHet model kon niet worden gedownload. Controleer uw verbinding en probeer het opnieuw: de download gaat verder.
  • disk_fullNiet genoeg schijfruimte voor het model. Het heeft ongeveer 1,5 GB vrij nodig.
  • oomOnvoldoende geheugen. Sluit andere programma's; OmniVoice heeft ongeveer 2,5 GB vrij nodig.
  • bad_paramsDe regel heeft geen tekst, de gekloonde stem kreeg geen voorbeeld of geen woorden erbij, of de stem die u beschrijft heeft geen kenmerken ingesteld. Het bericht zegt welke. Open voor een gekloonde stem de video en laat Clone the timbre only uit.
  • unsupported_voiceHet project noemt een stem die deze versie niet heeft. Kies de stem opnieuw in het tabblad Sprekers.
  • internalEr ging iets mis in de add-on; het bericht bevat de details.

Licentie

Add-on
Apache-2.0
Engine
Apache-2.0
audio.cpp, met ggml (MIT)
Model
CC-BY-NC
OmniVoice-gewichten, van k2-fsa; alleen niet-commercieel

De add-on en de audio.cpp-engine zijn Apache-2.0, en ggml, waarop audio.cpp draait, is MIT. De OmniVoice-gewichten, van k2-fsa, zijn CC-BY-NC: wat u ermee nasynchroniseert is alleen voor niet-commercieel gebruik. Een gekloonde stem klinkt als een echt persoon: kloon alleen stemmen die u mag gebruiken, en vermeld waar het ertoe doet dat een dub synthetisch is.

Versies

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Andere add-ons voor Stemmen