OmniVoice offline, klonování hlasu, 646 jazyků, nekomerční

HlasyOfflineGPU volitelnéKlonování hlasuNekomerční

Nadabuje vaše titulky v kterémkoli z 646 jazyků pomocí OmniVoice od k2-fsa, vlastním hlasem každého mluvčího naklonovaným z videa, a to i do jiného jazyka, nebo hlasem navrženým z několika vlastností. Běží na vašem vlastním počítači. Model je jen pro nekomerční použití.

Nainstalujte ho z Subtitld

Nastavení Doplňky OmniVoice (offline, voice clone, 646 languages, non-commercial) Instalovat

Subtitld ho stáhne, ověří jeho SHA-256 a bude ho udržovat aktuální.

Zdrojový kód na GitHubu
Jazyky
655
Modely
1
Hlasy
12
Stažení doplňku
14–17 MB
RAM, alespoň
2.5 GB

Co dělá

646 jazyků

Od afrikánštiny po zulštinu, s mnoha jazyky, kterými nemluví žádný jiný doplněk, a regionálními variantami arabštiny, čínštiny a dalších.

Vlastní hlas mluvčího, v jakémkoli jazyce

Subtitld vystřihne z videa několik sekund každého mluvčího a pošle je spolu s titulky, které v nich zazní. OmniVoice tento hlas naklonuje a zachová ho, i když je dabing v jiném jazyce.

Nebo navržený hlas

Deset hotových hlasů, od dítěte po staršího muže, nebo hlas, který si poskládáte z několika vlastností: pohlaví, věk, výška hlasu, anglický přízvuk, šepot.

Offline po prvním řádku

Model se stáhne jednou, když ho poprvé potřebuje nějaký řádek. Potom už nic neopustí váš počítač.

Nekomerční model. Váhy OmniVoice jsou pod CC-BY-NC, která komerční použití nepovoluje. Kód doplňku je pod Apache-2.0, ale to na podmínkách vah nic nemění. Pro komerční práci klonují hlasy také VoxCPM2 (30 jazyků) a ZONOS3-Mini (43 jazyků) a jejich váhy jsou pod Apache-2.0.

Před instalací

  • Disk: asi 1,5 GB, z toho většinu tvoří model o velikosti 1,35 GB, stažený při prvním řádku, který dabujete.
  • Paměť: asi 2,5 GB volných.
  • Čas: na CPU trvá každá sekunda řeči několik sekund. Na Intel Core i7-13700T trval řádek vlastním hlasem mluvčího asi 6 sekund na sekundu řeči a první řádek navrženého hlasu trvá déle, protože doplněk mezitím hlas vytváří. Na Macu s Apple Silicon běží na GPU.

Pro rychlý dabing jsou Piper nebo Kokoro mnohem lehčí a Piper navíc pokrývá mnoho jazyků.

Hlasy

V záložce Mluvčí zvolte u mluvčího OmniVoice jako Modul dabingu, poté vyberte Hlas. Zapněte Přizpůsobit dabing délce titulku, aby mluvčí každý řádek natáhl nebo stlačil na délku jeho titulku.

12 hlasů.

Klonovaný hlas

S Speaker's own voice Subtitld vystřihne z audia projektu vzorek tohoto mluvčího, z jednoho jeho titulku o délce 3 až 12 sekund, nebo z několika krátkých spojených, a pošle s ním text titulku. OmniVoice potřebuje vzorek i jeho slova. Dabing může být v kterémkoli z jeho jazyků, ať je vzorek v jakémkoli jazyce. Fallback reference clip v nastavení doplňku spolu s jeho přepisem se použije jen tehdy, když vzorek vystřihnout nelze.

Clone the timbre only s tímto doplňkem nefunguje, protože OmniVoice bez slov vzorku klonovat neumí. U mluvčích, kteří používají OmniVoice, ho nechte vypnuté.

Navržené hlasy

OmniVoice si při každém čtení sady vlastností vymyslí nový hlas. Proto doplněk vytvoří hlas každého mluvčího jednou, jako krátkou větu, a každý řádek tohoto mluvčího ho použije znovu: hlas zůstává stejný po celé video a dva mluvčí se stejným navrženým hlasem stále znějí jako dva lidé.

Modely

Je jen jeden model, OmniVoice, s váhami uloženými v 8 bitech, jak ho převedl projekt audio.cpp. Není uvnitř doplňku: stáhne se do sdílené mezipaměti modelů Subtitld při prvním dabingu, z Hugging Face v pevně dané revizi, a je ověřen. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku model ponechá.

Model StaženíVhodné pro
OmniVoice (8-bit) Výchozí omnivoice
1.3 GB
Každý hlas, ve všech 646 jazycích

První řádek také načítá model, takže trvá déle než ty další. Na Macu s Apple Silicon doplněk úplně poprvé také vysloví jeden krátký testovací řádek na GPU, a pokud to nefunguje, použije CPU. Zrušit zastaví řádek mezi dvěma kroky, nebo zastaví stahování.

Možnosti

V Nastavení › Doplňky › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Nastavit.

Quality steps
Výchozí: 16

Kolik průchodů OmniVoice nad každým řádkem udělá. 16 je rychlé a zachová každé slovo; 32, vlastní nastavení OmniVoice, trvá dvakrát déle a mluvčímu se přiblíží o něco víc.

Guidance
Výchozí: 2

Jak věrně řeč sleduje text a hlas. 2,0 je vlastní nastavení OmniVoice.

CPU threads
Výchozí: 0

0 vybere výkonná jádra u procesorů, které mají i úsporná jádra. Méně vláken nechá počítač během dabingu lépe reagovat.

Voice gender
Výchozí: prázdné

Pro hlas „Voice you describe“. Nechte vlastnost na Any a OmniVoice ji zvolí sám.

Voice age
Výchozí: prázdné

Pro hlas „Voice you describe“: od dítěte po starého člověka.

Voice pitch
Výchozí: prázdné

Pro hlas „Voice you describe“: od velmi hlubokého po velmi vysoký.

Accent (English)
Výchozí: prázdné

Pro hlas „Voice you describe“: přízvuk, se kterým mluví anglicky, například britský nebo indický.

Whisper
Výchozí: vypnuto

Pro hlas „Voice you describe“: šeptaný hlas.

Fallback reference clip
Výchozí: prázdné

Klip pro klonovaný hlas, když ho Subtitld nemůže vystřihnout z videa, například když není otevřené žádné video: 3 až 15 sekund, kdy mluví jedna osoba.

Fallback reference transcript
Výchozí: prázdné

Přesně to, co zazní v záložním klipu, slovo od slova. OmniVoice klonuje z klipu a jeho slov, takže bez toho je záložní klip odmítnut.

Jazyky

Vlastní seznam 646 jazyků OmniVoice, mezi nimi arabština, bengálština, čínština a kantonština, angličtina, francouzština, němčina, hindština, indonéština, japonština, korejština, perština, portugalština, ruština, španělština, svahilština, turečtina, urdština, vietnamština, jorubština, zulština a stovky regionálních jazyků. Subtitld mu sdělí jazyk projektu; když jazyk nezná, OmniVoice ho pozná z textu.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

Platformy

Systém StaženíOtestováno
Linux x86-64 17.3 MBNadabováno skutečným modelem na skutečném počítači a na AlmaLinux 8; v CI nainstalovaný doplněk stáhne model, mluví, naklonuje hlas a zruší řádek
macOS (Apple silicon) 16.6 MBV CI nainstalovaný doplněk stáhne model, mluví, naklonuje hlas a zruší řádek (Apple Silicon)
Windows x86-64 14.0 MBV CI nainstalovaný doplněk stáhne model, mluví, naklonuje hlas a zruší řádek

Linux x86-64 (jakákoli distribuce od roku 2018, glibc 2.28 nebo novější), macOS 13.3 nebo novější na Apple Silicon a Windows x86-64. Každé vydání je sestaveno na všech třech a na každém CI doplněk nainstaluje, stáhne model a nechá ho mluvit, naklonovat hlas a zrušit řádek.

Řešení potíží

  • network_unavailableModel se nepodařilo stáhnout. Zkontrolujte připojení a zkuste to znovu: stahování bude pokračovat.
  • disk_fullNa disku není dost místa pro model. Potřebuje asi 1,5 GB volného místa.
  • oomNedostatek paměti. Zavřete jiné programy; OmniVoice potřebuje asi 2,5 GB volných.
  • bad_paramsŘádek nemá text, klonovaný hlas nedostal vzorek nebo k němu slova, nebo hlas, který popisujete, nemá nastavené žádné vlastnosti. Zpráva uvede, co z toho. U klonovaného hlasu otevřete video a nechte Clone the timbre only vypnuté.
  • unsupported_voiceProjekt uvádí hlas, který tato verze nemá. Vyberte hlas znovu v záložce Mluvčí.
  • internalUvnitř doplňku něco selhalo; zpráva obsahuje podrobnosti.

Licence

Doplněk
Apache-2.0
Engine
Apache-2.0
audio.cpp, s ggml (MIT)
Model
CC-BY-NC
Váhy OmniVoice od k2-fsa; jen nekomerčně

Doplněk a engine audio.cpp jsou pod Apache-2.0 a ggml, na kterém audio.cpp běží, je pod MIT. Váhy OmniVoice od k2-fsa jsou pod CC-BY-NC: co s nimi nadabujete, je jen pro nekomerční použití. Klonovaný hlas zní jako skutečná osoba: klonujte jen hlasy, které máte právo použít, a tam, kde na tom záleží, uveďte, že dabing je syntetický.

Verze

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Další doplňky skupiny Hlasy

Aktualizováno · Z katalogu doplňků Nahlásit problém s tímto doplňkem