OmniVoice çevrimdışı, ses klonlama, 646 dil, ticari olmayan

SeslerÇevrimdışıGPU isteğe bağlıSes klonlamaTicari olmayan

Altyazılarınızı k2-fsa'nın OmniVoice'uyla 646 dilden herhangi birinde seslendirir: her konuşmacının videodan klonlanan kendi sesiyle, başka bir dile bile, ya da birkaç özellikten tasarlanan bir sesle. Kendi bilgisayarınızda çalışır. Model yalnızca ticari olmayan kullanım içindir.

Subtitld'den yükleyin

Ayarlar Eklentiler OmniVoice (offline, voice clone, 646 languages, non-commercial) Yükle

Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.

GitHub'da kaynak kod
Diller
655
Modeller
1
Sesler
12
Eklenti indirmesi
14–17 MB
En az RAM
2.5 GB

Ne yapar

646 dil

Afrikaancadan Zuluya kadar, başka hiçbir eklentinin konuşmadığı birçok dille ve Arapça, Çince ve başka dillerin bölgesel çeşitleriyle.

Konuşmacının kendi sesi, her dilde

Subtitld her konuşmacının videodan birkaç saniyesini keser ve içinde konuşulan altyazılarla birlikte gönderir. OmniVoice o sesi klonlar ve dublaj başka bir dilde olduğunda da korur.

Ya da tasarlanmış bir ses

Bir çocuktan yaşlı bir adama kadar on hazır ses ya da birkaç özellikten kendi oluşturduğunuz bir ses: cinsiyet, yaş, perde, bir İngilizce aksanı, fısıltı.

İlk satırdan sonra çevrimdışı

Model bir kez, bir satır ona ilk kez ihtiyaç duyduğunda iner. Bundan sonra hiçbir şey bilgisayarınızdan dışarı çıkmaz.

Ticari olmayan model. OmniVoice ağırlıkları CC-BY-NC altındadır ve bu lisans ticari kullanıma izin vermez. Eklentinin kodu Apache-2.0'dır, ama bu ağırlıkların koşullarını değiştirmez. Ticari işler için VoxCPM2 (30 dil) ve ZONOS3-Mini (43 dil) de ses klonlar ve ağırlıkları Apache-2.0'dır.

Kurmadan önce

  • Disk: yaklaşık 1,5 GB, çoğu seslendirdiğiniz ilk satırda inen 1,35 GB'lık model.
  • Bellek: yaklaşık 2,5 GB boş.
  • Süre: CPU'da konuşmanın her saniyesi birkaç saniyede üretilir. Intel Core i7-13700T'de konuşmacının kendi sesindeki bir satır, konuşmanın her saniyesi için yaklaşık 6 saniye sürdü; tasarlanmış bir sesin ilk satırı ise eklenti sesi oluştururken daha uzun sürer. Apple Silicon bir Mac'te GPU'da çalışır.

Hızlı dublaj için Piper ya da Kokoro çok daha hafiftir; Piper da birçok dili kapsar.

Sesler

Konuşmacılar sekmesinde, bir konuşmacının Dublaj motoru olarak OmniVoice'u seçin, sonra bir Ses seçin. Konuşmacının her satırı altyazısına göre uzatması ya da sıkıştırması için Dublajı altyazı süresine sığdır seçeneğini açın.

12 ses.

Klonlanan ses

Speaker's own voice ile Subtitld projenin sesinden o konuşmacının bir örneğini keser (3 ila 12 saniyelik altyazılarından birinden ya da birleştirilmiş birkaç kısa altyazıdan) ve altyazı metnini de onunla birlikte gönderir. OmniVoice'un hem örneğe hem de onun sözcüklerine ihtiyacı vardır. Örnek hangi dilde olursa olsun, dublaj onun dillerinden herhangi birinde olabilir. Eklentinin ayarlarındaki Fallback reference clip, yazıya dökümüyle birlikte, yalnızca bir örnek kesilemediğinde kullanılır.

Clone the timbre only bu eklentiyle çalışmaz, çünkü OmniVoice örneğin sözcükleri olmadan klonlayamaz. OmniVoice kullanan konuşmacılar için bu seçeneği kapalı bırakın.

Tasarlanmış sesler

OmniVoice bir özellik takımını her okuduğunda yeni bir ses oluşturur. Bu yüzden eklenti her konuşmacının sesini kısa bir cümle olarak bir kez oluşturur ve o konuşmacının her satırı onu yeniden kullanır: ses video boyunca aynı kalır ve aynı tasarlanmış sesi alan iki konuşmacı yine de iki ayrı kişi gibi duyulur.

Modeller

Tek bir model var: OmniVoice; ağırlıkları, audio.cpp projesinin dönüştürdüğü biçimde 8 bitle saklanır. Eklentinin içinde değildir: ilk seslendirmede Hugging Face'ten sabitlenmiş bir sürümle Subtitld'nin paylaşılan model önbelleğine iner ve denetlenir. Yarıda kalan bir indirme kaldığı yerden devam eder. Eklentiyi güncellemek ya da kaldırmak modeli tutar.

Model İndirmeUygun olduğu
OmniVoice (8-bit) Varsayılan omnivoice
1.3 GB
Her ses, 646 dilin tamamında

İlk satır modeli de yükler, bu yüzden sonrakilerden daha uzun sürer. Apple Silicon bir Mac'te, ilk seferde, eklenti ayrıca GPU'da kısa bir deneme satırı söyler ve bu işe yaramazsa CPU'yu kullanır. İptal, bir satırı iki adım arasında ya da indirmeyi durdurur.

Seçenekler

Ayarlar › Eklentiler › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Yapılandır bölümünde.

Quality steps
Varsayılan: 16

OmniVoice'un her satır üzerinden kaç geçiş yaptığı. 16 hızlıdır ve her sözcüğü korur; OmniVoice'un kendi ayarı olan 32 iki kat uzun sürer ve konuşmacıya biraz daha yaklaşır.

Guidance
Varsayılan: 2

Konuşmanın metne ve sese ne kadar sıkı uyduğu. 2,0, OmniVoice'un kendi ayarıdır.

CPU threads
Varsayılan: 0

0, verimlilik çekirdekleri de olan CPU'larda performans çekirdeklerini seçer. Daha az iş parçacığı, seslendirme sırasında bilgisayarı daha duyarlı tutar.

Voice gender
Varsayılan: boş

"Voice you describe" sesi için. Bir özelliği OmniVoice'un seçmesi için Any'de bırakın.

Voice age
Varsayılan: boş

"Voice you describe" sesi için: çocuktan yaşlıya.

Voice pitch
Varsayılan: boş

"Voice you describe" sesi için: çok pesten çok tize.

Accent (English)
Varsayılan: boş

"Voice you describe" sesi için: İngilizceyi konuştuğu aksan, örneğin İngiliz ya da Hint aksanı.

Whisper
Varsayılan: kapalı

"Voice you describe" sesi için: fısıltılı bir ses.

Fallback reference clip
Varsayılan: boş

Subtitld videodan bir klip kesemediğinde klon ses için bir klip, örneğin açık bir video yokken: tek bir kişinin konuştuğu 3 ila 15 saniye.

Fallback reference transcript
Varsayılan: boş

Yedek klipte söylenenin tam olarak kendisi, sözcüğü sözcüğüne. OmniVoice klipten ve sözcüklerinden klonlar, bu yüzden bu metin olmadan yedek klip reddedilir.

Diller

OmniVoice'un kendi 646 dillik listesi: aralarında Arapça, Bengalce, Çince ve Kantonca, İngilizce, Fransızca, Almanca, Hintçe, Endonezce, Japonca, Korece, Farsça, Portekizce, Rusça, İspanyolca, Svahili, Türkçe, Urduca, Vietnamca, Yorubaca, Zuluca ve yüzlerce bölgesel dil var. Subtitld ona projenin dilini söyler; dili bilmediğinde OmniVoice onu metinden anlar.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

Platformlar

Sistem İndirmeTest edildi
Linux x86-64 17.3 MBGerçek bir makinede ve AlmaLinux 8'de gerçek modelle seslendirildi; CI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder
macOS (Apple silicon) 16.6 MBCI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder (Apple Silicon)
Windows x86-64 14.0 MBCI'da kurulan eklenti modeli indirir, konuşur, bir sesi klonlar ve bir satırı iptal eder

Linux x86-64 (2018'den bu yana herhangi bir dağıtım, glibc 2.28 ya da daha yenisi), Apple Silicon'da macOS 13.3 ya da daha yenisi ve Windows x86-64. Her sürüm üçünde de derlenir ve her birinde CI eklentiyi kurar, modeli indirir ve ona konuşturur, bir ses klonlatır ve bir satırı iptal ettirir.

Sorun giderme

  • network_unavailableModel indirilemedi. Bağlantınızı denetleyip yeniden deneyin: indirme kaldığı yerden devam eder.
  • disk_fullModel için yeterli disk alanı yok. Yaklaşık 1,5 GB boş alan gerekir.
  • oomBellek yetersiz. Diğer programları kapatın; OmniVoice yaklaşık 2,5 GB boş bellek ister.
  • bad_paramsSatırın metni yok, klon ses bir örnek ya da onunla birlikte sözcükler alamadı veya tarif ettiğiniz seste hiçbir özellik ayarlanmamış. Mesaj hangisi olduğunu söyler. Klon ses için videoyu açın ve Clone the timbre only seçeneğini kapalı bırakın.
  • unsupported_voiceProje bu sürümde olmayan bir sesi adlandırıyor. Sesi Konuşmacılar sekmesinde yeniden seçin.
  • internalEklentinin içinde bir şey başarısız oldu; ayrıntılar mesajda.

Lisans

Eklenti
Apache-2.0
Motor
Apache-2.0
audio.cpp, ggml (MIT) ile
Model
CC-BY-NC
OmniVoice ağırlıkları, k2-fsa tarafından; yalnızca ticari olmayan kullanım

Eklenti ve audio.cpp motoru Apache-2.0; audio.cpp'nin üzerinde çalıştığı ggml ise MIT. k2-fsa'nın OmniVoice ağırlıkları CC-BY-NC'dir: onlarla yaptığınız dublajlar yalnızca ticari olmayan kullanım içindir. Klonlanan bir ses gerçek bir kişi gibi duyulur: yalnızca kullanma hakkınız olan sesleri klonlayın ve önemli olduğu yerde dublajın yapay olduğunu belirtin.

Sürümler

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Diğer Sesler eklentileri