OmniVoice 오프라인, 음성 복제, 646개 언어, 비상업적

음성오프라인GPU 선택 사항음성 복제비상업용

k2-fsa의 OmniVoice로 자막을 646개 언어 중 어느 언어로든 더빙합니다. 영상에서 복제한 화자 각자의 목소리를 다른 언어로도 그대로 쓰거나, 몇 가지 특징으로 설계한 목소리를 씁니다. 여러분의 컴퓨터에서 실행됩니다. 모델은 비상업적 용도로만 사용할 수 있습니다.

Subtitld에서 설치하세요

설정 애드온 OmniVoice (offline, voice clone, 646 languages, non-commercial) 설치

Subtitld가 내려받고, SHA-256을 확인하고, 최신 상태로 유지합니다.

GitHub의 소스
언어
655
모델
1
음성
12
애드온 다운로드
14–17 MB
최소 RAM
2.5 GB

기능

646개 언어

아프리칸스어부터 줄루어까지, 다른 애드온이 말하지 않는 많은 언어와 아랍어, 중국어 등의 지역 변종까지 포함합니다.

화자 본인의 목소리를 어느 언어로든

Subtitld가 영상에서 각 화자의 몇 초를 잘라, 그 안에서 말한 자막과 함께 보냅니다. OmniVoice는 그 목소리를 복제하고, 더빙이 다른 언어여도 그 목소리를 유지합니다.

또는 설계한 목소리

어린이부터 나이 든 남성까지 미리 준비된 목소리 열 가지, 또는 성별, 나이, 음높이, 영어 억양, 속삭임 같은 몇 가지 특징으로 직접 조합한 목소리.

첫 대사 이후로는 오프라인

모델은 대사에 처음 필요할 때 한 번만 내려받습니다. 그 뒤로는 아무것도 컴퓨터 밖으로 나가지 않습니다.

비상업적 모델. OmniVoice 가중치는 CC-BY-NC에 따르며, 이는 상업적 사용을 허용하지 않습니다. 애드온의 코드는 Apache-2.0이지만, 그것이 가중치의 약관을 바꾸지는 않습니다. 상업적 작업에는 VoxCPM2(30개 언어)와 ZONOS3-Mini(43개 언어)도 목소리를 복제할 수 있으며, 그 가중치는 Apache-2.0입니다.

설치하기 전에

  • 디스크: 약 1.5 GB. 대부분은 1.35 GB 모델이며, 첫 대사를 더빙할 때 내려받습니다.
  • 메모리: 여유 공간 약 2.5 GB.
  • 시간: CPU에서는 음성 1초를 만드는 데 몇 초가 걸립니다. Intel Core i7-13700T에서 화자 본인의 목소리로 된 대사는 음성 1초에 약 6초가 걸렸고, 설계한 목소리의 첫 대사는 애드온이 목소리를 만드는 동안 더 오래 걸립니다. Apple Silicon Mac에서는 GPU에서 실행됩니다.

빠르게 더빙하려면 Piper나 Kokoro가 훨씬 가볍고, Piper도 많은 언어를 지원합니다.

목소리

화자 탭에서 화자의 더빙 엔진으로 OmniVoice를 고른 뒤 음성을 고르세요. 화자의 각 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 더빙을 자막 길이에 맞추기를 켜세요.

음성 12개.

복제한 목소리

Speaker's own voice를 고르면, Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 잘라냅니다. 3초에서 12초 사이인 자막 하나에서, 또는 짧은 자막 여러 개를 이어 붙여 만들고, 자막 텍스트를 함께 보냅니다. OmniVoice에는 샘플과 그 말이 둘 다 필요합니다. 샘플이 어떤 언어이든, 더빙은 OmniVoice가 말하는 어느 언어로든 만들 수 있습니다. 애드온 설정의 Fallback reference clip과 그 전사문은 샘플을 잘라낼 수 없을 때만 사용됩니다.

Clone the timbre only는 이 애드온에서 작동하지 않습니다. OmniVoice는 샘플의 말 없이는 복제할 수 없기 때문입니다. OmniVoice를 쓰는 화자에게는 꺼 두세요.

설계한 목소리

OmniVoice는 특징 조합을 읽을 때마다 새 목소리를 만들어 냅니다. 그래서 애드온은 각 화자의 목소리를 짧은 문장 하나로 한 번만 만들고, 그 화자의 모든 대사에서 다시 씁니다. 목소리는 영상 내내 같게 유지되고, 같은 설계 목소리를 받은 두 화자도 서로 다른 두 사람처럼 들립니다.

모델

모델은 OmniVoice 하나이며, audio.cpp 프로젝트가 변환한 대로 가중치를 8비트로 저장합니다. 애드온 안에 들어 있지 않고, 처음 더빙할 때 Hugging Face에서 고정된 리비전으로 Subtitld의 공유 모델 캐시에 내려받으며, 확인을 거칩니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.

모델 다운로드적합한 용도
OmniVoice (8-bit) 기본값 omnivoice
1.3 GB
모든 목소리, 646개 언어 전부

첫 대사에서는 모델도 불러오기 때문에 그다음 대사보다 오래 걸립니다. Apple Silicon Mac에서는 맨 처음 한 번, 애드온이 GPU에서 짧은 테스트 대사를 하나 말해 보고, 잘 되지 않으면 CPU를 사용합니다. 취소하면 두 단계 사이에서 대사를 멈추거나, 다운로드를 멈춥니다.

옵션

설정 › 애드온 › OmniVoice (offline, voice clone, 646 languages, non-commercial) › 구성에서 설정할 수 있습니다.

Quality steps
기본값: 16

OmniVoice가 대사마다 거치는 패스 수입니다. 16은 빠르고 단어를 하나도 빠뜨리지 않습니다. OmniVoice 자체 설정인 32는 두 배 오래 걸리고 화자에 조금 더 가까워집니다.

Guidance
기본값: 2

음성이 텍스트와 목소리를 얼마나 충실히 따르는지입니다. 2.0이 OmniVoice 자체 설정입니다.

CPU threads
기본값: 0

0이면 효율 코어도 있는 CPU에서 성능 코어를 고릅니다. 스레드를 줄이면 더빙하는 동안 컴퓨터가 더 잘 반응합니다.

Voice gender
기본값: 비어 있음

"Voice you describe" 목소리에서 사용됩니다. 특징을 Any로 두면 OmniVoice가 고릅니다.

Voice age
기본값: 비어 있음

"Voice you describe" 목소리에서 사용됩니다. 어린이부터 노인까지.

Voice pitch
기본값: 비어 있음

"Voice you describe" 목소리에서 사용됩니다. 아주 낮은 음높이부터 아주 높은 음높이까지.

Accent (English)
기본값: 비어 있음

"Voice you describe" 목소리에서 사용됩니다. 영어를 말할 때의 억양으로, 영국식이나 인도식 등이 있습니다.

Whisper
기본값: 끄기

"Voice you describe" 목소리에서 사용됩니다. 속삭이는 목소리입니다.

Fallback reference clip
기본값: 비어 있음

Subtitld가 영상에서 클립을 잘라낼 수 없을 때(예: 영상이 열려 있지 않을 때) 복제 목소리에 쓸 클립입니다. 한 사람이 말하는 3~15초 분량이면 됩니다.

Fallback reference transcript
기본값: 비어 있음

대체 클립에서 말하는 내용을 한 단어도 빠짐없이 그대로 적은 것입니다. OmniVoice는 클립과 그 말로 복제하므로, 이것이 없으면 대체 클립을 받아들이지 않습니다.

언어

OmniVoice 자체의 646개 언어 목록으로, 아랍어, 벵골어, 중국어와 광둥어, 영어, 프랑스어, 독일어, 힌디어, 인도네시아어, 일본어, 한국어, 페르시아어, 포르투갈어, 러시아어, 스페인어, 스와힐리어, 튀르키예어, 우르두어, 베트남어, 요루바어, 줄루어와 수백 개의 지역 언어를 포함합니다. Subtitld가 프로젝트의 언어를 알려 주고, 언어를 모를 때는 OmniVoice가 텍스트에서 알아냅니다.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

플랫폼

시스템 다운로드테스트 완료
Linux x86-64 17.3 MB실제 컴퓨터와 AlmaLinux 8에서 실제 모델로 더빙, CI에서 설치된 애드온이 모델을 내려받고, 말하고, 목소리를 복제하고, 대사를 취소함
macOS (Apple 실리콘) 16.6 MBCI에서 설치된 애드온이 모델을 내려받고, 말하고, 목소리를 복제하고, 대사를 취소함(Apple Silicon)
Windows x86-64 14.0 MBCI에서 설치된 애드온이 모델을 내려받고, 말하고, 목소리를 복제하고, 대사를 취소함

Linux x86-64(2018년 이후의 모든 배포판, glibc 2.28 이상), Apple Silicon의 macOS 13.3 이상, Windows x86-64. 각 릴리스는 세 플랫폼 모두에서 빌드되며, 각 플랫폼에서 CI가 애드온을 설치하고 모델을 내려받은 뒤, 말하기, 목소리 복제, 대사 취소를 시켜 봅니다.

문제 해결

  • network_unavailable모델을 내려받지 못했습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 이어서 진행됩니다.
  • disk_full모델을 위한 디스크 공간이 부족합니다. 약 1.5 GB의 여유 공간이 필요합니다.
  • oom메모리가 부족합니다. 다른 프로그램을 닫으세요. OmniVoice는 약 2.5 GB의 여유 메모리가 필요합니다.
  • bad_params대사에 텍스트가 없거나, 복제 목소리에 샘플이나 그 말이 없거나, 설명한 목소리에 설정된 특징이 없습니다. 메시지에 어느 쪽인지 나옵니다. 복제 목소리라면 영상을 열고 Clone the timbre only를 꺼 두세요.
  • unsupported_voice프로젝트가 이 버전에 없는 목소리를 지정하고 있습니다. 화자 탭에서 목소리를 다시 고르세요.
  • internal애드온 내부에서 문제가 생겼습니다. 자세한 내용은 메시지에 나옵니다.

라이선스

애드온
Apache-2.0
엔진
Apache-2.0
audio.cpp, ggml(MIT) 사용
모델
CC-BY-NC
OmniVoice 가중치, k2-fsa 제작; 비상업적 용도만

애드온과 audio.cpp 엔진은 Apache-2.0이며, audio.cpp가 기반으로 하는 ggml은 MIT입니다. k2-fsa의 OmniVoice 가중치는 CC-BY-NC로, 이것으로 만든 더빙은 비상업적 용도로만 사용할 수 있습니다. 복제한 목소리는 실제 사람처럼 들립니다. 사용할 권리가 있는 목소리만 복제하고, 중요한 경우에는 더빙이 합성 음성임을 밝히세요.

버전

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

다른 음성 애드온

업데이트됨 · 애드온 카탈로그 기준 이 애드온의 문제 신고