OmniVoice オフライン、音声クローン、646 言語、非商用

音声オフラインGPU は任意音声クローン非商用

k2-fsa の OmniVoice を使い、字幕を646言語のいずれかで吹き替えます。声は、動画からクローンした各話者自身の声(別の言語への吹き替えでも同じ声)か、いくつかの特徴から作った声です。お使いのコンピューター上で動作します。モデルは非商用利用に限られています。

Subtitld からインストール

設定 アドオン OmniVoice (offline, voice clone, 646 languages, non-commercial) インストール

Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。

GitHub のソース
言語
655
モデル
1
音声
12
アドオンのダウンロード
14–17 MB
RAM(最低)
2.5 GB

機能

646言語

アフリカーンス語からズールー語まで。ほかのアドオンが話さない言語も多く、アラビア語や中国語などの地域ごとの変種も含みます。

話者自身の声を、どの言語でも

Subtitld は動画から各話者の数秒を切り出し、そこで話されている字幕と一緒に送ります。OmniVoice はその声をクローンし、吹き替えが別の言語でも同じ声を保ちます。

または作った声

子どもから年配の男性まで、10の既製の声。または、性別、年齢、声の高さ、英語のなまり、ささやきといういくつかの特徴から自分で組み立てた声。

最初のセリフのあとはオフライン

モデルは、セリフで初めて必要になったときに一度だけダウンロードされます。その後は、何もコンピューターの外に出ません。

非商用のモデル。 OmniVoice の重みは CC-BY-NC であり、商用利用は認められていません。アドオンのコードは Apache-2.0 ですが、それが重みの条件を変えるわけではありません。商用の作業には、VoxCPM2(30言語)と ZONOS3-Mini(43言語)も声のクローンに対応しており、その重みは Apache-2.0 です。

インストールの前に

  • ディスク: 約 1.5 GB。その大半は 1.35 GB のモデルで、最初のセリフを吹き替えるときにダウンロードされます。
  • メモリ: 約 2.5 GB の空き。
  • 時間: CPU では、音声1秒の生成に数秒かかります。Intel Core i7-13700T では、話者自身の声のセリフで音声1秒あたり約6秒かかりました。作った声の最初のセリフは、アドオンが声を作る間、さらに時間がかかります。Apple Silicon の Mac では GPU で動作します。

手早く吹き替えるなら、Piper や Kokoro のほうがずっと軽量で、Piper も多くの言語に対応しています。

声

話者タブで、話者の吹き替えエンジンとして OmniVoice を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。

音声 12 種.

クローンした声

Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。3〜12秒の字幕1つから、または短い字幕をいくつかつなげて作り、字幕のテキストも一緒に送ります。OmniVoice には、サンプルとその言葉の両方が必要です。サンプルが何語であっても、吹き替えは OmniVoice が話すどの言語でも作れます。アドオンの設定の Fallback reference clip とその書き起こしは、サンプルを切り出せない場合にのみ使われます。

Clone the timbre only はこのアドオンでは使えません。OmniVoice はサンプルの言葉なしにはクローンできないためです。OmniVoice を使う話者では、オフのままにしてください。

作った声

OmniVoice は特徴の組み合わせを読むたびに新しい声を作ります。そのためアドオンは各話者の声を短い文として一度だけ作り、その話者のすべてのセリフで使い回します。こうして声は動画を通して変わらず、同じ作った声を与えた2人の話者も別々の人に聞こえます。

モデル

モデルは OmniVoice の1つだけで、audio.cpp プロジェクトが変換したとおり、重みを8ビットで保存しています。アドオンには含まれておらず、最初に吹き替えるときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。

モデル ダウンロード向いている用途
OmniVoice (8-bit) 既定 omnivoice
1.3 GB
すべての声、646言語すべて

最初のセリフではモデルの読み込みも行うため、2つ目以降より時間がかかります。Apple Silicon の Mac では、初回だけ、アドオンが GPU で短いテスト用のセリフを1つ話し、うまくいかなければ CPU を使います。キャンセルはステップの合間でセリフを止めるか、ダウンロードを止めます。

オプション

設定 › アドオン › OmniVoice (offline, voice clone, 646 languages, non-commercial) › 設定 で変更できます。

Quality steps
既定値: 16

OmniVoice が各セリフを処理する回数です。16 は速く、どの単語も抜け落ちません。OmniVoice 自身の設定である 32 は2倍の時間がかかり、話者に少しだけ近づきます。

Guidance
既定値: 2

音声がテキストと声にどれだけ忠実に従うかです。2.0 が OmniVoice 自身の設定です。

CPU threads
既定値: 0

0 にすると、効率コアも持つ CPU では性能コアを選びます。スレッドを減らすと、吹き替え中もコンピューターが軽快に動きます。

Voice gender
既定値: 空

「Voice you describe」の声で使われます。特徴を Any のままにすると、OmniVoice が選びます。

Voice age
既定値: 空

「Voice you describe」の声で使われます。子どもから高齢者まで。

Voice pitch
既定値: 空

「Voice you describe」の声で使われます。とても低い声からとても高い声まで。

Accent (English)
既定値: 空

「Voice you describe」の声で使われます。英語を話すときのなまりで、イギリス英語やインド英語などです。

Whisper
既定値: オフ

「Voice you describe」の声で使われます。ささやき声にします。

Fallback reference clip
既定値: 空

Subtitld が動画からクリップを切り出せない場合(例:動画が開かれていない場合)に、クローン音声に使うクリップです。1人が話している3〜15秒の音声にしてください。

Fallback reference transcript
既定値: 空

予備のクリップで話されている内容を、一語一語そのとおりに書いたものです。OmniVoice はクリップとその言葉からクローンするため、これがないと予備のクリップは受け付けられません。

言語

OmniVoice 自身の646言語のリストで、アラビア語、ベンガル語、中国語と広東語、英語、フランス語、ドイツ語、ヒンディー語、インドネシア語、日本語、韓国語、ペルシア語、ポルトガル語、ロシア語、スペイン語、スワヒリ語、トルコ語、ウルドゥー語、ベトナム語、ヨルバ語、ズールー語のほか、数百の地域言語を含みます。Subtitld はプロジェクトの言語を OmniVoice に伝えます。言語がわからない場合は、OmniVoice がテキストから判断します。

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

プラットフォーム

システム ダウンロード動作確認
Linux x86-64 17.3 MB実機と AlmaLinux 8 で実際のモデルを使って吹き替え。CI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル
macOS (Apple シリコン) 16.6 MBCI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル(Apple Silicon)
Windows x86-64 14.0 MBCI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル

Linux x86-64(2018年以降のディストリビューション、glibc 2.28 以降)、Apple Silicon の macOS 13.3 以降、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI がアドオンをインストールし、モデルをダウンロードして、話す、声をクローンする、セリフをキャンセルすることを確認します。

トラブルシューティング

  • network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。
  • disk_fullモデルに必要なディスク容量がありません。約 1.5 GB の空きが必要です。
  • oomメモリが不足しています。ほかのプログラムを閉じてください。OmniVoice には約 2.5 GB の空きが必要です。
  • bad_paramsセリフにテキストがないか、クローンの声にサンプルまたはその言葉がないか、説明する声に特徴が1つも設定されていません。どれかはメッセージに表示されます。クローンの声では、動画を開き、Clone the timbre only をオフのままにしてください。
  • unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。
  • internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。

ライセンス

アドオン
Apache-2.0
エンジン
Apache-2.0
audio.cpp、ggml(MIT)を使用
モデル
CC-BY-NC
OmniVoice の重み(k2-fsa 製)。非商用のみ

アドオンと audio.cpp エンジンは Apache-2.0 で、audio.cpp が動作の基盤とする ggml は MIT です。k2-fsa による OmniVoice の重みは CC-BY-NC で、これを使って作った吹き替えは非商用利用に限られます。クローンした声は実在の人物のように聞こえます。使う権利のある声だけをクローンし、必要な場面では吹き替えが合成音声であることを明示してください。

バージョン

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

他の音声アドオン