OmniVoice オフライン、音声クローン、646 言語、非商用
k2-fsa の OmniVoice を使い、字幕を646言語のいずれかで吹き替えます。声は、動画からクローンした各話者自身の声(別の言語への吹き替えでも同じ声)か、いくつかの特徴から作った声です。お使いのコンピューター上で動作します。モデルは非商用利用に限られています。
設定 アドオン OmniVoice (offline, voice clone, 646 languages, non-commercial) インストール
Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。
- 言語
- 655
- モデル
- 1
- 音声
- 12
- アドオンのダウンロード
- 14–17 MB
- RAM(最低)
- 2.5 GB
機能
アフリカーンス語からズールー語まで。ほかのアドオンが話さない言語も多く、アラビア語や中国語などの地域ごとの変種も含みます。
Subtitld は動画から各話者の数秒を切り出し、そこで話されている字幕と一緒に送ります。OmniVoice はその声をクローンし、吹き替えが別の言語でも同じ声を保ちます。
子どもから年配の男性まで、10の既製の声。または、性別、年齢、声の高さ、英語のなまり、ささやきといういくつかの特徴から自分で組み立てた声。
モデルは、セリフで初めて必要になったときに一度だけダウンロードされます。その後は、何もコンピューターの外に出ません。
非商用のモデル。 OmniVoice の重みは CC-BY-NC であり、商用利用は認められていません。アドオンのコードは Apache-2.0 ですが、それが重みの条件を変えるわけではありません。商用の作業には、VoxCPM2(30言語)と ZONOS3-Mini(43言語)も声のクローンに対応しており、その重みは Apache-2.0 です。
インストールの前に
- ディスク: 約 1.5 GB。その大半は 1.35 GB のモデルで、最初のセリフを吹き替えるときにダウンロードされます。
- メモリ: 約 2.5 GB の空き。
- 時間: CPU では、音声1秒の生成に数秒かかります。Intel Core i7-13700T では、話者自身の声のセリフで音声1秒あたり約6秒かかりました。作った声の最初のセリフは、アドオンが声を作る間、さらに時間がかかります。Apple Silicon の Mac では GPU で動作します。
手早く吹き替えるなら、Piper や Kokoro のほうがずっと軽量で、Piper も多くの言語に対応しています。
声
話者タブで、話者の吹き替えエンジンとして OmniVoice を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。
音声 12 種.
クローンした声
Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。3〜12秒の字幕1つから、または短い字幕をいくつかつなげて作り、字幕のテキストも一緒に送ります。OmniVoice には、サンプルとその言葉の両方が必要です。サンプルが何語であっても、吹き替えは OmniVoice が話すどの言語でも作れます。アドオンの設定の Fallback reference clip とその書き起こしは、サンプルを切り出せない場合にのみ使われます。
Clone the timbre only はこのアドオンでは使えません。OmniVoice はサンプルの言葉なしにはクローンできないためです。OmniVoice を使う話者では、オフのままにしてください。
作った声
OmniVoice は特徴の組み合わせを読むたびに新しい声を作ります。そのためアドオンは各話者の声を短い文として一度だけ作り、その話者のすべてのセリフで使い回します。こうして声は動画を通して変わらず、同じ作った声を与えた2人の話者も別々の人に聞こえます。
モデル
モデルは OmniVoice の1つだけで、audio.cpp プロジェクトが変換したとおり、重みを8ビットで保存しています。アドオンには含まれておらず、最初に吹き替えるときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。
| モデル | ダウンロード | 向いている用途 |
|---|---|---|
| OmniVoice (8-bit) 既定 omnivoice | すべての声、646言語すべて |
最初のセリフではモデルの読み込みも行うため、2つ目以降より時間がかかります。Apple Silicon の Mac では、初回だけ、アドオンが GPU で短いテスト用のセリフを1つ話し、うまくいかなければ CPU を使います。キャンセルはステップの合間でセリフを止めるか、ダウンロードを止めます。
オプション
設定 › アドオン › OmniVoice (offline, voice clone, 646 languages, non-commercial) › 設定 で変更できます。
16OmniVoice が各セリフを処理する回数です。16 は速く、どの単語も抜け落ちません。OmniVoice 自身の設定である 32 は2倍の時間がかかり、話者に少しだけ近づきます。
2音声がテキストと声にどれだけ忠実に従うかです。2.0 が OmniVoice 自身の設定です。
00 にすると、効率コアも持つ CPU では性能コアを選びます。スレッドを減らすと、吹き替え中もコンピューターが軽快に動きます。
「Voice you describe」の声で使われます。特徴を Any のままにすると、OmniVoice が選びます。
「Voice you describe」の声で使われます。子どもから高齢者まで。
「Voice you describe」の声で使われます。とても低い声からとても高い声まで。
「Voice you describe」の声で使われます。英語を話すときのなまりで、イギリス英語やインド英語などです。
「Voice you describe」の声で使われます。ささやき声にします。
Subtitld が動画からクリップを切り出せない場合(例:動画が開かれていない場合)に、クローン音声に使うクリップです。1人が話している3〜15秒の音声にしてください。
予備のクリップで話されている内容を、一語一語そのとおりに書いたものです。OmniVoice はクリップとその言葉からクローンするため、これがないと予備のクリップは受け付けられません。
言語
OmniVoice 自身の646言語のリストで、アラビア語、ベンガル語、中国語と広東語、英語、フランス語、ドイツ語、ヒンディー語、インドネシア語、日本語、韓国語、ペルシア語、ポルトガル語、ロシア語、スペイン語、スワヒリ語、トルコ語、ウルドゥー語、ベトナム語、ヨルバ語、ズールー語のほか、数百の地域言語を含みます。Subtitld はプロジェクトの言語を OmniVoice に伝えます。言語がわからない場合は、OmniVoice がテキストから判断します。
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
プラットフォーム
| システム | ダウンロード | 動作確認 |
|---|---|---|
| Linux x86-64 | 17.3 MB | 実機と AlmaLinux 8 で実際のモデルを使って吹き替え。CI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル |
| macOS (Apple シリコン) | 16.6 MB | CI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル(Apple Silicon) |
| Windows x86-64 | 14.0 MB | CI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル |
Linux x86-64(2018年以降のディストリビューション、glibc 2.28 以降)、Apple Silicon の macOS 13.3 以降、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI がアドオンをインストールし、モデルをダウンロードして、話す、声をクローンする、セリフをキャンセルすることを確認します。
トラブルシューティング
network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。disk_fullモデルに必要なディスク容量がありません。約 1.5 GB の空きが必要です。oomメモリが不足しています。ほかのプログラムを閉じてください。OmniVoice には約 2.5 GB の空きが必要です。bad_paramsセリフにテキストがないか、クローンの声にサンプルまたはその言葉がないか、説明する声に特徴が1つも設定されていません。どれかはメッセージに表示されます。クローンの声では、動画を開き、Clone the timbre only をオフのままにしてください。unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。
ライセンス
アドオンと audio.cpp エンジンは Apache-2.0 で、audio.cpp が動作の基盤とする ggml は MIT です。k2-fsa による OmniVoice の重みは CC-BY-NC で、これを使って作った吹き替えは非商用利用に限られます。クローンした声は実在の人物のように聞こえます。使う権利のある声だけをクローンし、必要な場面では吹き替えが合成音声であることを明示してください。
バージョン
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
他の音声アドオン
-
Piper オフライン
49言語の158のオフライン音声。それぞれ別途の小さなダウンロード。
-
Kokoro オフライン
9言語の54のオフライン音声。すべて1つの 82 MB のモデルです。
-
Supertonic オフライン
10のオフライン音声。それぞれが31言語すべてを話せます。
-
sanoTTS オフライン
超軽量のオフライン音声。14言語28種、どれも 10 MB 未満です。
-
Parler-TTS オフライン
書かれた説明に従う英語の声。34の名前付き話者。
-
Qwen3-TTS クローン
10言語、9つの声、3秒の音声から話者をクローン。
-
Coqui XTTS クローン
16言語での声のクローン。モデルは非商用ライセンスです。
-
F5-TTS クローン
英語と中国語の声のクローンのみ。モデルは非商用です。
-
VoxCPM2 クローン
48 kHz で30言語。話者自身の声か、説明した声で。重量級。
-
Pocket TTS オフライン
高速で軽量、CPU のみ。ヨーロッパの7言語で23種類の声。
-
Sopro クローン
話者自身の声を、CPU で高速に。4言語。
-
KittenTTS 2 クローン
話者自身の声を16言語で、CPU で。重みは制限のあるライセンスです。
-
Ming-3.0-tts クローン
44.1 kHz で7言語。クローン、内蔵、説明した声で、感情も。重量級。
-
Scylla's Band オフライン
6言語で話す14の声。CPU で軽く、速く動きます。組み込みの声のみ。
-
Audio8 TTS クローン
話者自身の声を23言語で、広東語やアラビア語も。CPU では遅め。
-
Inflect オフライン
小さなモデルで自然な英語音声を、どの CPU でも高速に。
-
Paradee オフライン
アメリカ英語とイギリス英語の自然な4つの声を、8.5 MB のモデル1つで。
-
BlueTTS クローン
ヘブライ語とイディッシュ語に、さらに5言語。話者自身の声を、CPU で高速に。
-
ZONOS3-Mini クローン
アラビア語からベトナム語まで43言語。話者自身の声を、CPU で。
-
Reverb クローン
ヨーロッパの7言語と話者自身の声を、CPU で。モデルは非商用です。
-
Chatterbox クローン
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…