VoxMel オフライン、音声クローン、2 言語
VoxDance Lab の VoxMel を使い、字幕を英語と標準中国語で吹き替えます。声は、動画とその字幕から忠実にクローンした各話者自身の声か、8つのプリセットの声のいずれかです。お使いのコンピューター上で動作し、アドオン、モデル、声はすべて Apache-2.0 です。
設定 アドオン VoxMel (offline, voice clone, 2 languages) インストール
Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。
- 言語
- 2
- モデル
- 1
- 音声
- 9
- アドオンのダウンロード
- 15–19 MB
- RAM(最低)
- 2 GB
試聴
機能
Subtitld は動画から各話者の数秒を切り出し、そこで話されている字幕と一緒に送ります。VoxMel はその声を、英語でも標準中国語でも忠実にクローンします。
各言語に女性2人と男性2人。クローンしたくない話者に使えます。VoxMel 自身が作った声で、誰かの声を録音したものではありません。
最近のノートパソコンのプロセッサーで、クローンした声のセリフは音声1秒あたり2〜4秒で作れます。
アドオン、audio.cpp エンジン、VoxMel の重み、プリセットの声はすべて Apache-2.0 です。
インストールの前に
- ディスク: 約 1.2 GB。その大半は 1.04 GB のモデルで、最初のセリフを吹き替えるときにダウンロードされます。
- メモリ: 約 2 GB の空き。
- 時間: Intel Core i7-13700T では、話者自身の声のセリフで音声1秒あたり2〜4秒かかりました。Apple Silicon の Mac では GPU で動作します。
- 言語: 英語と標準中国語のみ。ほかの言語では、VoxCPM2 が30言語、OmniVoice が646言語で声をクローンできます。
声
話者タブで、話者の吹き替えエンジンとして VoxMel を選び、ボイスを選びます。VoxMel 自体には話す速さを調整する機能がないため、各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。
音声 9 種 2 言語.
en4zh4
クローンした声
Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。3〜12秒の字幕1つから、または短い字幕をいくつかつなげて作り、字幕のテキストも一緒に送ります。VoxMel には、サンプルとその言葉の両方が必要です。アドオンの設定の Fallback reference clip とその書き起こしは、サンプルを切り出せない場合にのみ使われます。
VoxMel は同じ言語の中でのクローンが最も得意です。標準中国語の話者を英語で吹き替えるのはうまくいきますが、英語の話者を標準中国語で吹き替えると、一部の言葉が不明瞭になることがあります。
Clone the timbre only はこのアドオンでは使えません。VoxMel はサンプルの言葉なしにはクローンできないためです。VoxMel を使う話者では、オフのままにしてください。
プリセットの声
各プリセットは、VoxMel が参照用の録音を一切使わずに作った短いクリップで、話している言葉そのものと一緒に保存されています。プリセットを割り当てた話者のセリフはすべてそのクリップをクローンするので、声は動画を通して変わりません。英語のプリセットは英語のセリフに、標準中国語のプリセットは標準中国語のセリフに向いています。
モデル
モデルは VoxMel 0.6B(Vocos ボコーダー付き)の1つだけで、audio.cpp プロジェクトが変換したとおり、重みを8ビットで保存しています。アドオンには含まれておらず、最初に吹き替えるときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。
| モデル | ダウンロード | 向いている用途 |
|---|---|---|
| VoxMel 0.6B (8-bit) 既定 voxmel | すべての声、英語と標準中国語 |
最初のセリフではモデルの読み込みも行うため、2つ目以降より時間がかかります。Apple Silicon の Mac では、初回だけ、アドオンが GPU で短いテスト用のセリフを1つ話し、うまくいかなければ CPU を使います。キャンセルはステップの合間でセリフを止めるか、ダウンロードを止めます。
オプション
設定 › アドオン › VoxMel (offline, voice clone, 2 languages) › 設定 で変更できます。
32VoxMel が音声の各瞬間をどれだけ細かく描くかです。32 が VoxMel 自身の設定です。少なくすると速くなりますが、細部は粗くなります。
3.5音声がテキストにどれだけ忠実に従うかです。3.5 が VoxMel 自身の設定です。
3クローンした声がクリップにどれだけ忠実に従うかです。3.0 が VoxMel 自身の設定です。高くすると似て聞こえることも、無理のある声になることもあります。
00 にすると、効率コアも持つ CPU では性能コアを選びます。スレッドを減らすと、吹き替え中もコンピューターが軽快に動きます。
Subtitld が動画からクリップを切り出せない場合(例:動画が開かれていない場合)に、クローン音声に使うクリップです。1人が話している3〜15秒の音声にしてください。
予備のクリップで話されている内容を、一語一語そのとおりに書いたものです。VoxMel はクリップとその言葉からクローンするため、これがないと予備のクリップは受け付けられません。
言語
英語と中国語(標準中国語)。VoxMel はテキストから言語を判断します。
enzh
プラットフォーム
| システム | ダウンロード | 動作確認 |
|---|---|---|
| Linux x86-64 | 18.8 MB | 実機と AlmaLinux 8 で実際のモデルを使って吹き替え。CI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル |
| macOS (Apple シリコン) | 18.1 MB | CI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル(Apple Silicon) |
| Windows x86-64 | 15.4 MB | CI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル |
Linux x86-64(2018年以降のディストリビューション、glibc 2.28 以降)、Apple Silicon の macOS 13.3 以降、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI がアドオンをインストールし、モデルをダウンロードして、話す、声をクローンする、セリフをキャンセルすることを確認します。
トラブルシューティング
network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。disk_fullモデルに必要なディスク容量がありません。約 1.2 GB の空きが必要です。oomメモリが不足しています。ほかのプログラムを閉じてください。VoxMel には約 2 GB の空きが必要です。bad_paramsセリフにテキストがないか、クローンの声にサンプルまたはその言葉がありません。どちらかはメッセージに表示されます。クローンの声では、動画を開き、Clone the timbre only をオフのままにしてください。unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。
ライセンス
商用利用に問題ありません。アドオン、そのプリセットの声、audio.cpp エンジン、VoxMel の重みはすべて Apache-2.0 で、Vocos ボコーダーと ggml は MIT です。作成した吹き替えはあなたのものです。クローンした声は実在の人物のように聞こえます。使う権利のある声だけをクローンし、必要な場面では吹き替えが合成音声であることを明示してください。
バージョン
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
他の音声アドオン
-
Piper オフライン
49言語の158のオフライン音声。それぞれ別途の小さなダウンロード。
-
Kokoro オフライン
9言語の54のオフライン音声。すべて1つの 82 MB のモデルです。
-
Supertonic オフライン
10のオフライン音声。それぞれが31言語すべてを話せます。
-
sanoTTS オフライン
超軽量のオフライン音声。14言語28種、どれも 10 MB 未満です。
-
Parler-TTS オフライン
書かれた説明に従う英語の声。34の名前付き話者。
-
Qwen3-TTS クローン
10言語、9つの声、3秒の音声から話者をクローン。
-
Coqui XTTS クローン
16言語での声のクローン。モデルは非商用ライセンスです。
-
F5-TTS クローン
英語と中国語の声のクローンのみ。モデルは非商用です。
-
VoxCPM2 クローン
48 kHz で30言語。話者自身の声か、説明した声で。重量級。
-
Pocket TTS オフライン
高速で軽量、CPU のみ。ヨーロッパの7言語で23種類の声。
-
Sopro クローン
話者自身の声を、CPU で高速に。4言語。
-
KittenTTS 2 クローン
話者自身の声を16言語で、CPU で。重みは制限のあるライセンスです。
-
Ming-3.0-tts クローン
44.1 kHz で7言語。クローン、内蔵、説明した声で、感情も。重量級。
-
Scylla's Band オフライン
6言語で話す14の声。CPU で軽く、速く動きます。組み込みの声のみ。
-
Audio8 TTS クローン
話者自身の声を23言語で、広東語やアラビア語も。CPU では遅め。
-
Inflect オフライン
小さなモデルで自然な英語音声を、どの CPU でも高速に。
-
Paradee オフライン
アメリカ英語とイギリス英語の自然な4つの声を、8.5 MB のモデル1つで。
-
BlueTTS クローン
ヘブライ語とイディッシュ語に、さらに5言語。話者自身の声を、CPU で高速に。
-
ZONOS3-Mini クローン
アラビア語からベトナム語まで43言語。話者自身の声を、CPU で。
-
Reverb クローン
ヨーロッパの7言語と話者自身の声を、CPU で。モデルは非商用です。
-
OmniVoice クローン
646言語。話者自身の声を言語を越えて。モデルは非商用です。
-
tiny-voca オフライン
パラメーター数 450 万のモデルによるアメリカ英語の2つの声。ダウンロード不要。
-
Chatterbox クローン
話者自身の声で20言語を、CPU で、アカウント不要で。