VoxMel オフライン、音声クローン、2 言語

音声オフラインGPU は任意音声クローン商用利用可

VoxDance Lab の VoxMel を使い、字幕を英語と標準中国語で吹き替えます。声は、動画とその字幕から忠実にクローンした各話者自身の声か、8つのプリセットの声のいずれかです。お使いのコンピューター上で動作し、アドオン、モデル、声はすべて Apache-2.0 です。

Subtitld からインストール

設定 アドオン VoxMel (offline, voice clone, 2 languages) インストール

Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。

GitHub のソース
言語
2
モデル
1
音声
9
アドオンのダウンロード
15–19 MB
RAM(最低)
2 GB

試聴

機能

忠実なクローン

Subtitld は動画から各話者の数秒を切り出し、そこで話されている字幕と一緒に送ります。VoxMel はその声を、英語でも標準中国語でも忠実にクローンします。

8つのプリセットの声

各言語に女性2人と男性2人。クローンしたくない話者に使えます。VoxMel 自身が作った声で、誰かの声を録音したものではありません。

クローンモデルとしては高速

最近のノートパソコンのプロセッサーで、クローンした声のセリフは音声1秒あたり2〜4秒で作れます。

商用利用も無料

アドオン、audio.cpp エンジン、VoxMel の重み、プリセットの声はすべて Apache-2.0 です。

インストールの前に

  • ディスク: 約 1.2 GB。その大半は 1.04 GB のモデルで、最初のセリフを吹き替えるときにダウンロードされます。
  • メモリ: 約 2 GB の空き。
  • 時間: Intel Core i7-13700T では、話者自身の声のセリフで音声1秒あたり2〜4秒かかりました。Apple Silicon の Mac では GPU で動作します。
  • 言語: 英語と標準中国語のみ。ほかの言語では、VoxCPM2 が30言語、OmniVoice が646言語で声をクローンできます。

声

話者タブで、話者の吹き替えエンジンとして VoxMel を選び、ボイスを選びます。VoxMel 自体には話す速さを調整する機能がないため、各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。

音声 9 種 2 言語.

  • en 4
  • zh 4

クローンした声

Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。3〜12秒の字幕1つから、または短い字幕をいくつかつなげて作り、字幕のテキストも一緒に送ります。VoxMel には、サンプルとその言葉の両方が必要です。アドオンの設定の Fallback reference clip とその書き起こしは、サンプルを切り出せない場合にのみ使われます。

VoxMel は同じ言語の中でのクローンが最も得意です。標準中国語の話者を英語で吹き替えるのはうまくいきますが、英語の話者を標準中国語で吹き替えると、一部の言葉が不明瞭になることがあります。

Clone the timbre only はこのアドオンでは使えません。VoxMel はサンプルの言葉なしにはクローンできないためです。VoxMel を使う話者では、オフのままにしてください。

プリセットの声

各プリセットは、VoxMel が参照用の録音を一切使わずに作った短いクリップで、話している言葉そのものと一緒に保存されています。プリセットを割り当てた話者のセリフはすべてそのクリップをクローンするので、声は動画を通して変わりません。英語のプリセットは英語のセリフに、標準中国語のプリセットは標準中国語のセリフに向いています。

モデル

モデルは VoxMel 0.6B(Vocos ボコーダー付き)の1つだけで、audio.cpp プロジェクトが変換したとおり、重みを8ビットで保存しています。アドオンには含まれておらず、最初に吹き替えるときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。

モデル ダウンロード向いている用途
VoxMel 0.6B (8-bit) 既定 voxmel
992 MB
すべての声、英語と標準中国語

最初のセリフではモデルの読み込みも行うため、2つ目以降より時間がかかります。Apple Silicon の Mac では、初回だけ、アドオンが GPU で短いテスト用のセリフを1つ話し、うまくいかなければ CPU を使います。キャンセルはステップの合間でセリフを止めるか、ダウンロードを止めます。

オプション

設定 › アドオン › VoxMel (offline, voice clone, 2 languages) › 設定 で変更できます。

Quality steps
既定値: 32

VoxMel が音声の各瞬間をどれだけ細かく描くかです。32 が VoxMel 自身の設定です。少なくすると速くなりますが、細部は粗くなります。

Text guidance
既定値: 3.5

音声がテキストにどれだけ忠実に従うかです。3.5 が VoxMel 自身の設定です。

Voice guidance
既定値: 3

クローンした声がクリップにどれだけ忠実に従うかです。3.0 が VoxMel 自身の設定です。高くすると似て聞こえることも、無理のある声になることもあります。

CPU threads
既定値: 0

0 にすると、効率コアも持つ CPU では性能コアを選びます。スレッドを減らすと、吹き替え中もコンピューターが軽快に動きます。

Fallback reference clip
既定値: 空

Subtitld が動画からクリップを切り出せない場合(例:動画が開かれていない場合)に、クローン音声に使うクリップです。1人が話している3〜15秒の音声にしてください。

Fallback reference transcript
既定値: 空

予備のクリップで話されている内容を、一語一語そのとおりに書いたものです。VoxMel はクリップとその言葉からクローンするため、これがないと予備のクリップは受け付けられません。

言語

英語と中国語(標準中国語)。VoxMel はテキストから言語を判断します。

  • en
  • zh

プラットフォーム

システム ダウンロード動作確認
Linux x86-64 18.8 MB実機と AlmaLinux 8 で実際のモデルを使って吹き替え。CI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル
macOS (Apple シリコン) 18.1 MBCI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル(Apple Silicon)
Windows x86-64 15.4 MBCI で、インストールしたアドオンがモデルをダウンロードし、話し、声をクローンし、セリフをキャンセル

Linux x86-64(2018年以降のディストリビューション、glibc 2.28 以降)、Apple Silicon の macOS 13.3 以降、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI がアドオンをインストールし、モデルをダウンロードして、話す、声をクローンする、セリフをキャンセルすることを確認します。

トラブルシューティング

  • network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。
  • disk_fullモデルに必要なディスク容量がありません。約 1.2 GB の空きが必要です。
  • oomメモリが不足しています。ほかのプログラムを閉じてください。VoxMel には約 2 GB の空きが必要です。
  • bad_paramsセリフにテキストがないか、クローンの声にサンプルまたはその言葉がありません。どちらかはメッセージに表示されます。クローンの声では、動画を開き、Clone the timbre only をオフのままにしてください。
  • unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。
  • internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。

ライセンス

アドオン
Apache-2.0
8つのプリセットの声を含む
エンジン
Apache-2.0
audio.cpp、ggml(MIT)を使用
モデル
Apache-2.0
VoxMel 0.6B の重み(VoxDance Lab 製)。Vocos ボコーダーは MIT

商用利用に問題ありません。アドオン、そのプリセットの声、audio.cpp エンジン、VoxMel の重みはすべて Apache-2.0 で、Vocos ボコーダーと ggml は MIT です。作成した吹き替えはあなたのものです。クローンした声は実在の人物のように聞こえます。使う権利のある声だけをクローンし、必要な場面では吹き替えが合成音声であることを明示してください。

バージョン

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

他の音声アドオン