VoxCPM2 (offline, voice clone, 30 languages)

機能

インストールの前に

VoxCPM2 は 24 億パラメーターの大きなモデルです。オフラインのアドオンの中で最も自然な吹き替えができますが、コンピューターへの負担も最も大きくなります：

• ディスク： 約 5.6 GB。その大半は 4.96 GB のモデルで、最初のセリフを吹き替えるときにダウンロードされます。
• メモリ： 約 7 GB の空き。少なくても動きますが、ずっと遅くなります。
• 時間： CPU では、音声1秒の生成に数秒かかります。Intel Core i7-13700T で5〜6秒です。10分の動画で約1時間かかることがあります。Apple Silicon の Mac では GPU で動作します。

性能が控えめなコンピューターで手早く吹き替えるなら、Piper や Kokoro のほうがずっと軽量です。

声

話者タブで、話者の吹き替えエンジンとして VoxCPM2 を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。

音声 9 種.

クローンした声

Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。3〜12秒の字幕1つから、または短い字幕をいくつかつなげて作ります。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Fallback reference clip は、サンプルを切り出せない場合にのみ使われます。

Subtitld はサンプルと一緒に字幕のテキストを送り、VoxCPM2 はその続きとして話します。これが話し方も含めて最も話者に近づく方法です。別の言語への吹き替えに話者のなまりが残る場合は、Clone the timbre only をオンにしてください。

説明した声

VoxCPM2 は説明文を読むたびに新しい声を作ります。そのためアドオンは各話者の声を一度だけ作り、その話者のすべてのセリフで使い回します。こうして声は動画を通して変わらず、同じ説明を与えた2人の話者も別々の人に聞こえます。

モデル

モデルは VoxCPM2 の1つだけです。アドオンには含まれておらず、最初に吹き替えるときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。

最初のセリフではモデルの読み込みも行うため、2つ目以降より時間がかかります。キャンセルはステップの合間でセリフを止めるか、ダウンロードを止めます。

オプション

設定 › アドオン › VoxCPM2 (offline, voice clone, 30 languages) › 設定 で変更できます。

言語

アラビア語、ビルマ語、中国語、デンマーク語、オランダ語、英語、フィンランド語、フランス語、ドイツ語、ギリシャ語、ヘブライ語、ヒンディー語、インドネシア語、イタリア語、日本語、クメール語、韓国語、ラオ語、マレー語、ノルウェー語、ポーランド語、ポルトガル語、ロシア語、スペイン語、スワヒリ語、スウェーデン語、タガログ語、タイ語、トルコ語、ベトナム語。VoxCPM2 は言語をテキスト自体から読み取るため、どの声もすべての言語を話します。

• ar
• my
• zh
• da
• nl
• en
• fi
• fr
• de
• el
• he
• hi
• id
• it
• ja
• km
• ko
• lo
• ms
• no
• pl
• pt
• ru
• es
• sw
• sv
• tl
• th
• tr
• vi

プラットフォーム

Linux x86-64、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、CI は話すのに必要なものがすべてビルドに含まれていることを確認します。CI ではモデル自体は実行しません。

トラブルシューティング

• network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。
• disk_fullモデルに必要なディスク容量がありません。約 5 GB の空きが必要です。
• oomメモリが不足しています。ほかのプログラムを閉じてください。VoxCPM2 には約 7 GB、float32 では 11 GB の空きが必要です。
• bad_paramsセリフにテキストがないか、クローンの声にサンプルがありません。動画を開くか、Fallback reference clip を設定してください。どちらかはメッセージに表示されます。
• unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。
• internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。Inference device を変更していた場合は、「自動」に戻してください。

ライセンス

商用利用に問題ありません。アドオン、VoxCPM、VoxCPM2 の重みはすべて Apache-2.0 です。作成した吹き替えはあなたのものです。クローンした声は実在の人物のように聞こえます。使う権利のある声だけをクローンし、必要な場面では吹き替えが合成音声であることを明示してください。