Ming-3.0-tts (offline, voice clone, 7 languages)

機能

インストールの前に

Ming-3.0-tts は、音声コーデックを含めて約 15 億パラメーターの大きなモデルです。コンピューターへの負担が大きくなります：

• ディスク： 約 3.4 GB。その大半は 2.99 GB のモデルで、最初のセリフを吹き替えるときにダウンロードされます。
• メモリ： 約 5 GB の空き。少なくても動きますが、ずっと遅くなります。
• 時間： CPU では、音声1秒の生成に約4〜5秒かかります（Intel Core i7-13700T の場合）。10分の動画で約45分かかることがあります。

性能が控えめなコンピューターで手早く吹き替えるなら、Piper や Kokoro のほうがずっと軽量です。

声

話者タブで、話者の吹き替えエンジンとして Ming-3.0-tts を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。

音声 12 種.

クローンした声

Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。3〜12秒の字幕1つから、または短い字幕をいくつかつなげて作ります。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Fallback reference clip は、サンプルを切り出せない場合にのみ使われます。

Subtitld はサンプルと一緒に字幕のテキストを送り、Ming-3.0-tts はその続きとして話します。これが話し方も含めて最も話者に近づく方法です。別の言語への吹き替えに話者のなまりが残る場合は、Clone the timbre only をオンにしてください。

内蔵の声

Emma（アメリカ英語）、George と Charlotte（イギリス英語）、Ling Xiaorou（灵小柔）と Ling Kai（灵楷）（中国語）は、モデルが学習した話者です。どの声もすべてのセリフで同じように聞こえ、7言語すべてを話します。

説明した声

Ming-3.0-tts は説明文を読むたびに新しい声を作ります。そのためアドオンは各話者の声を一度だけ作り、その話者のすべてのセリフで使い回します。こうして声は動画を通して変わらず、同じ説明を与えた2人の話者も別々の人に聞こえます。

感情、速さ、高さ、音量

これらはアドオンの設定なので、クローンした声や説明した声で吹き替えるすべての話者に適用されます。モデル自身の調整機能で、話者の声の音色は取り入れますが、話し方は取り入れません。また、同時に使えるのは1つだけで、感情を設定すると速さ、高さ、音量より優先されます。内蔵の声では無視されます。

中国語か英語のセリフでは、テキストに書き込んだ音もモデルが出します：[Laughter]、[Sigh]、[Breathing]、[Cough]、[Uhm] など。

モデル

モデルは Ming-3.0-tts-0.5B の1つだけです。アドオンには含まれておらず、最初に吹き替えるときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。

最初のセリフではモデルの読み込みも行うため、2つ目以降より時間がかかります。キャンセルはステップの合間でセリフを止めるか、ダウンロードを止めます。

オプション

設定 › アドオン › Ming-3.0-tts (offline, voice clone, 7 languages) › 設定 で変更できます。

言語

中国語、英語、日本語、韓国語、ドイツ語、フランス語、スペイン語。どの声もこれらすべての言語を話します。

• zh
• en
• ja
• ko
• de
• fr
• es

プラットフォーム

Linux x86-64、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、CI は話すのに必要なものがすべてビルドに含まれていることを確認します。CI ではモデル自体は実行しません。

トラブルシューティング

• network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。
• disk_fullモデルに必要なディスク容量がありません。約 3.4 GB の空きが必要です。
• oomメモリが不足しています。ほかのプログラムを閉じてください。Ming-3.0-tts には約 5 GB の空きが必要です。
• bad_paramsセリフにテキストがないか、クローンの声にサンプルがないか、Voice you describe に説明がありません。どれかはメッセージに表示されます。動画を開くか、Fallback reference clip を設定するか、Voice description を書いてください。
• unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。
• internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。Inference device を変更していた場合は、「自動」に戻してください。

ライセンス

商用利用に問題ありません。アドオンは Apache-2.0、Ming-3.0-tts のコードと Ming-3.0-tts-0.5B の重みは MIT です。作成した吹き替えはあなたのものです。クローンした声は実在の人物のように聞こえます。使う権利のある声だけをクローンし、必要な場面では吹き替えが合成音声であることを明示してください。