Audio8 TTS (offline, voice clone, 11 languages)

機能

インストールの前に

Audio8 TTS は、軽量な吹き替えエンジンよりもコンピューターへの負担が大きくなります：

• ディスク： モデル用に約 1 GB。最初のセリフを吹き替えるときにダウンロードされます。
• メモリ： 話している間は約 1.6 GB。新しい話者を初めて聞くときは、一時的に最大 3 GB。
• 時間： 音声1秒の生成に2〜3秒かかります（Intel Core i7-13700T の場合）。10分の動画で約30分かかることがあります。
• プロセッサー： 64 ビットの Intel または AMD のプロセッサーならどれでも、または Apple Silicon。グラフィックスカードは使いません。

手早く吹き替えるなら、Sopro や Chatterbox が、対応言語は少ないものの、ほぼ実時間かそれより速く声をクローンします。

声

話者タブで、話者の吹き替えエンジンとして Audio8 TTS を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。

音声 1 種.

Audio8 TTS の声は Speaker's own voice の1つだけで、既製の声はありません。どのセリフも話者をクローンします。Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。3〜12秒の字幕1つから、または短い字幕をいくつかつなげて作ります。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Fallback reference clip は、サンプルを切り出せない場合にのみ使われます。

Subtitld はサンプルと一緒に字幕のテキストを送り、Audio8 TTS はそれを使って話者により近づきます。テキストがない場合（例：プロジェクトの元の言語が設定されていない場合）、アドオンはサンプルの音だけからクローンし、似かたは少し劣ります。字幕が発言を書き起こさず、言い換えている場合は、Don't send the subtitles of the reference clip をオンにしてください。

各話者の最初のセリフは、アドオンがサンプルを聞き取るあいだ、数秒長くかかります。アドオンはそれを覚えておくので、その話者の次のセリフからはすぐに始まります。

モデル

モデルは Audio8 TTS Preview 0.6B の1つだけで、開発元がプロセッサー向けに公開している 4 ビットの ONNX 版です。アドオンには含まれておらず、最初に吹き替えるときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。

アドオンはこの版を PyTorch なしで実行します。声、セリフ、シードが同じなら、Audio8 自身のランタイムとまったく同じ結果になります。

オプション

設定 › アドオン › Audio8 TTS (offline, voice clone, 11 languages) › 設定 で変更できます。

言語

中国語、広東語、日本語、韓国語、英語、オランダ語、フランス語、ドイツ語、イタリア語、ポーランド語、スペイン語。このうちどれかの言語のクリップからクローンした話者は、ほかのすべての言語も話します。それ以外の言語のプロジェクトでは、その旨のメッセージが表示されます。その場合は別の吹き替えエンジンを選んでください。

Audio8 はこのモデルをプレビュー版と呼んでおり、これらはその推奨言語です。各言語で1文ずつ、Whisper と声の類似度スコアで確認しましたが、すべての言語を耳で確かめたわけではありません。

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

プラットフォーム

Linux x86-64、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI が Subtitld と同じ方法でアドオンをインストールし、モデルをダウンロードして、それを使って吹き替えます。

トラブルシューティング

• network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。
• disk_fullモデルに必要なディスク容量（約 1 GB）がありません。
• unsupported_languageプロジェクトの言語が11言語のどれでもないか、設定されていません。プロジェクトで言語を設定するか、別の吹き替えエンジンを選んでください。
• unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。
• bad_paramsセリフにテキストがないか、クローンの声にサンプルがありません。動画を開くか、Fallback reference clip を設定してください。どちらかはメッセージに表示されます。
• out_of_memoryコンピューターのメモリが不足しました。ほかのプログラムを閉じてください。Audio8 TTS には約 3 GB の空きが必要です。
• internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。

ライセンス

商用利用に問題ありません。アドオンは Apache-2.0 で、Audio8 TTS のコードと Audio8 TTS Preview 0.6B の重みも同じく Apache-2.0 です。作成した吹き替えはあなたのものです。クローンした声は実在の人物のように聞こえます。使う権利のある声だけをクローンし、必要な場面では吹き替えが合成音声であることを明示してください。