MuseTalk (GPU lip-sync)
MuseTalk を使い、動画または静止画の話者の口を、新しい音声トラックに合わせて描き直します。CUDA 対応の NVIDIA グラフィックスカードが必要です。ダウンロードは小さいですが、初回使用時に独自の PyTorch ランタイムと、数 GB のモデルをインストールします。
設定 アドオン MuseTalk (GPU lip-sync) インストール
Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。
- アドオンのダウンロード
- 9–18 MB
機能
動画、1枚の静止画、またはフレームのフォルダーから始めて、H.264 の映像と AAC の新しい音声で動画を書き出します。
音声が映像より長い場合は、フレームが前方に再生され、次に後方に再生され、音声が終わるまで繰り返されます。
ダウンロードするアドオンは小さなランチャーです。最初のジョブで、PyTorch と MuseTalk のその他のライブラリを専用の Python 環境にインストールし、その後モデルをダウンロードします。以降のジョブではこれらをスキップします。
既定の MuseTalk 1.5 は口の描写がより鮮明で、1.0 は元のバージョンです。どちらも初回実行時にダウンロードされるため、待たずに切り替えられます。
Subtitld からはまだ実行できません。 インストールはできますが、現時点では、動画をリップシンクのために送るコマンドは Subtitld にありません。
モデル
選ぶものはありません。最初のジョブで、MuseTalk に必要なものがすべて一度だけ取得されます：
- CUDA 対応の PyTorch と MuseTalk のその他のライブラリを含む、専用の Python 環境。数 GB です。インストール全体は、進行バーの最初の 5% として表示されます。
- MuseTalk のソースコードを
gitで複製します。 - モデル：MuseTalk 1.5 と 1.0、SD-VAE、Whisper tiny、DWPose、BiSeNet の顔解析器、SyncNet。さらに数 GB です。
CUDA 対応の PyTorch のビルドは https://download.pytorch.org/whl/cu121 から取得されます。別の CUDA バージョンやミラーを使う場合は、SUBTITLD_MUSETALK_TORCH_INDEX にそのアドレスを設定してください。アドオンの新しいバージョンでは、同じ環境に対してインストールが再度実行されます。
初回実行に必要なもの
- CUDA 対応の NVIDIA カード。 アドオンは、ランタイムをインストールした後にのみ確認します。そのため、開始前に用意されているか確認してください。
- Python 3.10 以降を PATH に通し、その
venvモジュールを含めてください。または、SUBTITLD_MUSETALK_PYTHONにその Python を設定してください。アドオンはこれを使って環境を構築します。 gitを PATH に通してください。MuseTalk のソースを取得するために使います。- ネットワーク接続と数 GB の空き容量。
- MuseTalk の顔と姿勢のライブラリ（mmcv、mmpose、mmdet）。アドオンはこれらをインストールしません。ランタイムの PyTorch と CUDA に合ったセットが環境にインストールされるまで、ジョブは、読み込みに失敗したものを示す
internalエラーで終了します。
Windows では、初回インストール中に Subtitld を終了すると、ダウンロードが完了するまでバックグラウンドで実行され続けることがあります。
保存場所
中には、runtime（Python 環境）、models、MuseTalk（ソース）があります。アドオンをアンインストールしてもこのフォルダーは残ります。空き容量を確保するには削除してください。
| システム | フォルダー |
|---|---|
| Linux | ~/.cache/subtitld/musetalk |
| Windows | %USERPROFILE%\.cache\subtitld\musetalk |
オプション
設定 › アドオン › MuseTalk (GPU lip-sync) › 設定 で変更できます。
v15MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.
0Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.
10Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.
8一度にグラフィックスカードが処理するフレーム数です。値を大きくすると速くなりますが、グラフィックスメモリが多く必要です。メモリ不足エラーが出たら値を下げてください。
25結果のフレームレート。MuseTalk は 25 fps で学習されており、25 fps の動画で最もよく動作します。25 のままにしてください。
半精度を使い、グラフィックスメモリの使用量を減らします。映像の乱れが見られる場合にのみオフにしてください。
プラットフォーム
| システム | ダウンロード |
|---|---|
| Linux x86-64 | 17.7 MB |
| Windows x86-64 | 8.6 MB |
macOS 向けのビルドはありません。MuseTalk には CUDA が必要です。両方のビルドは CI で作成されますが、リップシンクは実行されません。
トラブルシューティング
gpu_unavailableCUDA デバイスが見つかりませんでした。MuseTalk は CPU では実行できず、正しく動作するドライバーを備えた NVIDIA カードが必要です。oomグラフィックスカードのメモリが不足しました。Batch size を下げ、Use float16 はオンのままにしてください。model_missingモデルまたは MuseTalk のソースを取得できませんでした。gitがない場合は、インストールしてください。顔解析の重みを Google Drive から取得できない場合は、79999_iter.pthをmodels/face-parse-bisent/に手動でダウンロードしてください。network_unavailableダウンロード、ソースの複製、またはランタイムのインストールが、ネットワークの理由で失敗しました。もう一度試してください。ダウンロード済みのモデルは保持されますが、中断されたランタイムのインストールは最初からやり直されます。internalメッセージに内容が示されます。多くの場合、Python 3.10 以降が見つからない、ランタイムのインストールに失敗した（メッセージは pip の出力で終わります）、または MuseTalk のライブラリ（通常は mmcv、mmpose、mmdet）の読み込みに失敗したことが原因です。ランタイムがジョブの途中で停止した場合は、Batch size を下げてください。bad_paramsファイルが見つからないか、ffmpeg が見つからないか、動画からフレームを読み込めませんでした。通常、Subtitld が ffmpeg を自前で提供します。
ライセンス
アドオンと MuseTalk は MIT ライセンスで、アドオンでは商用利用に問題ないと説明しています。ダウンロードされるほかのモデルは独自のライセンスを保持していますが、アドオンではそれらを記載していません。商用作業の前に確認してください。
バージョン
- 0.2.0