Wav2Lip (offline lip-sync)
話す人の顔が映る動画で、口の動きを新しい音声トラック（吹き替えなど）に合わせて描き直します。PyTorch を使わず CPU で動作し、2つのモデルファイルのダウンロード後はオフラインで動作します。重みは研究用および非商用に限られています。
設定 アドオン Wav2Lip (offline lip-sync) インストール
Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。
- アドオンのダウンロード
- 176–274 MB
機能
各フレームで最も大きい顔を見つけ、音声に合わせて口を描き直し、その部分を柔らかい縁で元の映像に重ね戻します。
各フレームに顔が必要です。顔が見つからないフレーム（カットアウェイなど）が1つでもあると、ジョブは停止します。
H.264 の映像と AAC の音声で、音声と同じ長さの新しい動画を書き出します。音声が短い場合は映像が切り詰められ、長い場合は最初のフレームから再生し直されます。
開始前にすべてのフレームをメモリに読み込むため、長い動画や高解像度の動画には多くのメモリが必要です。Resize factorで減らせます。
商用利用は不可。 Wav2Lip の重みは LRS2 で学習されており、研究用および非商用利用に限ってライセンスされています。SCRFD の顔検出器の重みも同様です。アドオンの MIT ライセンスは、アドオン自身のコードに適用され、これらの重みには適用されません。
Subtitld からはまだ実行できません。 インストールはできますが、現時点では、動画をリップシンクのために送るコマンドは Subtitld にありません。
モデル
選ぶものはありません。初回実行時に2つのファイルがダウンロードされ、その後はすべてお使いのコンピューターに残ります。リップシンクモデルの wav2lip_256.onnx（約 200 MB）と、顔検出器の scrfd_2.5g_bnkps.onnx（約 3 MB）です。
フォルダーにすでにあるファイルは、そのまま使われます。接続のないコンピューターでは、両方を自分でダウンロードして、そのフォルダーに置いてください：
モデルの保存場所
アドオンの外に保存されるため、アップデートまたはアンインストールしても残ります。空き容量を確保するには、フォルダーを削除してください。
| システム | フォルダー |
|---|---|
| Linux | ~/.cache/subtitld/wav2lip |
| macOS | ~/.cache/subtitld/wav2lip |
| Windows | %USERPROFILE%\.cache\subtitld\wav2lip |
オプション
設定 › アドオン › Wav2Lip (offline lip-sync) › 設定 で変更できます。
0 10 0 0Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.
1各フレームをこの倍率で先に縮小し、結果もその小さいサイズになります。2 にすると幅と高さが半分になります。速くなり、メモリも減りますが、解像度は下がります。
0.3顔検出器が顔を受け入れるために必要な確信度です。ジョブが顔の見つからないフレームで止まる場合は、値を下げてください。
プラットフォーム
| システム | ダウンロード |
|---|---|
| Linux x86-64 | 273.6 MB |
| macOS (Apple シリコン) | 202.4 MB |
| Windows x86-64 | 175.9 MB |
ビルドは CI で作成されますが、リップシンクは実行されません。
トラブルシューティング
bad_params入力の何かが処理を止めました。メッセージに内容が示されます。多くの場合、顔が見つからないフレームです。Face detection threshold を下げるか、顔が常に映っているクリップを使ってください。無音または非常に短い音声でも停止します。model_missingモデルをアドレスからダウンロードできませんでした。メッセージにはファイル、フォルダー、アドレスが示されます。ファイルを自分でダウンロードして、そのフォルダーに置いてください。network_unavailableモデルのダウンロード中に接続がありませんでした。オンラインでもう一度試してください。2つのファイルが揃えば、ネットワークは二度と必要ありません。internalその他のエラーで、キャンセルされたジョブも含みます。長い動画や高解像度の動画では、Resize factor を上げてください。クリップ全体がメモリに保持されます。
ライセンス
非商用利用に限ります。アドオンのコードは MIT ですが、ダウンロードされる Wav2Lip と SCRFD の重みは研究用および非商用利用のためのものです。そのライセンスを守ることは、利用者の責任です。
バージョン
- 0.1.0