音声分離 (UVR / MDX / Demucs)
UVR、MDX-Net、BS-Roformer、Demucs のモデルを使い、動画の音声を声と背景に分離します。お使いのコンピューター上で動作します。Subtitld 内蔵の ffmpeg 分離機能はステレオの仕組みを利用していますが、これはその代替です。各モデルは、初めて使うときに一度だけダウンロードされます。
設定 アドオン audio-separator (UVR / MDX / Demucs) インストール
Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。
- モデル
- 5
- アドオンのダウンロード
- 295–432 MB
- RAM(最低)
- 4 GB
機能
どのモデルも、Subtitld には2つのファイルを渡します。声と、それ以外のすべてです。Demucs はドラム、ベース、その他に分けます。アドオンはそれらをまとめて1つの背景に戻します。
Include background audioを付けて音声を書き出すと、吹き替えは背景の上に重ねられます。ステレオのままなので、音楽や環境音の広がりは保たれます。
声のクローンアドオンが話者のサンプルを必要とするとき、Subtitld は声のファイルからそれを切り出します。そのため、音楽はサンプルに含まれません。
Subtitld は、動画を開いたときに分離を行い、両方のファイルを保存します。そのため、プロジェクトを開き直すと、それらが再利用されます。
全体設定 › 一般 › 音声分離 で選択します。内蔵の ffmpeg 分離機能も一覧に残ります。
モデル
既定の Kim Inst から始めてください。分離の質が所要時間より重要な場合は BS-Roformer を試してください。Karaoke 2 はメインの声だけを残し、コーラスは音楽に含めます。Demucs は4つのステムで処理し、アドオンがそれらを1つの背景にまとめ直します。
| モデル | ダウンロード | 向いている用途 |
|---|---|---|
| Kim_Inst.onnx Kim_Inst.onnx | 声とそれ以外のすべての分離。既定 | |
| UVR-MDX-NET-Inst_HQ_3.onnx UVR-MDX-NET-Inst_HQ_3.onnx | 速くバランスの取れた分離 | |
| UVR_MDXNET_KARA_2.onnx UVR_MDXNET_KARA_2.onnx | メインの声のみ。コーラスは音楽に含まれる | |
| model_bs_roformer_ep_317_sdr_12.9755.ckpt | 最良の分離。時間に余裕があるとき | |
| htdemucs_ft.yaml | 4つのステムに分け、2つにまとめ直す |
各モデルは、初めて使うときにダウンロードされます。Subtitld は、分離したすべての動画のステムを保存して再利用するため、別のモデルは、まだ分離されていない動画にのみ適用されます。やり直すには、Subtitld のキャッシュにある audioseparation フォルダーから該当するファイルを削除してください。
モデルの保存場所
アドオンの外にある専用のフォルダーに保存されるため、再インストールやアップデートをしても再ダウンロードは不要です。別の場所に保存するには、Subtitld を起動する前に AUDIO_SEPARATOR_MODEL_DIR を設定してください。
| システム | フォルダー |
|---|---|
| Linux | ~/.cache/subtitld/addons/audio-separator/models |
| macOS | ~/Library/Caches/subtitld/addons/audio-separator/models |
| Windows | %LOCALAPPDATA%\subtitld\subtitld\Cache\addons\audio-separator\models |
オプション
設定 › アドオン › audio-separator (UVR / MDX / Demucs) › 設定 で変更できます。
Kim_Inst.onnx使用するモデル。上の表を参照してください。
cpuCPU はどの環境でも動作します。リリースされたビルドには CUDA ランタイムが含まれないため、CUDA を選んでも NVIDIA のカードは使われません。
FLACプラットフォーム
| システム | ダウンロード | 動作確認 |
|---|---|---|
| Linux x86-64 | 432.4 MB | CI で起動確認のみ |
| macOS (ユニバーサル) | 312.2 MB | CI で起動確認のみ |
| Windows x86-64 | 295.5 MB | CI で起動確認のみ |
CI では、各ビルドが Subtitld に応答することを確認するため1度起動されます。そこでは分離は実行されません。
トラブルシューティング
Subtitld はまだ分離のエラーを表示しません。分離が失敗すると、音楽/ボイスのコントロールはオフのままになり、音声を書き出すときに Include background audio はグレーアウトしたままになります。まず次を確認してください:
- PATH 上の ffmpeg。 アドオンは、動画の音声を読み取り、両方のステムを変換するために、PATH にある
ffmpegを呼び出します。Subtitld 内部のコピーは使いません。そのコピーは Windows と macOS では PATH に通っていないためです。ターミナルから実行できるように ffmpeg をインストールしてください。 - 初回使用時の接続。 各モデルは、初めて使うときにダウンロードされます。
ライセンス
アドオンと python-audio-separator は MIT です。各モデルには独自のライセンスがありますが、アドオンではそれらを記載していません。カタログには、UVR と MDX の一部のモデルが非商用に限られていると記載されています。そのため、商用利用の前にモデルのカードを確認してください。
バージョン
- 0.0.5
Automated release for audio-separator v0.0.5.