音声分離 (UVR / MDX / Demucs)

オーディオオフラインGPU は任意一部のモデルは非商用

UVR、MDX-Net、BS-Roformer、Demucs のモデルを使い、動画の音声を声と背景に分離します。お使いのコンピューター上で動作します。Subtitld 内蔵の ffmpeg 分離機能はステレオの仕組みを利用していますが、これはその代替です。各モデルは、初めて使うときに一度だけダウンロードされます。

Subtitld からインストール

設定 アドオン audio-separator (UVR / MDX / Demucs) インストール

Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。

GitHub のソース
モデル
5
アドオンのダウンロード
295–432 MB
RAM(最低)
4 GB

機能

声と背景

どのモデルも、Subtitld には2つのファイルを渡します。声と、それ以外のすべてです。Demucs はドラム、ベース、その他に分けます。アドオンはそれらをまとめて1つの背景に戻します。

元の音声に吹き替えを重ねる

Include background audioを付けて音声を書き出すと、吹き替えは背景の上に重ねられます。ステレオのままなので、音楽や環境音の広がりは保たれます。

クローン用の声

声のクローンアドオンが話者のサンプルを必要とするとき、Subtitld は声のファイルからそれを切り出します。そのため、音楽はサンプルに含まれません。

動画ごとに一度

Subtitld は、動画を開いたときに分離を行い、両方のファイルを保存します。そのため、プロジェクトを開き直すと、それらが再利用されます。

全体設定 › 一般 › 音声分離 で選択します。内蔵の ffmpeg 分離機能も一覧に残ります。

モデル

既定の Kim Inst から始めてください。分離の質が所要時間より重要な場合は BS-Roformer を試してください。Karaoke 2 はメインの声だけを残し、コーラスは音楽に含めます。Demucs は4つのステムで処理し、アドオンがそれらを1つの背景にまとめ直します。

モデル ダウンロード向いている用途
Kim_Inst.onnx Kim_Inst.onnx
67 MB
声とそれ以外のすべての分離。既定
UVR-MDX-NET-Inst_HQ_3.onnx UVR-MDX-NET-Inst_HQ_3.onnx
64 MB
速くバランスの取れた分離
UVR_MDXNET_KARA_2.onnx UVR_MDXNET_KARA_2.onnx
64 MB
メインの声のみ。コーラスは音楽に含まれる
model_bs_roformer_ep_317_sdr_12.9755.ckpt
396 MB
最良の分離。時間に余裕があるとき
htdemucs_ft.yaml
320 MB
4つのステムに分け、2つにまとめ直す

各モデルは、初めて使うときにダウンロードされます。Subtitld は、分離したすべての動画のステムを保存して再利用するため、別のモデルは、まだ分離されていない動画にのみ適用されます。やり直すには、Subtitld のキャッシュにある audioseparation フォルダーから該当するファイルを削除してください。

モデルの保存場所

アドオンの外にある専用のフォルダーに保存されるため、再インストールやアップデートをしても再ダウンロードは不要です。別の場所に保存するには、Subtitld を起動する前に AUDIO_SEPARATOR_MODEL_DIR を設定してください。

システム フォルダー
Linux ~/.cache/subtitld/addons/audio-separator/models
macOS ~/Library/Caches/subtitld/addons/audio-separator/models
Windows %LOCALAPPDATA%\subtitld\subtitld\Cache\addons\audio-separator\models

オプション

設定 › アドオン › audio-separator (UVR / MDX / Demucs) › 設定 で変更できます。

Separation model
既定値: Kim_Inst.onnx

使用するモデル。上の表を参照してください。

Inference device
既定値: cpu

CPU はどの環境でも動作します。リリースされたビルドには CUDA ランタイムが含まれないため、CUDA を選んでも NVIDIA のカードは使われません。

Output format
既定値: FLAC

プラットフォーム

システム ダウンロード動作確認
Linux x86-64 432.4 MBCI で起動確認のみ
macOS (ユニバーサル) 312.2 MBCI で起動確認のみ
Windows x86-64 295.5 MBCI で起動確認のみ

CI では、各ビルドが Subtitld に応答することを確認するため1度起動されます。そこでは分離は実行されません。

トラブルシューティング

Subtitld はまだ分離のエラーを表示しません。分離が失敗すると、音楽/ボイスのコントロールはオフのままになり、音声を書き出すときに Include background audio はグレーアウトしたままになります。まず次を確認してください:

  • PATH 上の ffmpeg。 アドオンは、動画の音声を読み取り、両方のステムを変換するために、PATH にある ffmpeg を呼び出します。Subtitld 内部のコピーは使いません。そのコピーは Windows と macOS では PATH に通っていないためです。ターミナルから実行できるように ffmpeg をインストールしてください。
  • 初回使用時の接続。 各モデルは、初めて使うときにダウンロードされます。

ライセンス

アドオン
MIT
エンジン
MIT
python-audio-separator
モデル
モデルごと
各モデルに独自のライセンスがあります。モデルのカードを確認してください

アドオンと python-audio-separator は MIT です。各モデルには独自のライセンスがありますが、アドオンではそれらを記載していません。カタログには、UVR と MDX の一部のモデルが非商用に限られていると記載されています。そのため、商用利用の前にモデルのカードを確認してください。

バージョン

  • 0.0.5

    Automated release for audio-separator v0.0.5.