F5-TTS (offline + voice clone)
動画のサンプルから各話者の声をクローンし、お使いのコンピューター上で英語または中国語で字幕を読み上げます。組み込みの声はありません。モデルは非商用利用に限られています。
設定 アドオン F5-TTS (offline + voice clone) インストール
Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。
- 言語
- 2
- モデル
- 2
- 音声
- 1
- アドオンのダウンロード
- 433–648 MB
- RAM(最低)
- 4 GB
機能
声は1つ、Custom voiceです。話者ごとに、動画から Subtitld が切り出したサンプルからコピーした声があります。6〜15秒の長さで最も良く動作します。
サンプルに文字起こしがない場合、F5-TTS は Whisper で文字起こしを作ります。初回は Whisper もダウンロードされます。その後はキャッシュされます。
モデルは英語と中国語の音声で学習されています。言語の設定はなく、各セリフを書かれたとおりに読み上げます。
最初のセリフは、モデルのダウンロードと読み込みを待ちます。それ以降は、アドオンが5分間使われなくなるまで、読み込まれたモデルを再利用します。
非商用のモデル。 F5-TTS の重みは CC-BY-NC-4.0 であり、商用利用は認められていません。アドオンのコードは MIT ですが、それが重みの条件を変えるわけではありません。商用の作業には、Qwen3-TTS も声のクローンに対応しており、その重みは Apache-2.0 です。
声
話者タブで、話者の吹き替えエンジンとして F5-TTS を選びます。その唯一のボイスは Custom voice です。各セリフはモデルが生成した長さのまま出力されます。話者の字幕に合わせて伸縮するには、吹き替えを字幕の長さに合わせるをオンにしてください。
音声 1 種.
クローン用のサンプル
Subtitld は、話者ごとにプロジェクトの音声からサンプルを切り出します:
- 3〜12秒の範囲で最も長い字幕。
- 該当するものがなければ、より長い字幕の最初の12秒。
- すべてが3秒未満の場合は、連続する複数の字幕を、3秒に達するまでつなぎ合わせたもの。
F5-TTS は6〜15秒のときに最も良く動作するため、各話者に少なくとも1つ、6〜12秒のセリフを用意してください。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Default voice reference は、サンプルを切り出せない場合(たとえば動画が開かれていない場合)にのみ使われます。
Subtitld は各話者のサンプルを保存し、音声ファイルが変わったときにだけ切り出し直します。話者のセリフのタイミングを調整した後は、そのサンプルを削除すると新しいものが作られます。サンプルの名前は話者名で終わります。
| システム | フォルダー |
|---|---|
| Linux | ~/.cache/subtitld/clone-refs |
| macOS | ~/Library/Caches/subtitld/clone-refs |
| Windows | %LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs |
モデル
どちらも、セリフを初めて生成するときにダウンロードされます。F5-TTS のモデルと、その出力を音声に変換する Vocos ボコーダーです。F5-TTS がサンプルを文字起こしする必要がある初回には、さらに Whisper もダウンロードされます。
| モデル | ダウンロード |
|---|---|
| f5-tts-v1-base | |
| vocos-mel-24khz |
オプション
アドオンは起動時にこれらを読み込むため、変更は5分間使われなかった後、または Subtitld を再起動した後に反映されます。例外は Skip auto-extracted reference transcript です。Subtitld はこれを、すべてのセリフで読み込みます。
設定 › アドオン › F5-TTS (offline + voice clone) › 設定 で変更できます。
cpuF5-TTS は読み込み時にデバイスを自分で選びます。アドオンはこの設定を渡しません。リリースされたビルドは PyTorch の CPU パッケージで作られています。
動画から話者のサンプルを取得できない場合(例:動画が開かれていない場合)にコピーするクリップです。動画からのサンプルが常に優先されます。6〜15秒を目安にしてください。
上のデフォルトクリップで話されている言葉です。字幕の文字起こしがないサンプル(動画からのものを含む)にアドオンが使用します。デフォルトのクリップを使う場合を除き、空欄のままにしてください。空欄の場合、F5-TTS が各サンプルを自分で文字起こしします。
オンにすると、字幕のテキストがサンプルの文字起こしとして渡されなくなります。F5-TTS は代わりに Whisper でサンプルを文字起こしします。字幕が話している内容を言い換えている場合に便利です。
言語
F5-TTS は言語を受け取りません。各セリフを書かれたとおりに読み上げます。ほかの言語のモデルも存在しますが、このアドオンでは読み込みません。
enzh-cn
プラットフォーム
| システム | ダウンロード | 動作確認 |
|---|---|---|
| Linux x86-64 | 647.8 MB | ビルドし、起動まで CI で確認 |
| macOS (ユニバーサル) | 433.8 MB | ビルドし、起動まで CI で確認 |
| Windows x86-64 | 433.2 MB | ビルドし、起動まで CI で確認 |
リリースは Linux、macOS、Windows でビルドされ、CI はプログラムが起動して声を表示することを確認します。CI では音声は生成しません。
トラブルシューティング
bad_params処理する対象がありません。字幕にテキストがないか、コピーするサンプルがありません。Subtitld はサンプルを切り出せませんでした(動画が開かれていないか、その話者の字幕がありません)。デフォルトのクリップも設定されていないか、そのクリップのファイルが移動されています。字幕にテキストを入力するか、動画を開くか、Default voice reference を既存のファイルに設定してください。internalモデルの読み込みまたはセリフの読み上げに失敗しました。メッセージに理由が示されます。初回使用時のダウンロードに失敗した場合もここに表示されます。接続とディスク空き容量を確認して、もう一度試してください。メッセージに ffmpeg と書かれている場合は、ffmpeg をインストールして PATH に通してください。F5-TTS がサンプルを読み取るのに必要です。
ライセンス
商用利用はできません。アドオンのコードは MIT ですが、重みの CC-BY-NC-4.0 ライセンスが商用利用を禁止しています。
バージョン
- 1.0.6
Automated release for f5-tts v1.0.6.
他の音声アドオン
-
Piper オフライン
49言語の158のオフライン音声。それぞれ別途の小さなダウンロード。
-
Kokoro オフライン
9言語の54のオフライン音声。すべて1つの 82 MB のモデルです。
-
Supertonic オフライン
10のオフライン音声。それぞれが31言語すべてを話せます。
-
sanoTTS オフライン
超軽量のオフライン音声。14言語28種、どれも 10 MB 未満です。
-
Parler-TTS オフライン
書かれた説明に従う英語の声。34の名前付き話者。
-
Qwen3-TTS クローン
10言語、9つの声、3秒の音声から話者をクローン。
-
Coqui XTTS クローン
16言語での声のクローン。モデルは非商用ライセンスです。