動画から数秒取り出した各話者の声をクローンし、お使いのコンピューター上で16言語で字幕を読み上げます。このモデルは非商用利用に限り無料です。

機能

動画からクローン

Custom voiceを選ぶと、Subtitld は動画から切り出した数秒のその話者の音声をモデルに渡します。6秒以上のときに最も良く動作します。

組み込みの声2つ

XTTS female 1 と XTTS male 1。クローンしない話者に使えます。

16言語

プロジェクトの言語で話します。言語が設定されていない場合は、英語で話します。

一度だけ読み込む

最初のセリフはモデルの読み込みを待ち、初回はダウンロードも待ちます。それ以降のセリフは読み込まれたモデルを再利用します。CPU では、長い文に30秒ほどかかることがあります。

非商用のモデル。 XTTS-v2 の重みは Coqui Public Model License（CPML）のもとにあり、非商用利用は無料ですが、それ以外の用途には Coqui からの有料ライセンスが必要です。アドオンは、モデルを読み込むときに Coqui の利用規約への同意を自動で処理するため、表示されません。ただし、利用規約は同様に適用されます。

声

話者タブで、話者の吹き替えエンジンとして Coqui XTTS を選び、ボイスを選びます。Custom voiceは一覧の先頭にあります。各セリフはモデルが生成した長さのまま出力されます。話者の字幕に合わせて伸縮するには、吹き替えを字幕の長さに合わせるをオンにしてください。

音声 3 種 1 言語.

en 2

クローン用のサンプル

話者のボイスが Custom voice の場合、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します：

3〜12秒の範囲で最も長い字幕。
該当するものがなければ、より長い字幕の最初の12秒。
すべてが3秒未満の場合は、連続する複数の字幕を、3秒に達するまでつなぎ合わせたもの。

XTTS は6秒以上のときに最も良く動作するため、各話者に少なくとも1つ、6〜12秒のセリフを用意してください。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Default voice reference は、サンプルを切り出せない場合（たとえば動画が開かれていない場合）にのみ使われます。

Subtitld は各話者のサンプルを保存し、音声ファイルが変わったときにだけ切り出し直します。話者のセリフのタイミングを調整した後は、そのサンプルを削除すると新しいものが作られます。サンプルの名前は話者名で終わります。

システム	フォルダー
Linux	`~/.cache/subtitld/clone-refs`
macOS	`~/Library/Caches/subtitld/clone-refs`
Windows	`%LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs`

モデル

モデルは1つで、セリフを初めて生成するときにダウンロードされます。その横にある2つの小さなファイルは、設定と語彙です。アドオンは、5分間使われなくなるまでモデルを読み込んだままにします。

モデル	ダウンロード
xtts_v2	1.9 GB
xtts_v2_config	1 MB
xtts_v2_vocab	1 MB

オプション

アドオンは起動時にこれらを読み込むため、変更は5分間使われなかった後、または Subtitld を再起動した後に反映されます。

設定 › アドオン › Coqui XTTS-v2 (offline + voice clone) › 設定で変更できます。

Inference device

既定値： cpu

CPU のままにしてください。リリースされたビルドは PyTorch の CPU パッケージで作られているため、CUDA では動作しません。MPS はベータ版として表示されています。

Default voice reference (6+ seconds, mono WAV recommended)

既定値：空

動画から話者のサンプルを取得できない場合（例：動画が開かれていない場合）にコピーするクリップです。動画からのサンプルが常に優先されます。これが設定されている間は、組み込みの2つの声もこのクリップをコピーします。

言語

アドオンはプロジェクトの言語を地域なしでモデルに渡します。言語が設定されていない場合は、英語で話します。

en
es
fr
de
it
pt
pl
tr
ru
nl
cs
ar
zh-cn
ja
hu
ko

プラットフォーム

システム	ダウンロード	動作確認
Linux x86-64	442.7 MB	ビルドし、起動まで CI で確認
macOS (ユニバーサル)	323.1 MB	ビルドし、起動まで CI で確認
Windows x86-64	302.2 MB	ビルドし、起動まで CI で確認

リリースは Linux、macOS、Windows でビルドされ、CI はプログラムが起動して声の一覧を表示することを確認します。CI では音声は生成しません。

トラブルシューティング

bad_params字幕にテキストがないか、クローンのサンプルがありません。Subtitld はサンプルを切り出せませんでした（動画が開かれていないか、その話者の字幕がありません）。デフォルトのクリップも設定されていません。字幕にテキストを入力するか、動画を開くか、Default voice referenceを設定してください。
internalモデルの読み込みまたはセリフの読み上げに失敗しました。メッセージに理由が示されます。初回使用時のダウンロードに失敗した場合もここに表示されます。接続とディスク空き容量を確認して、もう一度試してください。また、プロジェクトの言語が上記の対応言語のいずれかであるか確認してください。

ライセンス

アドオン

MIT

エンジン

MPL-2.0

coqui-ai-TTS（idiap フォーク）

モデル

CPML

XTTS-v2 の重み。Coqui のライセンスがない場合は非商用

XTTS-v2 の重みについて Coqui から商用ライセンスを得ていない限り、商用利用はできません。アドオン自身のコードは MIT です。

Coqui XTTS (offline + voice clone)

機能

声