Chatterbox オフライン、音声クローン、20 言語
Resemble AI の Chatterbox を使い、字幕を20言語で吹き替えます。声は、動画の数秒からクローンした各話者自身の声か、8種類の既製の声のいずれかです。クローンした声は、クリップが何語であっても、すべての言語を話します。お使いのコンピューターのプロセッサーで、グラフィックスカードなしにほぼ実時間の速さで動作します。
設定 アドオン Chatterbox (offline, voice clone, 20 languages) インストール
Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。
- 言語
- 20
- モデル
- 2
- 音声
- 9
- アドオンのダウンロード
- 39–62 MB
- RAM(最低)
- 2 GB
試聴
機能
Subtitld は動画から各話者の数秒を切り出し、セリフごとに一緒に送ります。Chatterbox はその声を20言語のどれでもクローンできるので、ポルトガル語を話す俳優をドイツ語で吹き替えても、本人らしい声のままです。
Multilingual は20言語すべてを話します。Turbo は英語のみですが、話者により近い声になり、メモリも少なくて済み、字幕に書いた [laugh] や [sigh] などのタグを読み取ります。
グラフィックスカードなしに、プロセッサーでほぼ実時間の速さで動作します。10秒のセリフなら約10秒です。
アドオンは Apache-2.0、Chatterbox とそのモデルは MIT です。既製の声は LibriVox の朗読者で、パブリックドメインです。
インストールの前に
- ディスク: 最初のセリフで、Multilingual は 1.3 GB、Turbo は 725 MB をダウンロードします。
- メモリ: 話している間、Multilingual で約 1.7 GB、Turbo で約 1 GB。
- プロセッサー: 64 ビットの Intel または AMD のプロセッサーならどれでも、または Apple Silicon。グラフィックスカードは使いません。
声のクローンは、その声の持ち主の同意がある場合だけにしてください。Chatterbox の公式ビルドは音声に聞こえない透かしを入れますが、このアドオンは入れません。そのため、クローンした声をどう使うかの責任はあなたにあります。
声
話者タブで、話者の吹き替えエンジンとして Chatterbox を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。
音声 9 種.
Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。字幕1つから、または短い字幕をいくつかつなげて作ります。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Fallback reference clip は、サンプルを切り出せない場合にのみ使われます。最適なサンプルは、音楽やほかの声がなく、その話者だけが話している5〜20秒の音声です。アドオンはその最初の10秒を使います。
| 既製の声 | |
|---|---|
| 女性 | 英語、ポルトガル語、フランス語、ドイツ語 |
| 男性 | 英語、ポルトガル語、フランス語、ドイツ語 |
既製の声はどれも、その言語で本を朗読する LibriVox のボランティアで、Sopro アドオンと同じ朗読者です。どの既製の声も20言語すべてを話します。声の元の言語はなまりに影響するだけなので、最も自然な吹き替えにするには、プロジェクトの言語に最も近い声を選んでください。
モデル
どちらのモデルもアドオンには含まれていません。使うモデルは、最初に吹き替えるときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。
| モデル | 言語 | ダウンロード | 向いている用途 |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) 既定 multilingual | | 20言語すべて。既定のモデル | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | 英語のみ:話者により近く、メモリが少なくて済み、[laugh]、[sigh]、[cough] を読み取ります |
アドオンは Chatterbox の ONNX エクスポート版を PyTorch なしで実行します。英語、ポルトガル語、フランス語、ドイツ語、スペイン語、イタリア語、ロシア語、ポーランド語の10文を、それぞれ2つの声からクローンして試したところ、Multilingual は単語の 2.4% を誤り、話者によく似た声でした。Turbo は英語で誤りがなく、さらに話者に近い声でした。
オプション
設定 › アドオン › Chatterbox (offline, voice clone, 20 languages) › 設定 で変更できます。
multilingualTurbo は英語しか話しません。Turbo を選んでいる場合、ほかの言語のセリフは Multilingual が話します。メモリに載るモデルは一度に1つだけです。
0.5Multilingual のみ:声にどれだけ感情を込めるか。0.5 は Chatterbox 自体の既定値です。高くするとより劇的になり、話す速さも上がりがちです。
00 にすると、コンピューターの論理プロセッサーの半分(最大8)を使います。スレッドを減らすと、吹き替え中もコンピューターが軽快に動きます。
Subtitld が動画からクリップを切り出せない場合(例:動画が開かれていない場合)に、クローン音声に使うクリップです。1人が話している5〜20秒の音声にしてください。
言語
アラビア語、デンマーク語、オランダ語、英語、フィンランド語、フランス語、ドイツ語、ギリシャ語、ヒンディー語、イタリア語、韓国語、マレー語、ノルウェー語、ポーランド語、ポルトガル語、ロシア語、スペイン語、スワヒリ語、スウェーデン語、トルコ語。それ以外の言語のプロジェクトでは、その旨のメッセージが表示されます。その場合は別の吹き替えエンジンを選んでください。
Chatterbox はヘブライ語、日本語、中国語にも対応していますが、このアドオンでは除外しています。ヘブライ語は母音記号を付けるために2つ目のモデルが必要で、日本語は同梱を許さないライセンスの変換ツールが必要で、中国語は私たちのテストで音声が崩れたためです。
大事な箇所では、数字や記号を言葉で書いてください。セリフは一度に読み上げられ、最長で40秒の音声になります。
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
プラットフォーム
| システム | ダウンロード | 動作確認 |
|---|---|---|
| Linux x86-64 | 62.5 MB | 実機と Subtitld 本体で、両方のモデルを使って吹き替え |
| macOS (Apple シリコン) | 43.7 MB | CI で、インストールしたアドオンがモデルをダウンロードして吹き替え(Apple Silicon) |
| Windows x86-64 | 38.7 MB | CI で、インストールしたアドオンがモデルをダウンロードして吹き替え |
Linux x86-64、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI が Subtitld と同じ方法でアドオンをインストールし、モデルをダウンロードして、それを使って吹き替えます。
トラブルシューティング
network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。disk_fullモデルに必要なディスク容量がありません。Multilingual は 1.3 GB、Turbo は 725 MB が必要です。unsupported_languageプロジェクトの言語が20言語のどれでもないか、設定されていません。プロジェクトで言語を設定するか、別の吹き替えエンジンを選んでください。unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。bad_paramsセリフにテキストがないか、クローンの声にサンプルがありません。動画を開くか、Fallback reference clip を設定してください。どちらかはメッセージに表示されます。out_of_memoryコンピューターのメモリが不足しました。ほかのプログラムを閉じるか、英語なら Turbo を選んでください。Turbo に必要なのは約 1 GB です。internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。
ライセンス
商用利用に問題ありません。アドオンは Apache-2.0、Chatterbox と両方のモデルは MIT です。既製の声は LibriVox の録音で、パブリックドメインです。英語の声は CC-BY-4.0 の LibriTTS-R を経由したもので、アドオンはそれぞれのクレジットを表示しています。作成した吹き替えはあなたのものです。
バージョン
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
他の音声アドオン
-
Piper オフライン
49言語の158のオフライン音声。それぞれ別途の小さなダウンロード。
-
Kokoro オフライン
9言語の54のオフライン音声。すべて1つの 82 MB のモデルです。
-
Supertonic オフライン
10のオフライン音声。それぞれが31言語すべてを話せます。
-
sanoTTS オフライン
超軽量のオフライン音声。14言語28種、どれも 10 MB 未満です。
-
Parler-TTS オフライン
書かれた説明に従う英語の声。34の名前付き話者。
-
Qwen3-TTS クローン
10言語、9つの声、3秒の音声から話者をクローン。
-
Coqui XTTS クローン
16言語での声のクローン。モデルは非商用ライセンスです。
-
F5-TTS クローン
英語と中国語の声のクローンのみ。モデルは非商用です。
-
VoxCPM2 クローン
48 kHz で30言語。話者自身の声か、説明した声で。重量級。
-
Pocket TTS オフライン
高速で軽量、CPU のみ。ヨーロッパの7言語で23種類の声。
-
Sopro クローン
話者自身の声を、CPU で高速に。4言語。
-
KittenTTS 2 クローン
話者自身の声を16言語で、CPU で。重みは制限のあるライセンスです。
-
Ming-3.0-tts クローン
44.1 kHz で7言語。クローン、内蔵、説明した声で、感情も。重量級。
-
Scylla's Band オフライン
6言語で話す14の声。CPU で軽く、速く動きます。組み込みの声のみ。
-
Audio8 TTS クローン
話者自身の声を23言語で、広東語やアラビア語も。CPU では遅め。
-
Inflect オフライン
小さなモデルで自然な英語音声を、どの CPU でも高速に。
-
Paradee オフライン
アメリカ英語とイギリス英語の自然な4つの声を、8.5 MB のモデル1つで。
-
BlueTTS クローン
ヘブライ語とイディッシュ語に、さらに5言語。話者自身の声を、CPU で高速に。
-
ZONOS3-Mini クローン
アラビア語からベトナム語まで43言語。話者自身の声を、CPU で。
-
Reverb クローン
ヨーロッパの7言語と話者自身の声を、CPU で。モデルは非商用です。
-
OmniVoice クローン
646言語。話者自身の声を言語を越えて。モデルは非商用です。
-
VoxMel クローン
英語と標準中国語。話者自身の声を忠実にクローン。
-
tiny-voca オフライン
パラメーター数 450 万のモデルによるアメリカ英語の2つの声。ダウンロード不要。