Chatterbox オフライン、音声クローン、20 言語

音声オフラインCPU のみ音声クローン商用利用可

Resemble AI の Chatterbox を使い、字幕を20言語で吹き替えます。声は、動画の数秒からクローンした各話者自身の声か、8種類の既製の声のいずれかです。クローンした声は、クリップが何語であっても、すべての言語を話します。お使いのコンピューターのプロセッサーで、グラフィックスカードなしにほぼ実時間の速さで動作します。

Subtitld からインストール

設定 アドオン Chatterbox (offline, voice clone, 20 languages) インストール

Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。

GitHub のソース
言語
20
モデル
2
音声
9
アドオンのダウンロード
39–62 MB
RAM(最低)
2 GB

試聴

機能

話者自身の声で、別の言語に

Subtitld は動画から各話者の数秒を切り出し、セリフごとに一緒に送ります。Chatterbox はその声を20言語のどれでもクローンできるので、ポルトガル語を話す俳優をドイツ語で吹き替えても、本人らしい声のままです。

2つのモデル

Multilingual は20言語すべてを話します。Turbo は英語のみですが、話者により近い声になり、メモリも少なくて済み、字幕に書いた [laugh] や [sigh] などのタグを読み取ります。

どのコンピューターでも

グラフィックスカードなしに、プロセッサーでほぼ実時間の速さで動作します。10秒のセリフなら約10秒です。

商用利用も無料

アドオンは Apache-2.0、Chatterbox とそのモデルは MIT です。既製の声は LibriVox の朗読者で、パブリックドメインです。

インストールの前に

  • ディスク: 最初のセリフで、Multilingual は 1.3 GB、Turbo は 725 MB をダウンロードします。
  • メモリ: 話している間、Multilingual で約 1.7 GB、Turbo で約 1 GB。
  • プロセッサー: 64 ビットの Intel または AMD のプロセッサーならどれでも、または Apple Silicon。グラフィックスカードは使いません。

声のクローンは、その声の持ち主の同意がある場合だけにしてください。Chatterbox の公式ビルドは音声に聞こえない透かしを入れますが、このアドオンは入れません。そのため、クローンした声をどう使うかの責任はあなたにあります。

声

話者タブで、話者の吹き替えエンジンとして Chatterbox を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。

音声 9 種.

Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。字幕1つから、または短い字幕をいくつかつなげて作ります。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Fallback reference clip は、サンプルを切り出せない場合にのみ使われます。最適なサンプルは、音楽やほかの声がなく、その話者だけが話している5〜20秒の音声です。アドオンはその最初の10秒を使います。

既製の声
女性 英語、ポルトガル語、フランス語、ドイツ語
男性 英語、ポルトガル語、フランス語、ドイツ語

既製の声はどれも、その言語で本を朗読する LibriVox のボランティアで、Sopro アドオンと同じ朗読者です。どの既製の声も20言語すべてを話します。声の元の言語はなまりに影響するだけなので、最も自然な吹き替えにするには、プロジェクトの言語に最も近い声を選んでください。

モデル

どちらのモデルもアドオンには含まれていません。使うモデルは、最初に吹き替えるときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。

モデル言語 ダウンロード向いている用途
Chatterbox Multilingual (0.5B, 4-bit ONNX) 既定 multilingual
1.3 GB
20言語すべて。既定のモデル
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
英語のみ:話者により近く、メモリが少なくて済み、[laugh]、[sigh]、[cough] を読み取ります

アドオンは Chatterbox の ONNX エクスポート版を PyTorch なしで実行します。英語、ポルトガル語、フランス語、ドイツ語、スペイン語、イタリア語、ロシア語、ポーランド語の10文を、それぞれ2つの声からクローンして試したところ、Multilingual は単語の 2.4% を誤り、話者によく似た声でした。Turbo は英語で誤りがなく、さらに話者に近い声でした。

オプション

設定 › アドオン › Chatterbox (offline, voice clone, 20 languages) › 設定 で変更できます。

Model
既定値: multilingual

Turbo は英語しか話しません。Turbo を選んでいる場合、ほかの言語のセリフは Multilingual が話します。メモリに載るモデルは一度に1つだけです。

Expressiveness
既定値: 0.5

Multilingual のみ:声にどれだけ感情を込めるか。0.5 は Chatterbox 自体の既定値です。高くするとより劇的になり、話す速さも上がりがちです。

CPU threads
既定値: 0

0 にすると、コンピューターの論理プロセッサーの半分(最大8)を使います。スレッドを減らすと、吹き替え中もコンピューターが軽快に動きます。

Fallback reference clip
既定値: 空

Subtitld が動画からクリップを切り出せない場合(例:動画が開かれていない場合)に、クローン音声に使うクリップです。1人が話している5〜20秒の音声にしてください。

言語

アラビア語、デンマーク語、オランダ語、英語、フィンランド語、フランス語、ドイツ語、ギリシャ語、ヒンディー語、イタリア語、韓国語、マレー語、ノルウェー語、ポーランド語、ポルトガル語、ロシア語、スペイン語、スワヒリ語、スウェーデン語、トルコ語。それ以外の言語のプロジェクトでは、その旨のメッセージが表示されます。その場合は別の吹き替えエンジンを選んでください。

Chatterbox はヘブライ語、日本語、中国語にも対応していますが、このアドオンでは除外しています。ヘブライ語は母音記号を付けるために2つ目のモデルが必要で、日本語は同梱を許さないライセンスの変換ツールが必要で、中国語は私たちのテストで音声が崩れたためです。

大事な箇所では、数字や記号を言葉で書いてください。セリフは一度に読み上げられ、最長で40秒の音声になります。

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

プラットフォーム

システム ダウンロード動作確認
Linux x86-64 62.5 MB実機と Subtitld 本体で、両方のモデルを使って吹き替え
macOS (Apple シリコン) 43.7 MBCI で、インストールしたアドオンがモデルをダウンロードして吹き替え(Apple Silicon)
Windows x86-64 38.7 MBCI で、インストールしたアドオンがモデルをダウンロードして吹き替え

Linux x86-64、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI が Subtitld と同じ方法でアドオンをインストールし、モデルをダウンロードして、それを使って吹き替えます。

トラブルシューティング

  • network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。
  • disk_fullモデルに必要なディスク容量がありません。Multilingual は 1.3 GB、Turbo は 725 MB が必要です。
  • unsupported_languageプロジェクトの言語が20言語のどれでもないか、設定されていません。プロジェクトで言語を設定するか、別の吹き替えエンジンを選んでください。
  • unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。
  • bad_paramsセリフにテキストがないか、クローンの声にサンプルがありません。動画を開くか、Fallback reference clip を設定してください。どちらかはメッセージに表示されます。
  • out_of_memoryコンピューターのメモリが不足しました。ほかのプログラムを閉じるか、英語なら Turbo を選んでください。Turbo に必要なのは約 1 GB です。
  • internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。

ライセンス

アドオン
Apache-2.0
エンジン
MIT
Chatterbox(Resemble AI 製)。ONNX Runtime は MIT
モデル
MIT
Chatterbox Multilingual と Turbo の重み(ONNX エクスポート版)
既製の声
Public domain, CC-BY-4.0
LibriVox の朗読者。英語の声は LibriTTS-R 経由

商用利用に問題ありません。アドオンは Apache-2.0、Chatterbox と両方のモデルは MIT です。既製の声は LibriVox の録音で、パブリックドメインです。英語の声は CC-BY-4.0 の LibriTTS-R を経由したもので、アドオンはそれぞれのクレジットを表示しています。作成した吹き替えはあなたのものです。

バージョン

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

他の音声アドオン