BlueTTS オフライン、音声クローン、ヘブライ語 + 6 言語

音声オフラインCPU のみ音声クローン商用利用可

Maxim Melichov による BlueV3 を使い、字幕をヘブライ語、英語、ドイツ語、スペイン語、イタリア語、ロシア語、イディッシュ語で吹き替えます。声は、15種類の声のいずれか、または動画の約10秒からクローンした各話者自身の声です。お使いのコンピューターのプロセッサーで動作し、グラフィックスカードなしで実時間の3〜5倍の速さで話します。

Subtitld からインストール

設定 アドオン BlueTTS (offline, voice clone, Hebrew + 6 languages) インストール

Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。

GitHub のソース
言語
7
モデル
5
音声
16
アドオンのダウンロード
37–62 MB
RAM(最低)
2.5 GB

機能

ヘブライ語とイディッシュ語

BlueTTS はまずヘブライ語のために作られました。母音記号のないヘブライ語のテキストを、数字、日付、価格も含めて読み、ヘブライ語のセリフの中の英単語は英語で読みます。イディッシュ語も話せます。これを話せる吹き替えエンジンはわずかです。

話者自身の声

Subtitld は動画から各話者の約10秒を切り出し、セリフごとに一緒に送ります。BlueTTS はその声を、7言語のどれでもクローンします。15種類の声から選ぶこともできます。

どのコンピューターでも高速

ノートパソコンのプロセッサーで、実時間の3〜5倍の速さで話します。グラフィックスカードは使いません。

最初のセリフのあとはオフライン

各部分は、セリフで初めて必要になったときに一度だけダウンロードされます。その後は、何もコンピューターの外に出ません。

インストールの前に

BlueTTS に必要なものは、吹き替える言語によって変わります:

  • ディスク: モデル用に 428 MB。最初のセリフでダウンロードされます。ヘブライ語で 1.2 GB(コンパクトな読みモデルなら 312 MB)、イディッシュ語で 307 MB、話者自身の声で 136 MB が、それぞれ初めて使うときに加わります。
  • メモリ: 話している間は約 700 MB、ヘブライ語を読み込むと約 2 GB。
  • 時間: Intel Core i7-13700T では、音声1秒の生成に約5分の1秒、ヘブライ語では約3分の1秒かかります。最初のヘブライ語のセリフは、読みモデルの読み込みのため、さらに約15秒待ちます。
  • プロセッサー: 64 ビットの Intel または AMD のプロセッサーならどれでも、または Apple Silicon。グラフィックスカードは使いません。

声

話者タブで、話者の吹き替えエンジンとして BlueTTS を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。

音声 16 種.

声
女性 Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
男性 Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

どの声も7言語すべてを話し、言語ごとにその声自身の自然な速さで話します。声は、LibriTTS-R オーディオブックコーパスの朗読者から作られました。

Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。字幕1つから、または短い字幕をいくつかつなげて作ります。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Fallback reference clip は、サンプルを切り出せない場合にのみ使われます。

BlueTTS はサンプルの最初の約9秒を聞き、声の音色と高さをまねます。話しかたはまねません。最適なサンプルは、マイクの近くで録った雑音のない音声です。雑音や反響があるとクローンは話者に似にくくなり、電話の録音からは電話越しのような声になります。

モデル

モデルと読みモデルはアドオンには含まれておらず、それぞれセリフで初めて必要になったときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもそれらは残ります。

モデル ダウンロード向いている用途
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru 既定 bluev3
428 MB
すべてのセリフ:声と、英語、ドイツ語、スペイン語、イタリア語、ロシア語の読み方
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
話者自身の声、初めてその声で吹き替えるとき
RenikudPlus Hebrew G2P renikudplus
1.2 GB
ヘブライ語、初めて吹き替えるとき(既定)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
ヘブライ語、コンパクトな読みモデルを選んだとき
ReNikud-yi Yiddish context model renikud-yi
307 MB
イディッシュ語、初めて吹き替えるとき

アドオンは、BlueTTS 自体のコードを PyTorch なしで ONNX Runtime 上で実行します。同じ声、セリフ、シードなら、BlueTTS 自体の Python パッケージとまったく同じ結果になります。

オプション

設定 › アドオン › BlueTTS (offline, voice clone, Hebrew + 6 languages) › 設定 で変更できます。

CPU threads
既定値: 0

0 にすると、コンピューターの論理プロセッサー(最大8)を使います。増やしても速くなることはまれです。減らすと、吹き替え中もコンピューターが軽快に動きます。

Quality steps
既定値: 8

モデルが各セリフを処理する回数です。8 は BlueTTS 自体の設定です。4 にすると約1.7倍速くなり、品質はわずかに下がります。

Hebrew reading model
既定値: accurate

ヘブライ語のテキストを音に変える方法です。accurate は完全なモデルで、1.2 GB、メモリは約 2 GB を使います。compact は同じモデルを小さくしたもので、312 MB です。私たちのテストでは、約200語に1語を違って読み、その多くは誤りでした。

Fallback reference clip
既定値: 空

Subtitld が動画からクリップを切り出せない場合(例:動画が開かれていない場合)に、クローン音声に使うクリップです。1人が話している約10秒の、雑音のない音声にしてください。電話の録音は避けてください。

言語

ヘブライ語、英語、ドイツ語、スペイン語、イタリア語、ロシア語、イディッシュ語。それ以外の言語のプロジェクトでは、その旨のメッセージが表示されます。その場合は別の吹き替えエンジンを選んでください。

スペイン語はプロジェクトの地域に従います。スペインならカスティーリャ語、それ以外の地域ならラテンアメリカのスペイン語になります。数字、日付、価格、コードは言葉として読まれますが、イディッシュ語は例外です。イディッシュ語の数字は言葉で書いてください。そうしないと、その旨のメッセージとともにセリフが拒否されます。

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

プラットフォーム

システム ダウンロード動作確認
Linux x86-64 61.7 MB実機で Subtitld のアドオンマネージャーを通して、また CI で、実際のモデルを使って吹き替え
macOS (Apple シリコン) 43.8 MBCI で実際のモデルを使って吹き替え(Apple Silicon)
Windows x86-64 37.3 MBCI で実際のモデルを使って吹き替え

Linux x86-64、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI が Subtitld と同じ方法でアドオンをインストールし、モデルをダウンロードして、すべての言語で1つずつセリフを吹き替えます。

トラブルシューティング

  • network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。
  • disk_fullモデルに必要なディスク容量がありません。428 MB と、ヘブライ語、イディッシュ語、話者自身の声のためにさらに最大 1.7 GB が必要です。
  • unsupported_languageプロジェクトの言語が7言語のどれでもないか、設定されていません。プロジェクトで言語を設定するか、別の吹き替えエンジンを選んでください。
  • unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。
  • bad_paramsセリフにテキストがないか、イディッシュ語のセリフに数字が含まれているか、クローンの声にサンプルがありません。動画を開くか、Fallback reference clip を設定してください。どれかはメッセージに表示されます。
  • out_of_memoryコンピューターのメモリが不足しました。ほかのプログラムを閉じてください。BlueTTS には約 1 GB、ヘブライ語では 2.5 GB の空きが必要です。
  • internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。

ライセンス

アドオン
Apache-2.0
エンジン
MIT
BlueTTS(Maxim Melichov 製)。ONNX Runtime は MIT
モデル
MIT, BigScience OpenRAIL-M
BlueV3 の重み。ボコーダーは Supertone の Supertonic-3 からファインチューニングされたもので、OpenRAIL-M、使用制限あり
声
CC-BY-4.0
LibriTTS-R の話者から作成
読みモデル
Apache-2.0, MIT, CC BY-SA
RenikudPlus(ヘブライ語)、polyg2p。ドイツ語とイタリア語の辞書、イディッシュ語の辞書の一部は CC BY-SA

アドオンは Apache-2.0、BlueTTS のコードは MIT です。音声モデルも MIT ですが、ボコーダー(モデルの出力を音に変える部分)は例外で、Supertone の Supertonic-3 からファインチューニングされたもので、BigScience OpenRAIL-M ライセンスです。商用利用はできますが、OpenRAIL-M は生成物の一部の用途を禁じています。たとえば法律違反、人をだますこと、本人の同意なく他人になりすますことです。15種類の声は CC-BY-4.0 です。ドイツ語とイタリア語の辞書、イディッシュ語の辞書の一部は CC BY-SA で、モデルと一緒にダウンロードされ、作者が公開したままの形で使われます。

作成した吹き替えはあなたのものです。クローンした声は実在の人物のように聞こえます。使う権利のある声だけをクローンし、必要な場面では吹き替えが合成音声であることを明示してください。

バージョン

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

他の音声アドオン