BlueTTS オフライン、音声クローン、ヘブライ語 + 6 言語
Maxim Melichov による BlueV3 を使い、字幕をヘブライ語、英語、ドイツ語、スペイン語、イタリア語、ロシア語、イディッシュ語で吹き替えます。声は、15種類の声のいずれか、または動画の約10秒からクローンした各話者自身の声です。お使いのコンピューターのプロセッサーで動作し、グラフィックスカードなしで実時間の3〜5倍の速さで話します。
設定 アドオン BlueTTS (offline, voice clone, Hebrew + 6 languages) インストール
Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。
- 言語
- 7
- モデル
- 5
- 音声
- 16
- アドオンのダウンロード
- 37–62 MB
- RAM(最低)
- 2.5 GB
機能
BlueTTS はまずヘブライ語のために作られました。母音記号のないヘブライ語のテキストを、数字、日付、価格も含めて読み、ヘブライ語のセリフの中の英単語は英語で読みます。イディッシュ語も話せます。これを話せる吹き替えエンジンはわずかです。
Subtitld は動画から各話者の約10秒を切り出し、セリフごとに一緒に送ります。BlueTTS はその声を、7言語のどれでもクローンします。15種類の声から選ぶこともできます。
ノートパソコンのプロセッサーで、実時間の3〜5倍の速さで話します。グラフィックスカードは使いません。
各部分は、セリフで初めて必要になったときに一度だけダウンロードされます。その後は、何もコンピューターの外に出ません。
インストールの前に
BlueTTS に必要なものは、吹き替える言語によって変わります:
- ディスク: モデル用に 428 MB。最初のセリフでダウンロードされます。ヘブライ語で 1.2 GB(コンパクトな読みモデルなら 312 MB)、イディッシュ語で 307 MB、話者自身の声で 136 MB が、それぞれ初めて使うときに加わります。
- メモリ: 話している間は約 700 MB、ヘブライ語を読み込むと約 2 GB。
- 時間: Intel Core i7-13700T では、音声1秒の生成に約5分の1秒、ヘブライ語では約3分の1秒かかります。最初のヘブライ語のセリフは、読みモデルの読み込みのため、さらに約15秒待ちます。
- プロセッサー: 64 ビットの Intel または AMD のプロセッサーならどれでも、または Apple Silicon。グラフィックスカードは使いません。
声
話者タブで、話者の吹き替えエンジンとして BlueTTS を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。
音声 16 種.
| 声 | |
|---|---|
| 女性 | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| 男性 | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
どの声も7言語すべてを話し、言語ごとにその声自身の自然な速さで話します。声は、LibriTTS-R オーディオブックコーパスの朗読者から作られました。
Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。字幕1つから、または短い字幕をいくつかつなげて作ります。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Fallback reference clip は、サンプルを切り出せない場合にのみ使われます。
BlueTTS はサンプルの最初の約9秒を聞き、声の音色と高さをまねます。話しかたはまねません。最適なサンプルは、マイクの近くで録った雑音のない音声です。雑音や反響があるとクローンは話者に似にくくなり、電話の録音からは電話越しのような声になります。
モデル
モデルと読みモデルはアドオンには含まれておらず、それぞれセリフで初めて必要になったときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもそれらは残ります。
| モデル | ダウンロード | 向いている用途 |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru 既定 bluev3 | すべてのセリフ:声と、英語、ドイツ語、スペイン語、イタリア語、ロシア語の読み方 | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | 話者自身の声、初めてその声で吹き替えるとき | |
| RenikudPlus Hebrew G2P renikudplus | ヘブライ語、初めて吹き替えるとき(既定) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | ヘブライ語、コンパクトな読みモデルを選んだとき | |
| ReNikud-yi Yiddish context model renikud-yi | イディッシュ語、初めて吹き替えるとき |
アドオンは、BlueTTS 自体のコードを PyTorch なしで ONNX Runtime 上で実行します。同じ声、セリフ、シードなら、BlueTTS 自体の Python パッケージとまったく同じ結果になります。
オプション
設定 › アドオン › BlueTTS (offline, voice clone, Hebrew + 6 languages) › 設定 で変更できます。
00 にすると、コンピューターの論理プロセッサー(最大8)を使います。増やしても速くなることはまれです。減らすと、吹き替え中もコンピューターが軽快に動きます。
8モデルが各セリフを処理する回数です。8 は BlueTTS 自体の設定です。4 にすると約1.7倍速くなり、品質はわずかに下がります。
accurateヘブライ語のテキストを音に変える方法です。accurate は完全なモデルで、1.2 GB、メモリは約 2 GB を使います。compact は同じモデルを小さくしたもので、312 MB です。私たちのテストでは、約200語に1語を違って読み、その多くは誤りでした。
Subtitld が動画からクリップを切り出せない場合(例:動画が開かれていない場合)に、クローン音声に使うクリップです。1人が話している約10秒の、雑音のない音声にしてください。電話の録音は避けてください。
言語
ヘブライ語、英語、ドイツ語、スペイン語、イタリア語、ロシア語、イディッシュ語。それ以外の言語のプロジェクトでは、その旨のメッセージが表示されます。その場合は別の吹き替えエンジンを選んでください。
スペイン語はプロジェクトの地域に従います。スペインならカスティーリャ語、それ以外の地域ならラテンアメリカのスペイン語になります。数字、日付、価格、コードは言葉として読まれますが、イディッシュ語は例外です。イディッシュ語の数字は言葉で書いてください。そうしないと、その旨のメッセージとともにセリフが拒否されます。
heendeesitruyi
プラットフォーム
| システム | ダウンロード | 動作確認 |
|---|---|---|
| Linux x86-64 | 61.7 MB | 実機で Subtitld のアドオンマネージャーを通して、また CI で、実際のモデルを使って吹き替え |
| macOS (Apple シリコン) | 43.8 MB | CI で実際のモデルを使って吹き替え(Apple Silicon) |
| Windows x86-64 | 37.3 MB | CI で実際のモデルを使って吹き替え |
Linux x86-64、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI が Subtitld と同じ方法でアドオンをインストールし、モデルをダウンロードして、すべての言語で1つずつセリフを吹き替えます。
トラブルシューティング
network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。disk_fullモデルに必要なディスク容量がありません。428 MB と、ヘブライ語、イディッシュ語、話者自身の声のためにさらに最大 1.7 GB が必要です。unsupported_languageプロジェクトの言語が7言語のどれでもないか、設定されていません。プロジェクトで言語を設定するか、別の吹き替えエンジンを選んでください。unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。bad_paramsセリフにテキストがないか、イディッシュ語のセリフに数字が含まれているか、クローンの声にサンプルがありません。動画を開くか、Fallback reference clip を設定してください。どれかはメッセージに表示されます。out_of_memoryコンピューターのメモリが不足しました。ほかのプログラムを閉じてください。BlueTTS には約 1 GB、ヘブライ語では 2.5 GB の空きが必要です。internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。
ライセンス
アドオンは Apache-2.0、BlueTTS のコードは MIT です。音声モデルも MIT ですが、ボコーダー(モデルの出力を音に変える部分)は例外で、Supertone の Supertonic-3 からファインチューニングされたもので、BigScience OpenRAIL-M ライセンスです。商用利用はできますが、OpenRAIL-M は生成物の一部の用途を禁じています。たとえば法律違反、人をだますこと、本人の同意なく他人になりすますことです。15種類の声は CC-BY-4.0 です。ドイツ語とイタリア語の辞書、イディッシュ語の辞書の一部は CC BY-SA で、モデルと一緒にダウンロードされ、作者が公開したままの形で使われます。
作成した吹き替えはあなたのものです。クローンした声は実在の人物のように聞こえます。使う権利のある声だけをクローンし、必要な場面では吹き替えが合成音声であることを明示してください。
バージョン
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
他の音声アドオン
-
Piper オフライン
49言語の158のオフライン音声。それぞれ別途の小さなダウンロード。
-
Kokoro オフライン
9言語の54のオフライン音声。すべて1つの 82 MB のモデルです。
-
Supertonic オフライン
10のオフライン音声。それぞれが31言語すべてを話せます。
-
sanoTTS オフライン
超軽量のオフライン音声。14言語28種、どれも 10 MB 未満です。
-
Parler-TTS オフライン
書かれた説明に従う英語の声。34の名前付き話者。
-
Qwen3-TTS クローン
10言語、9つの声、3秒の音声から話者をクローン。
-
Coqui XTTS クローン
16言語での声のクローン。モデルは非商用ライセンスです。
-
F5-TTS クローン
英語と中国語の声のクローンのみ。モデルは非商用です。
-
VoxCPM2 クローン
48 kHz で30言語。話者自身の声か、説明した声で。重量級。
-
Pocket TTS オフライン
高速で軽量、CPU のみ。ヨーロッパの7言語で23種類の声。
-
Sopro クローン
話者自身の声を、CPU で高速に。4言語。
-
KittenTTS 2 クローン
話者自身の声を16言語で、CPU で。重みは制限のあるライセンスです。
-
Ming-3.0-tts クローン
44.1 kHz で7言語。クローン、内蔵、説明した声で、感情も。重量級。
-
Scylla's Band オフライン
6言語で話す14の声。CPU で軽く、速く動きます。組み込みの声のみ。
-
Audio8 TTS クローン
話者自身の声を11言語で、広東語も。CPU では遅め。
-
Inflect オフライン
小さなモデルで自然な英語音声を、どの CPU でも高速に。
-
Paradee オフライン
アメリカ英語とイギリス英語の自然な4つの声を、8.5 MB のモデル1つで。
-
Chatterbox クローン
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…