Reverb オフライン、音声クローン、7 言語、非商用

音声オフラインCPU のみ音声クローン非商用

Software Mansion AI Labs による Reverb-TTS を使い、字幕を英語、ドイツ語、フランス語、スペイン語、イタリア語、ポーランド語、ポルトガル語で吹き替えます。声は、16種類の声のいずれか、または動画の数秒とその字幕からクローンした各話者自身の声です。お使いのコンピューターのプロセッサーで動作し、グラフィックスカードは不要です。モデルは非商用利用に限られています。

Subtitld からインストール

設定 アドオン Reverb (offline, voice clone, 7 languages, non-commercial) インストール

Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。

GitHub のソース
言語
7
モデル
3
音声
17
アドオンのダウンロード
40–65 MB
RAM(最低)
2.5 GB

機能

7言語

英語、ドイツ語、フランス語、スペイン語、イタリア語、ポーランド語、ポルトガル語。数字、日付、価格、単位は、それぞれの言語のやり方で言葉として読み上げます。

話者自身の声

Subtitld は動画から各話者の数秒を切り出し、そこで話されている字幕と一緒に送ります。Reverb はその声を、7言語のどれでもクローンします。16種類の声から選ぶこともできます。

Exact または Fast

Exact は、公開されたとおりにモデルを実行します。Fast は約2倍速く、ダウンロードも小さくなりますが、正確さが少し落ちます。

最初のセリフのあとはオフライン

モデルは、セリフで初めて必要になったときに一度だけダウンロードされます。その後は、何もコンピューターの外に出ません。

非商用のモデル。 Reverb-TTS の重みと既定の声は CC-BY-NC-4.0 であり、商用利用は認められていません。アドオンのコードは Apache-2.0 ですが、それが重みの条件を変えるわけではありません。商用の作業には、ZONOS3-Mini もこの7言語すべてで声のクローンに対応しており、その重みは Apache-2.0 です。

インストールの前に

  • ディスク: モデル用に 640 MB。最初のセリフでダウンロードされます。最初のセリフの前に Fast を選んだ場合は、代わりに 378 MB です。話者自身の声を初めて使うときに、さらに 327 MB が加わります。
  • メモリ: 話している間は約 1.5 GB。
  • 時間: ほかの作業で負荷がかかっていた Intel Core i7-13700T では、音声1秒の生成に Exact の速度で約0.8秒、Fast で約0.6秒かかりました。
  • プロセッサー: 64 ビットの Intel または AMD のプロセッサー、または Apple Silicon。グラフィックスカードは使いません。

声

話者タブで、話者の吹き替えエンジンとして Reverb を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。

音声 17 種.

収録言語 女性 男性
英語 ナレーター、ささやき ナレーター1、ナレーター2、怒り
フランス語 フランス人女性 フランス人男性
ドイツ語 ドイツ人女性 ドイツ人男性
イタリア語 イタリア人男性、表情豊かなイタリア人男性
ポーランド語 ポーランド人男性
ポルトガル語 ポルトガル人女性 ポルトガル人男性
スペイン語 スペイン人男性1、スペイン人男性2

これらは Reverb 自身の既定の声です。どの声もすべての言語を話しますが、収録された言語のなまりがあります。ここに専用の声がない言語や、女性の声がない言語では、話者自身の声を使ってください。

Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。字幕1つから、または短い字幕をいくつかつなげて作ります。そして、そこで話されている内容、つまりそれらの字幕のテキストも一緒に送ります。Reverb には両方が必要です。Reverb はサンプルとその言葉の続きとして話すため、言葉がないと各セリフの最初の数語が抜けてしまいます。

そのため、字幕は動画で話されている言語でなければなりません。字幕を翻訳した場合でも、音声が何語かを Subtitld が知っていれば、元のテキストを送ります。文字起こしパネルの字幕の言語で設定してください。設定していない場合、そのセリフは、その旨のメッセージを出して止まります。話された内容を書き起こすのではなく言い換えた字幕では、クローンの質が下がります。

最適なサンプルは、1人が話している3〜10秒の、雑音がなくマイクの近くで録った音声です。2秒より短いサンプルは受け付けられず、15秒より長いサンプルではセリフの質が下がりがちです。アドオンの設定の Fallback reference clip と、その Fallback clip's transcript は、サンプルを切り出せない場合にのみ使われます。

各セリフは Subtitld が送るシードで作られるため、同じ声の同じセリフは毎回同じ結果になります。

モデル

モデルはアドオンには含まれておらず、セリフで初めて必要になったときに、アドオン自身の GitHub のリリースから Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。そこには、ONNX Runtime 用に変換された Reverb の重みが置かれています。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。

モデル ダウンロード向いている用途
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices 既定 reverb
640 MB
既定の Exact の速度でのすべてのセリフ:ネットワーク、デコーダー、16種類の声
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Fast の速度でのすべてのセリフ。Exact のネットワークの代わりに使います。デコーダーと合わせて計 378 MB
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
話者自身の声、初めてその声で吹き替えるとき

Exact と Fast はデコーダーと声(111 MB)を共有し、違うのはネットワークだけです。Exact は 529 MB、Fast は 266 MB です。あとで一方からもう一方に切り替えると、セリフで初めて必要になったときに、もう一方のネットワークがダウンロードされます。

アドオンは Reverb を PyTorch なしで ONNX Runtime 上で実行します。Reverb のサンプラーとテキストの準備は、Software Mansion 自身のコードから移植しています。乱数の出どころが異なるため、同じシードでも Reverb 自身のパッケージとは違う出来になります。Exact のネットワークは、そのパッケージと同じ予測をすることが確認されています。

オプション

設定 › アドオン › Reverb (offline, voice clone, 7 languages, non-commercial) › 設定 で変更できます。

CPU threads
既定値: 0

0 にすると、コンピューターの論理プロセッサー(最大8)を使います。増やしても速くなることはまれです。減らすと、吹き替え中もコンピューターが軽快に動きます。

Quality steps
既定値: 8

モデルが各セリフを処理する回数です。8 は Reverb 自身の設定です。減らすと速くなりますが、言い誤りが増えます。

Speed
既定値: exact

Exact は、Software Mansion が公開したとおりにモデルを実行します。Fast は 8 ビット整数で実行し、約2倍速くなります。ダウンロードは別に 266 MB です。セリフはたいてい同じように聞こえますが、公開されたモデルからのずれが大きく、言い誤りも多くなります。

Fallback reference clip
既定値: 空

Subtitld が動画からクリップを切り出せない場合(例:動画が開かれていない場合)に、クローン音声に使うクリップです。1人が話している3〜10秒の、雑音のない音声にしてください。

Fallback clip's transcript
既定値: 空

予備のクリップで話されている内容を、一語一語そのとおりに書いたものです。Reverb はクリップとその言葉からクローンするため、これがないと予備のクリップは受け付けられません。

言語

英語、ドイツ語、フランス語、スペイン語、イタリア語、ポーランド語、ポルトガル語。それ以外の言語のプロジェクトでは、その旨のメッセージが表示されます。その場合は別の吹き替えエンジンを選んでください。

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

プラットフォーム

システム ダウンロード動作確認
Linux x86-64 64.9 MBCI で実際のモデルを使って7言語すべてを話し、声をクローン
macOS (Apple シリコン) 45.6 MBCI で実際のモデルを使って7言語すべてを話し、声をクローン(Apple Silicon)
Windows x86-64 40.5 MBCI で実際のモデルを使って7言語すべてを話し、声をクローン

Linux x86-64(glibc 2.35 以降。Ubuntu 22.04、Debian 12、Fedora 36 など)、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI が Subtitld と同じ方法でアドオンをインストールし、モデルをダウンロードして、各言語で1つずつセリフを話し、声をクローンします。

トラブルシューティング

  • network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。
  • disk_fullモデルに必要なディスク容量がありません。640 MB(Fast では 378 MB)と、話者自身の声のためにさらに 327 MB が必要です。
  • unsupported_languageプロジェクトの言語が7言語のどれでもないか、設定されていません。プロジェクトで言語を設定するか、別の吹き替えエンジンを選んでください。
  • unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。
  • bad_paramsセリフにテキストがないか、クローンの声にサンプルまたはその書き起こしがありません。翻訳したプロジェクトでは、字幕の言語を話されている言語に設定してください。動画が開かれていない場合は、Fallback reference clip とその書き起こしを設定してください。どちらかはメッセージに表示されます。
  • out_of_memoryコンピューターのメモリが不足しました。ほかのプログラムを閉じてください。Reverb には約 1.5 GB の空きが必要です。
  • internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。

ライセンス

アドオン
Apache-2.0
numpy に移植した Reverb 自身のコードを含む
エンジン
MIT
ONNX Runtime
モデル
CC-BY-NC-4.0
Reverb-TTS v1.0.0 の重み(Software Mansion AI Labs 製)。非商用のみ
声
CC-BY-NC-4.0
Reverb の16種類の既定の声。非商用のみ
テキストの読み
MIT, Unicode-3.0
Software Mansion の Verbalis。Unicode Character Database の表を使用

アドオンは Apache-2.0 で、アドオンが移植した Reverb のコードも同じです。Reverb-TTS の重みと16種類の既定の声は CC-BY-NC-4.0 で、非商用利用に限られます。モデルに付属するライセンスファイルに、変換で何を変えたかが記載されています。ONNX Runtime は MIT、数字や日付を読む Verbalis も MIT です。

責任を持って使ってください。 クローンした声は実在の人物のように聞こえます。使う権利があり、話者の同意を得た声だけをクローンしてください。実在の人物になりすましたり、作った音声を人を欺くこと、詐欺、嫌がらせに使ったりしないでください。聞く人には、合成音声であることを伝えてください。

バージョン

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

他の音声アドオン