ZONOS3-Mini オフライン、音声クローン、43 言語

音声オフラインCPU のみ音声クローン商用利用可

Zyphra による ZONOS3-Mini を使い、字幕を43言語で吹き替えます。声は、27種類の声のいずれか、または動画の数秒からクローンした各話者自身の声です。お使いのコンピューターのプロセッサーで動作し、グラフィックスカードなしで実時間の約2倍の速さで話します。

Subtitld からインストール

設定 アドオン ZONOS3-Mini (offline, voice clone, 43 languages) インストール

Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。

GitHub のソース
言語
43
モデル
2
音声
28
アドオンのダウンロード
19–24 MB
RAM(最低)
2 GB

機能

43言語

アラビア語、ベンガル語、ブルガリア語からトルコ語、ウルドゥー語、ベトナム語まで。日本語、韓国語、標準中国語、ヒンディー語に加え、インドの言語がさらに8つ含まれます。数字、日付、価格、単位は、それぞれの言語の文法に従って読み上げます。

話者自身の声

Subtitld は動画から各話者のサンプルを切り出し、セリフごとに一緒に送ります。ZONOS3-Mini はその声を、対応するどの言語でもクローンします。27種類の声から選ぶこともできます。

テキストが終わればセリフも終わる

各セリフは話している間に確認されるので、単語が飛ばされません。また、テキストを読み終えたところで止まり、字幕にない言葉を話し続けることはありません。

最初のセリフのあとはオフライン

モデルは、セリフで初めて必要になったときに一度だけダウンロードされます。その後は、何もコンピューターの外に出ません。

インストールの前に

  • ディスク: モデル用に 1,115 MB。最初のセリフでダウンロードされます。話者自身の声を初めて使うときに、さらに 45 MB が加わります。
  • メモリ: 話している間は約 1.6 GB。
  • 時間: Intel Core i7-13700T では、音声1秒の生成に約0.5秒かかります。最初のセリフは、モデルの読み込みのためさらに約4秒、話者自身の声での最初のセリフは、声を学習するためさらに約5秒待ちます。
  • プロセッサー: AVX2 対応の 64 ビットの Intel または AMD のプロセッサー(Intel は2013年以降、AMD は2015年以降)、または Apple Silicon。グラフィックスカードは使いません。

声

話者タブで、話者の吹き替えエンジンとして ZONOS3-Mini を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。

音声 28 種.

収録言語 女性 男性
英語 Imogen(イギリス), Morgana(魔女), Sakura(アニメ), Savannah(アメリカ), Willow(ASMR) Cillian(アイルランド), Jett(元気), Rupert(イギリス), Thaddeus(アナウンサー), Wyatt(アメリカ)
フランス語 Gaspard
ドイツ語 Liesel Wolfgang
ヒンディー語 Ananya Arjun
イタリア語 Ginevra Lorenzo
韓国語 Seoyeon Minjun
標準中国語 Meilin(元気) Haoran(元気)
ポルトガル語 Leonor Thiago
スペイン語 Ximena Rodrigo
テルグ語 Sravya Chaitanya

これらは Zyphra 自身の既定の声です。どの声もすべての言語を話しますが、収録された言語のなまりがあり、別の言語ではそのなまりが強く出ることがあります。英語の声でロシア語を話すと、聞き取りにくくなります。ここに専用の声がない言語では、話者自身の声を使ってください。

Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。字幕1つから、または短い字幕をいくつかつなげて作ります。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Fallback reference clip は、サンプルを切り出せない場合にのみ使われます。

ZONOS3-Mini はサンプルを最大1分まで聞き、声をまねます。言葉や話しかたはまねません。最適なサンプルは、マイクの近くで録った雑音のない音声です。雑音や反響があるとクローンは話者に似にくくなり、電話の録音からは電話越しのような声になります。

モデル

モデルはアドオンには含まれておらず、セリフで初めて必要になったときに、固定されたリビジョンで Zyphra の Hugging Face リポジトリから Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。

モデル ダウンロード向いている用途
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) 既定 zonos3-mini
1.1 GB
すべてのセリフ、すべての言語と声で
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
話者自身の声、初めてその声で吹き替えるとき

アドオンは Zyphra 自身の ggml ランタイムを実行します。Zyphra のローカルサーバーと同じコードを、PyTorch なしでアドオンに組み込んでいます。

そのままでは、モデルは短いセリフのあとも話し続け、字幕にない言葉をいくつか加えてしまうことがあります。そこで、すべてのセリフは Zyphra のアラインメントチェックである LACI のもとで実行されます。LACI はテキストのどの部分が話されているかを追い、飛ばされた箇所や詰まった箇所をやり直し、テキストを読み終えた時点でセリフを止めます。アドオンはさらに、その時点のあとの最初の無音でセリフを切ります。この切り方はアドオン独自のルールで、Zyphra のものではありません。短い字幕のセリフを使った私たちのテストでは、この方法で64本中61本が問題なく仕上がりました。この方法を使わない場合は64本中37本でした。無音になったセリフは作り直されます。

オプション

設定 › アドオン › ZONOS3-Mini (offline, voice clone, 43 languages) › 設定 で変更できます。

CPU threads
既定値: 0

0 にすると、コンピューターの論理プロセッサー(最大8)を使います。増やしても速くなることはまれです。減らすと、吹き替え中もコンピューターが軽快に動きます。

Fallback reference clip
既定値: 空

Subtitld が動画からクリップを切り出せない場合(例:動画が開かれていない場合)に、クローン音声に使うクリップです。1人が話している5〜20秒の、雑音のない音声にしてください。電話の録音は避けてください。

言語

アラビア語、ベンガル語、ブルガリア語、中国語(標準中国語)、チェコ語、デンマーク語、オランダ語、英語、フィンランド語、フランス語、ジョージア語、ドイツ語、ギリシャ語、グジャラート語、ヘブライ語、ヒンディー語、ハンガリー語、インドネシア語、イタリア語、日本語、カンナダ語、韓国語、マレー語、マラヤーラム語、マラーティー語、ノルウェー語、オディア語、ポーランド語、ポルトガル語、パンジャーブ語、ルーマニア語、ロシア語、スロバキア語、スペイン語、スウェーデン語、タガログ語、タミル語、テルグ語、タイ語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語。それ以外の言語のプロジェクトでは、その旨のメッセージが表示されます。その場合は別の吹き替えエンジンを選んでください。

英語はプロジェクトの地域に従います。イギリス、アイルランド、オーストラリア、ニュージーランド、南アフリカ、インドならイギリス英語、それ以外の地域ならアメリカ英語になります。ポルトガル語はブラジルのポルトガル語として、フランス語はフランスのフランス語として読まれます。

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

プラットフォーム

システム ダウンロード動作確認
Linux x86-64 19.0 MBAlmaLinux 8 でリリースアーカイブの実際のモデルを使って、また CI で吹き替え
macOS (Apple シリコン) 24.0 MBCI で実際のモデルを使って吹き替え(Apple Silicon)
Windows x86-64 18.5 MBCI で実際のモデルを使って吹き替え

Linux x86-64、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI が Subtitld と同じ方法でアドオンをインストールし、モデルをダウンロードして、6言語のセリフ、短いセリフ、クローンした声を吹き替えます。

トラブルシューティング

  • network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。
  • disk_fullモデルに必要なディスク容量がありません。1,115 MB と、話者自身の声のためにさらに 45 MB が必要です。
  • unsupported_languageプロジェクトの言語が43言語のどれでもないか、設定されていません。プロジェクトで言語を設定するか、別の吹き替えエンジンを選んでください。
  • unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。
  • bad_paramsセリフにテキストがないか、クローンの声にサンプルがありません。動画を開くか、Fallback reference clip を設定してください。どちらかはメッセージに表示されます。
  • out_of_memoryコンピューターのメモリが不足しました。ほかのプログラムを閉じてください。ZONOS3-Mini には約 2 GB の空きが必要です。
  • internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。AVX2 のない古いプロセッサーでは、その旨がメッセージに表示されます。

ライセンス

アドオン
Apache-2.0
エンジン
MIT
Zyphra の ZONOS3-Mini ランタイム、ggml 使用
モデル
Apache-2.0
ZONOS3-Mini の重み(Zyphra 製)
声
Apache-2.0
Zyphra の既定の声
テキストの読み
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm。文法は NVIDIA の NeMo-text-processing から移植、データは Unicode CLDR から

アドオンは Apache-2.0 です。ZONOS3-Mini の重みと既定の声は Apache-2.0、Zyphra のランタイムは MIT なので、商用利用もできます。テキストの読み(zyphra-textnorm)は MIT で、文法は NVIDIA の NeMo-text-processing(Apache-2.0)から移植され、データは Unicode CLDR のものです。

作成した吹き替えはあなたのものです。クローンした声は実在の人物のように聞こえます。使う権利のある声だけをクローンし、必要な場面では吹き替えが合成音声であることを明示してください。

バージョン

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

他の音声アドオン