ZONOS3-Mini オフライン、音声クローン、43 言語
Zyphra による ZONOS3-Mini を使い、字幕を43言語で吹き替えます。声は、27種類の声のいずれか、または動画の数秒からクローンした各話者自身の声です。お使いのコンピューターのプロセッサーで動作し、グラフィックスカードなしで実時間の約2倍の速さで話します。
設定 アドオン ZONOS3-Mini (offline, voice clone, 43 languages) インストール
Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。
- 言語
- 43
- モデル
- 2
- 音声
- 28
- アドオンのダウンロード
- 19–24 MB
- RAM(最低)
- 2 GB
機能
アラビア語、ベンガル語、ブルガリア語からトルコ語、ウルドゥー語、ベトナム語まで。日本語、韓国語、標準中国語、ヒンディー語に加え、インドの言語がさらに8つ含まれます。数字、日付、価格、単位は、それぞれの言語の文法に従って読み上げます。
Subtitld は動画から各話者のサンプルを切り出し、セリフごとに一緒に送ります。ZONOS3-Mini はその声を、対応するどの言語でもクローンします。27種類の声から選ぶこともできます。
各セリフは話している間に確認されるので、単語が飛ばされません。また、テキストを読み終えたところで止まり、字幕にない言葉を話し続けることはありません。
モデルは、セリフで初めて必要になったときに一度だけダウンロードされます。その後は、何もコンピューターの外に出ません。
インストールの前に
- ディスク: モデル用に 1,115 MB。最初のセリフでダウンロードされます。話者自身の声を初めて使うときに、さらに 45 MB が加わります。
- メモリ: 話している間は約 1.6 GB。
- 時間: Intel Core i7-13700T では、音声1秒の生成に約0.5秒かかります。最初のセリフは、モデルの読み込みのためさらに約4秒、話者自身の声での最初のセリフは、声を学習するためさらに約5秒待ちます。
- プロセッサー: AVX2 対応の 64 ビットの Intel または AMD のプロセッサー(Intel は2013年以降、AMD は2015年以降)、または Apple Silicon。グラフィックスカードは使いません。
声
話者タブで、話者の吹き替えエンジンとして ZONOS3-Mini を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。
音声 28 種.
| 収録言語 | 女性 | 男性 |
|---|---|---|
| 英語 | Imogen(イギリス), Morgana(魔女), Sakura(アニメ), Savannah(アメリカ), Willow(ASMR) | Cillian(アイルランド), Jett(元気), Rupert(イギリス), Thaddeus(アナウンサー), Wyatt(アメリカ) |
| フランス語 | Gaspard | |
| ドイツ語 | Liesel | Wolfgang |
| ヒンディー語 | Ananya | Arjun |
| イタリア語 | Ginevra | Lorenzo |
| 韓国語 | Seoyeon | Minjun |
| 標準中国語 | Meilin(元気) | Haoran(元気) |
| ポルトガル語 | Leonor | Thiago |
| スペイン語 | Ximena | Rodrigo |
| テルグ語 | Sravya | Chaitanya |
これらは Zyphra 自身の既定の声です。どの声もすべての言語を話しますが、収録された言語のなまりがあり、別の言語ではそのなまりが強く出ることがあります。英語の声でロシア語を話すと、聞き取りにくくなります。ここに専用の声がない言語では、話者自身の声を使ってください。
Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者のサンプルを切り出します。字幕1つから、または短い字幕をいくつかつなげて作ります。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Fallback reference clip は、サンプルを切り出せない場合にのみ使われます。
ZONOS3-Mini はサンプルを最大1分まで聞き、声をまねます。言葉や話しかたはまねません。最適なサンプルは、マイクの近くで録った雑音のない音声です。雑音や反響があるとクローンは話者に似にくくなり、電話の録音からは電話越しのような声になります。
モデル
モデルはアドオンには含まれておらず、セリフで初めて必要になったときに、固定されたリビジョンで Zyphra の Hugging Face リポジトリから Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。
| モデル | ダウンロード | 向いている用途 |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) 既定 zonos3-mini | すべてのセリフ、すべての言語と声で | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | 話者自身の声、初めてその声で吹き替えるとき |
アドオンは Zyphra 自身の ggml ランタイムを実行します。Zyphra のローカルサーバーと同じコードを、PyTorch なしでアドオンに組み込んでいます。
そのままでは、モデルは短いセリフのあとも話し続け、字幕にない言葉をいくつか加えてしまうことがあります。そこで、すべてのセリフは Zyphra のアラインメントチェックである LACI のもとで実行されます。LACI はテキストのどの部分が話されているかを追い、飛ばされた箇所や詰まった箇所をやり直し、テキストを読み終えた時点でセリフを止めます。アドオンはさらに、その時点のあとの最初の無音でセリフを切ります。この切り方はアドオン独自のルールで、Zyphra のものではありません。短い字幕のセリフを使った私たちのテストでは、この方法で64本中61本が問題なく仕上がりました。この方法を使わない場合は64本中37本でした。無音になったセリフは作り直されます。
オプション
設定 › アドオン › ZONOS3-Mini (offline, voice clone, 43 languages) › 設定 で変更できます。
00 にすると、コンピューターの論理プロセッサー(最大8)を使います。増やしても速くなることはまれです。減らすと、吹き替え中もコンピューターが軽快に動きます。
Subtitld が動画からクリップを切り出せない場合(例:動画が開かれていない場合)に、クローン音声に使うクリップです。1人が話している5〜20秒の、雑音のない音声にしてください。電話の録音は避けてください。
言語
アラビア語、ベンガル語、ブルガリア語、中国語(標準中国語)、チェコ語、デンマーク語、オランダ語、英語、フィンランド語、フランス語、ジョージア語、ドイツ語、ギリシャ語、グジャラート語、ヘブライ語、ヒンディー語、ハンガリー語、インドネシア語、イタリア語、日本語、カンナダ語、韓国語、マレー語、マラヤーラム語、マラーティー語、ノルウェー語、オディア語、ポーランド語、ポルトガル語、パンジャーブ語、ルーマニア語、ロシア語、スロバキア語、スペイン語、スウェーデン語、タガログ語、タミル語、テルグ語、タイ語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語。それ以外の言語のプロジェクトでは、その旨のメッセージが表示されます。その場合は別の吹き替えエンジンを選んでください。
英語はプロジェクトの地域に従います。イギリス、アイルランド、オーストラリア、ニュージーランド、南アフリカ、インドならイギリス英語、それ以外の地域ならアメリカ英語になります。ポルトガル語はブラジルのポルトガル語として、フランス語はフランスのフランス語として読まれます。
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
プラットフォーム
| システム | ダウンロード | 動作確認 |
|---|---|---|
| Linux x86-64 | 19.0 MB | AlmaLinux 8 でリリースアーカイブの実際のモデルを使って、また CI で吹き替え |
| macOS (Apple シリコン) | 24.0 MB | CI で実際のモデルを使って吹き替え(Apple Silicon) |
| Windows x86-64 | 18.5 MB | CI で実際のモデルを使って吹き替え |
Linux x86-64、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI が Subtitld と同じ方法でアドオンをインストールし、モデルをダウンロードして、6言語のセリフ、短いセリフ、クローンした声を吹き替えます。
トラブルシューティング
network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。disk_fullモデルに必要なディスク容量がありません。1,115 MB と、話者自身の声のためにさらに 45 MB が必要です。unsupported_languageプロジェクトの言語が43言語のどれでもないか、設定されていません。プロジェクトで言語を設定するか、別の吹き替えエンジンを選んでください。unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。bad_paramsセリフにテキストがないか、クローンの声にサンプルがありません。動画を開くか、Fallback reference clip を設定してください。どちらかはメッセージに表示されます。out_of_memoryコンピューターのメモリが不足しました。ほかのプログラムを閉じてください。ZONOS3-Mini には約 2 GB の空きが必要です。internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。AVX2 のない古いプロセッサーでは、その旨がメッセージに表示されます。
ライセンス
アドオンは Apache-2.0 です。ZONOS3-Mini の重みと既定の声は Apache-2.0、Zyphra のランタイムは MIT なので、商用利用もできます。テキストの読み(zyphra-textnorm)は MIT で、文法は NVIDIA の NeMo-text-processing(Apache-2.0)から移植され、データは Unicode CLDR のものです。
作成した吹き替えはあなたのものです。クローンした声は実在の人物のように聞こえます。使う権利のある声だけをクローンし、必要な場面では吹き替えが合成音声であることを明示してください。
バージョン
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
他の音声アドオン
-
Piper オフライン
49言語の158のオフライン音声。それぞれ別途の小さなダウンロード。
-
Kokoro オフライン
9言語の54のオフライン音声。すべて1つの 82 MB のモデルです。
-
Supertonic オフライン
10のオフライン音声。それぞれが31言語すべてを話せます。
-
sanoTTS オフライン
超軽量のオフライン音声。14言語28種、どれも 10 MB 未満です。
-
Parler-TTS オフライン
書かれた説明に従う英語の声。34の名前付き話者。
-
Qwen3-TTS クローン
10言語、9つの声、3秒の音声から話者をクローン。
-
Coqui XTTS クローン
16言語での声のクローン。モデルは非商用ライセンスです。
-
F5-TTS クローン
英語と中国語の声のクローンのみ。モデルは非商用です。
-
VoxCPM2 クローン
48 kHz で30言語。話者自身の声か、説明した声で。重量級。
-
Pocket TTS オフライン
高速で軽量、CPU のみ。ヨーロッパの7言語で23種類の声。
-
Sopro クローン
話者自身の声を、CPU で高速に。4言語。
-
KittenTTS 2 クローン
話者自身の声を16言語で、CPU で。重みは制限のあるライセンスです。
-
Ming-3.0-tts クローン
44.1 kHz で7言語。クローン、内蔵、説明した声で、感情も。重量級。
-
Scylla's Band オフライン
6言語で話す14の声。CPU で軽く、速く動きます。組み込みの声のみ。
-
Audio8 TTS クローン
話者自身の声を11言語で、広東語も。CPU では遅め。
-
Inflect オフライン
小さなモデルで自然な英語音声を、どの CPU でも高速に。
-
Paradee オフライン
アメリカ英語とイギリス英語の自然な4つの声を、8.5 MB のモデル1つで。
-
BlueTTS クローン
ヘブライ語とイディッシュ語に、さらに5言語。話者自身の声を、CPU で高速に。
-
Chatterbox クローン
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…