Paradee (offline, lightweight English)

音声オフラインCPU のみ商用利用可

Sahil Mahendrakar による、Kokoro から蒸留したパラメーター数 800 万のモデル Paradee を使い、字幕を自然な英語で吹き替えます。アメリカ英語2つ、イギリス英語2つの計4つの声を、8.5 MB のモデル1つでまかないます。お使いのコンピューターのプロセッサーで動作し、グラフィックスカードもアカウントも不要で、実時間の何倍もの速さで話します。

Subtitld からインストール

設定 アドオン Paradee (offline, lightweight English) インストール

Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。

GitHub のソース
言語
2
モデル
1
音声
4
アドオンのダウンロード
75–93 MB
RAM(最低)
512 MB

機能

Kokoro の声を、10分の1のサイズで

Paradee は Kokoro の声のうち4つを、その10分の1のパラメーター数で学習しており、Kokoro に近い音声になります。自然な英語を 24 kHz で。

アメリカ英語とイギリス英語

Heart と Puck はアメリカ英語、Isabella と Fable はイギリス英語を話し、それぞれ独自の発音を持ちます。「tomato」「schedule」「can't」は、それぞれのアクセントどおりに発音されます。

どのコンピューターでも高速

プロセッサーの1コアだけで、1つのセリフが実時間の約17〜20倍の速さで生成されます。メモリは約 300 MB で、グラフィックスカードは不要です。

最初のセリフのあとはオフライン

8.5 MB のモデルは、セリフが初めて話されるときにダウンロードされます。その後は、何もコンピューターの外に出ません。モデルもアドオンも商用利用が可能です。

声

話者タブで、話者の吹き替えエンジンとして Paradee を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。

音声 4 種 2 言語.

  • en-gb 2
  • en-us 2

Kokoro に最も近いのは Heart で、4つのうち最も遠いのは Isabella です。4つの声はすべて同じモデルから生まれているので、声を切り替えても何もダウンロードされません。Paradee は声をクローンしません。話者自身の声で吹き替えるには、Sopro や Chatterbox などのボイスクローンエンジンを選んでください。

このモデルは、Kokoro と同じように、声に少しの息づかいやノイズをランダムに加えます。そのため、セリフをもう一度吹き替えると、その部分がごくわずかに違って聞こえることがあります。言葉、声、タイミングは変わりません。

モデル

モデルはアドオンには含まれていません。セリフが初めて話されるときに、固定されたリビジョンで Hugging Face から Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。

モデル ダウンロード向いている用途
Paradee 1.2 (7.9M, int8 ONNX, four voices) 既定 paradee-1.2
8 MB
4つの声すべて、プロセッサーの1コアで実時間の約17〜20倍の速さ

アドオンは、Paradee の作者が公開している ONNX ファイルを PyTorch なしで実行し、Kokoro 自身の音素変換器を使って、作者のコードとまったく同じ方法でテキストを音に変換します。作者のコードと比べたところ、両方のアクセントですべてのテスト文が同じ発音になり、4つの声すべてで同じ音声になりました。

オプション

設定 › アドオン › Paradee (offline, lightweight English) › 設定 で変更できます。

CPU threads
既定値: 0

0 にすると1スレッドを使います。それだけで実時間の何倍もの速さです。これほど小さなモデルでは、スレッドを増やしてもほとんど効果はありません。

Speaking pace
既定値: 1

Paradee 自体が話す速さです。1.0 が本来の速さで、1.2 は20%速くなります。モデル自体が速く、または遅く話すので、音声が引き伸ばされることはありません。

言語

英語のみです。英語のプロジェクト(アメリカ、イギリス、オーストラリアなど)はどれも受け付け、それぞれの声が自分のアクセントで読み上げます。ほかの言語のプロジェクトでは、その旨のメッセージが表示されます。その場合は別の吹き替えエンジンを選んでください。

数字、価格、日付、時刻、一般的な略語は言葉として読み上げられ、「read」や「record」のような単語は文に合った読み方で発音されます。音素変換器が知らない名前やほかの言語の単語は espeak-ng が読み上げるため、発音を誤ることがあります。

  • en-us
  • en-gb

プラットフォーム

システム ダウンロード動作確認
Linux x86-64 93.5 MB実機、クリーンな Debian・Ubuntu・Fedora・Arch 環境、CI で、4つの声すべてを使って吹き替え
macOS (Apple シリコン) 75.2 MBCI で4つの声すべてを使って吹き替え(Apple Silicon)
Windows x86-64 84.5 MBCI で4つの声すべてを使って吹き替え

Linux x86-64(2018年以降のすべてのディストリビューション)、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI が Subtitld と同じ方法でアドオンをインストールし、モデルをダウンロードして、すべての声で吹き替えます。

トラブルシューティング

  • network_unavailableモデルをダウンロードできなかったか、ダウンロードしたファイルが確認に失敗して破棄されました。接続を確認して、もう一度試してください。ダウンロードは再開されます。
  • disk_fullモデルに必要なディスク容量がありません。8.5 MB が必要です。
  • unsupported_languageプロジェクトの言語が英語ではないか、設定されていません。プロジェクトで言語を設定するか、別の吹き替えエンジンを選んでください。
  • unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。
  • bad_paramsセリフにテキストがありません。字幕を書いてから、もう一度吹き替えてください。
  • out_of_memoryコンピューターのメモリが不足しました。ほかのプログラムを閉じてください。Paradee には約 400 MB が必要です。
  • internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。

ライセンス

アドオン
GPL-3.0-or-later
espeak-ng を含むため
エンジン
Apache-2.0, MIT, GPL-3.0-or-later
Kokoro 自身の音素変換器 misaki が spaCy とともにテキストを音に変換し、それらが知らない単語は espeak-ng が読み、Microsoft の ONNX Runtime がモデルを実行
モデル
Apache-2.0
Paradee 1.2 の重み(Sahil Mahendrakar 製、hexgrad の Kokoro-82M から蒸留)

商用利用に問題ありません。Paradee のモデルと作者のコードは、Kokoro と同じく Apache-2.0 です。アドオンは espeak-ng を含むため GPL-3.0-or-later です。espeak-ng を含む完全なソースコードは、各リリースに添付されています。ライセンスが適用されるのはアドオンで、それを使って作ったものではありません。作成した吹き替えはあなたのものです。

バージョン

  • 26.11.1

    Offline English text-to-speech for Subtitld with Paradee 1.2: natural English speech at 24 kHz from an 8M-parameter model distilled from Kokoro-82M, many times faster than real time on the CPU. Four voices from one 8.5 MB model: Heart and Puck (American English), Isabella and Fable (British English).

    The archive holds the add-on, ONNX Runtime, misaki (Kokoro's phonemizer) with spaCy's small English pipeline, and espeak-ng with its English data. The model downloads the first time a line is spoken, at a pinned revision, checked by sha256.

    The add-on is GPL-3.0-or-later, because it bundles espeak-ng (GPL-3.0-or-later); the Paradee model and misaki are Apache-2.0, spaCy and its English pipeline MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The complete corresponding source is paradee-<version>-source.tar.gz in this release. The Linux archive also carries libquadmath (LGPL-2.1, with numpy); its source is paradee-<version>-libquadmath-source.tar.gz.

    What's Changed

    • Paradee add-on: lightweight offline English text-to-speech by @jonata in https://github.com/Subtitld/addon-paradee/pull/1
    • Parity test: allow other CPUs' int8 rounding by @jonata in https://github.com/Subtitld/addon-paradee/pull/2

    New Contributors

    • @jonata made their first contribution in https://github.com/Subtitld/addon-paradee/pull/1

他の音声アドオン