ダウンロード

KittenTTS 2 (offline, voice clone, 16 languages)

音声オフラインCPU のみ音声クローン商用利用に制限あり

KittenML の KittenTTS 2 を使い、字幕を16言語で吹き替えます。声は、動画からクローンした各話者自身の声か、115種類の組み込みの声のいずれかです。お使いのコンピューターのプロセッサーで、グラフィックスカードなしで、ほぼ実時間の速さで動作します。

Subtitld からインストール

設定 アドオン KittenTTS 2 (offline, voice clone, 16 languages) インストール

Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。

GitHub のソース
言語
16
モデル
2
音声
116
アドオンのダウンロード
96–136 MB
RAM（最低）
3 GB

機能

話者自身の声

Subtitld は動画から各話者の数秒を切り出し、そこで話されている言葉と一緒に、セリフごとに送ります。KittenTTS 2 はその声をクローンし、翻訳されたセリフをその声で話すため、吹き替えは画面の人物の声に聞こえます。

16言語、115の声

英語、スペイン語、フランス語、ドイツ語、イタリア語、ポルトガル語、ロシア語、中国語、日本語、韓国語、アラビア語、ヒンディー語、トルコ語、オランダ語、ポーランド語、インドネシア語。それぞれに2〜50の組み込みの声があります。

CPU でほぼ実時間

ノートパソコンのプロセッサーで、1秒の音声を作るのに1.1〜1.5秒かかり、メモリは約 2.3 GB を使います。グラフィックスカードは使いません。

最初のセリフのあとはオフライン

モデルは、それを使って初めて吹き替えるときに一度だけダウンロードされます。その後は、何もコンピューターの外に出ません。

制限のあるモデルのライセンス。 アドオンは Apache-2.0 ですが、アドオンがダウンロードする KittenTTS 2 の重みは KittenML のもので、Stellon Labs Community License のもとにあります。有料の吹き替えを含む商用利用が無料なのは、あなたとその関連会社の年間収益が100万米ドル未満で、かつ資金調達の総額が100万米ドル未満である間だけで、Stellon Labs への登録も必要です。利用は、Stellon Labs が公開していない利用規定（Acceptable Use Policy）にも従わなければならず、ライセンスは取り消されることがあります。有料の仕事に使う前にライセンスを読んでください。条件が合わない場合は、VoxCPM2 と Sopro も Apache-2.0 で声をクローンできます。

インストールの前に

  • ディスク： モデル用に約 1.7 GB。最初のセリフでダウンロードされます。クローンには、最初のクローンのセリフでさらに 540 MB。
  • メモリ： 話している間は約 2.3 GB なので、約 3 GB の空きが必要です。
  • プロセッサー： Intel と AMD では、AVX2、FMA、F16C を備えたもの。Intel のプロセッサーは2013年から、AMD は2015年から備えています。一部の Celeron、Pentium、Atom のプロセッサーにはこれらがなく、その場合は最初のセリフがその旨のメッセージとともに失敗します。Apple Silicon の Mac はすべて動作します。

声のクローンは、その声の持ち主の同意がある場合だけにしてください。

声

話者タブで、話者の吹き替えエンジンとして KittenTTS 2 を選び、ボイスを選びます。各セリフを字幕に合わせて伸縮するには、その話者の吹き替えを字幕の長さに合わせるをオンにしてください。吹き替える前に、プロジェクトの言語を設定してください。

音声 116 種 16 言語.

  • ar 4
  • de 4
  • en 50
  • es 5
  • fr 5
  • hi 5
  • id 2
  • it 6
  • ja 4
  • ko 3
  • nl 3
  • pl 4
  • pt 6
  • ru 7
  • tr 3
  • zh 4

Speaker's own voice を選ぶと、Subtitld はプロジェクトの音声からその話者の3〜12秒のサンプルを切り出し、そこで話されている字幕のテキストと一緒に送ります。KittenTTS はそのサンプルの続きとして話します。これが話者に最も近く、最も安定します。英語のサンプルとポルトガル語のセリフを使った私たちのテストでは、クローンした吹き替えは VoxCPM2 とほぼ同じくらい話者に近く聞こえ、言葉の誤りはより少なくなりました。この動画で音楽と声を分離している場合は、サンプルは声だけから取られます。アドオンの設定の Fallback reference clip は、サンプルを切り出せない場合にのみ使われます。

組み込みの声はそれぞれ1つの言語に属します。声は録音であり、モデルはそのなまりのまま話し続けるからです。そのため、ボイスの一覧にはプロジェクトの言語の声が表示されます。英語には50の声があり、その中には KittenTTS 0.8 の Bella、Jasper、Luna、Bruno、Rosie、Hugo、Kiki、Leo や、なめらかなラジオ DJ の Marcus、気品のあるナレーターの Victoria といったキャラクターがあります。ほかの言語にはそれぞれ2〜7の声があります。KittenML は、録音の出どころを明らかにしていません。

ときどき、モデルがセリフを話さずに無音になることがあります。アドオンがそれに気づき、最大3回まで自動でやり直すので、自分でやり直す必要はありません。

モデル

KittenML のファイルはどれもアドオンには含まれていません。最初に吹き替えるときに、固定されたリビジョンで KittenML の Hugging Face リポジトリから Subtitld の共有モデルキャッシュへダウンロードされ、各ファイルが確認されます。サンプルを声に変換するリファレンスエンコーダーは、最初のクローンのセリフで、アドオン自身のリリースからダウンロードされます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。

モデル ダウンロード向いている用途
KittenTTS 2 (1.7B, ternary) 既定 kitten-tts-2
1.6 GB
すべての声と言語。CPU でほぼ実時間の速さ
Reference encoder, for cloning ref-encoder
517 MB
クローンした声専用。最初のクローンのセリフでダウンロード

アドオンは、KittenML 自身による KittenTTS 2 用の C++ プログラムを実行します。これは KittenML の Python パッケージより約4倍速く、メモリは3分の1で済みます。

オプション

設定 › アドオン › KittenTTS 2 (offline, voice clone, 16 languages) › 設定 で変更できます。

Delivery
既定値： stable

Stable はほとんどのプロジェクトに合います。Expressive はより生き生きしますが、おかしなセリフになることが多くなります。

CPU threads
既定値： 0

0 にすると、効率コアも持つプロセッサーではパフォーマンスコアを、それ以外ではコアごとに1スレッド（最大8）を使います。スレッドを減らすと、吹き替え中もコンピューターが軽快に動きます。

Fallback reference clip
既定値： 空

Subtitld が動画からクリップを切り出せない場合（例：動画が開かれていない場合）に、クローン音声に使うクリップです。1人が話している3〜30秒の音声にしてください。

Fallback reference transcript
既定値： 空

The exact words spoken in the fallback clip. With them the clone is closer to the speaker and makes fewer mistakes.

Clone the timbre only
既定値： オフ

話者のクリップの言葉を渡さず、声質だけをクローンします。吹き替えに話者のなまりが残る場合や、字幕が話された内容の言い換えになっている場合に試してください。

言語

英語、スペイン語、フランス語、ドイツ語、イタリア語、ポルトガル語、ロシア語、中国語、日本語、韓国語、アラビア語、ヒンディー語、トルコ語、オランダ語、ポーランド語、インドネシア語。それ以外の言語のプロジェクトでは、その旨のメッセージが表示されます。その場合は別の吹き替えエンジンを選んでください。

英語のテキストは、意図されたとおりに読まれます。たとえば英語の「the 3rd of May」は「the third of May」、「$12.50」は「twelve dollars fifty」になります。ほかの言語では、大事な箇所の数字や記号を言葉で書いてください。

  • en
  • es
  • fr
  • de
  • it
  • pt
  • ru
  • zh
  • ja
  • ko
  • ar
  • hi
  • tr
  • nl
  • pl
  • id

プラットフォーム

システム ダウンロード動作確認
Linux x86-64 136.1 MB実機と CI で、実際のモデルを使って吹き替え（クローンを含む）
macOS (Apple シリコン) 109.2 MBCI で実際のモデルを使って吹き替え（クローンを含む、Apple Silicon）
Windows x86-64 96.4 MBCI で実際のモデルを使って吹き替え（クローンを含む）

Linux x86-64、Apple Silicon の macOS、Windows x86-64。各リリースは3つすべてでビルドされ、それぞれで CI が Subtitld と同じ方法でアドオンをインストールし、モデルをダウンロードして、クローンした声も含めてそれを使って吹き替えます。Linux では glibc 2.35 以降が必要です。

トラブルシューティング

  • network_unavailableモデルをダウンロードできませんでした。接続を確認して、もう一度試してください。ダウンロードは再開されます。
  • disk_fullモデルに必要なディスク容量（約 1.7 GB、クローンを使う場合は 2.2 GB）がありません。
  • unsupported_languageプロジェクトの言語が16言語のどれでもないか、設定されていません。プロジェクトで言語を設定するか、別の吹き替えエンジンを選んでください。
  • unsupported_voiceプロジェクトに、このバージョンにない声が指定されています。話者タブで声を選び直してください。
  • bad_paramsセリフにテキストがないか、クローンの声にサンプルがありません。動画を開くか、Fallback reference clip を設定してください。どちらかはメッセージに表示されます。
  • internalアドオン内部で問題が起きました。詳細はメッセージに表示されます。プロセッサーに AVX2、FMA、F16C がないと表示された場合、このコンピューターでは KittenTTS 2 を実行できません。セリフが無音になり続けたと表示された場合は、別の声を試すか、セリフの言い回しを変えてください。

ライセンス

アドオン
Apache-2.0
エンジン
MIT, Apache-2.0
kitten-tts-2-cpp（KittenML 製）。LibTorch は BSD-3-Clause
リファレンスエンコーダー
MIT
chatterbox-turbo（ResembleAI）と pyannote から
モデル
Stellon Labs Community License
KittenTTS 2 の重み。商用利用が無料なのは、収益または資金調達額が100万米ドル未満の場合のみ

アドオンは Apache-2.0 です。KittenML のランタイムは MIT と Apache-2.0、LibTorch は BSD-3-Clause、リファレンスエンコーダーの各部分は MIT です。KittenTTS 2 の重みは Stellon Labs Community License のもとにあり、アドオンが重みをダウンロードするときに、あなたはこのライセンスに同意することになります。研究目的と個人利用は無料で、商用利用が無料なのは、年間収益と資金調達の総額がいずれも100万米ドル未満の場合だけで、Stellon Labs への登録が必要です。重みとそれが生成したものを、ほかのモデルの学習に使うことはできません。作成した吹き替えはあなたのものです。Powered by KittenML.

バージョン

  • 26.10.1

    Offline text-to-speech for Subtitld with KittenML's KittenTTS 2, in 16 languages (English, Spanish, French, German, Italian, Portuguese, Russian, Chinese, Japanese, Korean, Arabic, Hindi, Turkish, Dutch, Polish and Indonesian), at 24 kHz.

    • The speaker's own voice. Cloned from the clip Subtitld cuts from the video, and spoken in another language too. With the subtitle text Subtitld sends with the clip, KittenTTS continues from it, which is closest to the speaker; "Clone the timbre only" leaves the words out.
    • 115 built-in voices. 50 in English, 2 to 7 in each other language.
    • About real time on a CPU. A second of speech takes 1.1 to 1.5 seconds on an i7-13700T, with about 2.3 GB of memory. x86-64 needs AVX2, FMA and F16C; Apple Silicon works.
    • Downloads on first use. The model, 1.66 GB, from KittenML's repository on the first line; the reference encoder, 542 MB, from this repository's ref-encoder-1 prerelease, on the first cloned line. Both are pinned and checked by sha256.

    The weights are not open source. KittenTTS 2 is under the Stellon Labs Community License. Commercial use, dubbing for pay included, is free only below US$1,000,000 in annual revenue and in total funding, and requires registering with Stellon Labs. Use must also follow an Acceptable Use Policy that is not published, and the licence is revocable. The add-on ships none of KittenML's weights; read the licence before using it for paid work. Powered by KittenML.

    Built on KittenML's C++ runtime (kitten-tts-2-cpp) with LibTorch 2.14.1, patched to end a line whose model scores go non-finite, and with the CPU flash-attention path off (it produced such lines depending on the thread count). A line that falls into silence is retried with another seed, up to three times, and the silence around each line is trimmed.

    Each archive was installed in CI the way Subtitld installs add-ons, on Linux, macOS (Apple Silicon) and Windows, and spoke English, Portuguese and Chinese lines and a cross-lingual clone through the add-on protocol.

他の音声アドオン

更新日 · アドオンカタログより このアドオンの問題を報告