Parakeet & Nemotron オフライン、33 言語

機能

使い方

ファイルを文字起こしするには、インポートタブを開き、文字起こしエンジンとして Parakeet & Nemotron を選び、字幕の言語を設定して文字起こしを開始を押します。残りの部分を文字起こししている間にも、字幕はタイムラインに表示されていきます。音声は 1 分ずつ（Nemotron では 30 秒ずつ）処理されるため、進行状況バーは止まらずに進み、キャンセルも数秒以内に反映されます。

ライブ字幕を使うには、音声タブを開き、録音の下にある文字起こしエンジンとしてこのアドオンを選びます。

モデル

モデルは 3 つあり、どれもアドオンには含まれていません。各モデルは初めて必要になったときに、Hugging Face にある NVIDIA 自身のページから Subtitld の共有モデルキャッシュへダウンロードされます。リビジョンは 1 つに固定され、フィンガープリントと照合されます。中断したダウンロードは、止まったところから再開します。アドオンを更新・削除してもモデルは残ります。

ファイルをどのモデルで文字起こしするかは、アドオンの「Model」設定で決まります。既定の Automatic では、Parakeet が対応する 25 言語を Parakeet が、残りの 8 言語を Nemotron が担当します。両方が対応している言語で Nemotron を選ぶこともできますが、その場合も Parakeet のほうが適しています。

Parakeet は、各単語を聞き取った時点でその時刻を付けます。Nemotron は単語を書き出す時点、つまり単語の終わり近くで時刻を付けるため、アドオンは各単語を実際に話された位置まで戻します。テスト用の映画では、映画自体の字幕との差が 0.5 秒以内で始まった字幕は、Nemotron で 76%、Parakeet で 85% でした。音楽や効果音の上では Nemotron が句読点を書かないことが多いため、Nemotron の字幕は 0.8 秒の間（ま）があいたところでも終わります。

ノートパソコンのプロセッサー（Intel i7-13700T）での測定結果：

モデルの保存場所

3 つのモデルを合わせて約 1.6 GB を使います。容量を空けるにはフォルダーを削除してください。各モデルは、次に必要になったときに再びダウンロードされます。

ライブ字幕

録音中、Nemotron は各単語の少し先まで音声を聞き（既定は 560 ms。Live caption delay を参照）、話すそばから単語を書き出します。文が終わるまでは Subtitld がそれを表示し、文が終わると、その文が字幕を埋めます。新しい単語がないまま 0.8 秒たつと、文は終わったとみなされます。

初回は 742 MB の Nemotron モデルがダウンロードされ、その進行状況が、単語が表示される場所に表示されます。ライブ字幕は、ファイルの場合よりも小文字のままだったり、句読点が付かなかったりすることが多くなります。きれいなテキストが必要なら、録音後に Parakeet で文字起こししてください。話者ラベルはファイル専用です。

オプション

設定 › アドオン › Parakeet & Nemotron (offline, 33 languages) › 設定 で変更できます。

言語

33 言語に対応しています。Parakeet が対応するのは次の 25 言語です：ブルガリア語、クロアチア語、チェコ語、デンマーク語、オランダ語、英語、エストニア語、フィンランド語、フランス語、ドイツ語、ギリシャ語、ハンガリー語、イタリア語、ラトビア語、リトアニア語、マルタ語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スロバキア語、スロベニア語、スペイン語、スウェーデン語、ウクライナ語。Nemotron が対応するのは 28 言語で、このうちギリシャ語、ラトビア語、リトアニア語、マルタ語、スロベニア語を除くすべてに加え、アラビア語、中国語、ヒンディー語、日本語、韓国語、ノルウェー語、トルコ語、ベトナム語です。ライブ字幕は Nemotron の 28 言語に対応しています。

言語を空欄にすると、Parakeet が自分の 25 言語のうちどれが話されているかを判別します。Nemotron には言語が伝えられ、英語、スペイン語、フランス語、ポルトガル語では地域による違いも伝えられます。en-gb、es-es、fr-ca、pt-br では、それぞれイギリス英語、スペインのスペイン語、カナダのフランス語、ブラジルのポルトガル語になります。地域がない場合は、アメリカ英語、中南米のスペイン語、フランスのフランス語、ヨーロッパのポルトガル語とみなされます。どちらのモデルも対応していない言語では、対応している言語の一覧がメッセージに表示されます。

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

プラットフォーム

Linux x86-64（2018 年以降のすべてのディストリビューション）、Apple シリコン搭載の macOS、Windows x86-64 に対応しています。x86-64 では、プロセッサーが AVX2 に対応している必要があります（Intel は 2013 年以降、AMD は 2015 年以降の製品）。ffmpeg は Subtitld に同梱されています。

Mac では、アドオンは別のプロセスでグラフィックスプロセッサー（Metal）を一度だけ試し、うまくいかなければプロセッサーを使います。その結果は、モデルフォルダーの metal-check.json に保存されます。自分で選ぶには、Subtitld を起動する前に PARAKEET_NEMOTRON_DEVICE を cpu または gpu に設定してください。

各リリースは 3 つのシステムすべてでビルドされ、それぞれで CI が Subtitld と同じ方法でアドオンをインストールし、モデルをダウンロードして、各モデルでファイルを文字起こしします。話者ラベル付きの文字起こしとライブの文字起こしも行います。

トラブルシューティング

• unsupported_languageモデルがプロジェクトの言語を文字起こしできません。対応している言語はメッセージに一覧表示されます。Model を Automatic にするか、別のエンジンを選んでください。ギリシャ語、ラトビア語、リトアニア語、マルタ語、スロベニア語にはライブ字幕がありません。録音後にファイルを文字起こししてください。
• network_unavailableモデルをダウンロードできなかったか、ダウンロードしたファイルが確認に失敗して破棄されました。接続を確認して、もう一度試してください。ダウンロードは、止まったところから再開されます。
• disk_fullモデルまたはデコードした音声に必要なディスク容量がありません。3 つのモデルを合わせると約 1.6 GB になります。
• oomメモリが不足しています。ほかのプログラムを閉じてください。長い映画では約 1.3 GB が必要です。
• bad_paramsSubtitld が音声を渡せませんでした。理由はメッセージに表示されます。
• internalアドオン内部で問題が起きました。多くの場合、ffmpeg による音声のデコードか、モデルの読み込みの失敗が原因です。詳細はメッセージに表示されます。プロセッサーが AVX2 に対応していないと表示された場合、このコンピューターではアドオンを実行できません。

ライセンス

商用利用に問題ありません。アドオンと NVIDIA の NeMo-Speech.cpp は Apache-2.0 です。Parakeet は CC-BY-4.0 で、重みそのものを共有する場合は NVIDIA のクレジット表記が求められます。2 つの Nemotron モデルは OpenMDW-1.1 です。これはモデル向けの制限の緩いライセンスで、モデルを使って作ったものには何の制限も課しません。モデルは NVIDIA からダウンロードされ、アドオンには同梱されていません。作成した字幕はあなたのものです。