ダウンロード

RealtimeSTT

音声認識オフラインGPU は任意商用利用可

録音モード用の音声認識です。録音中、Subtitld はマイクの音声をこのアドオンに送ります。話すと単語が表示され、完了した各文が字幕を埋めます。faster-whisper のモデルを使い、お使いのコンピューター上で動作します。モデルは Hugging Face から一度ダウンロードされます。

Subtitld からインストール

設定 アドオン RealtimeSTT インストール

Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。

GitHub のソース
言語
30
アドオンのダウンロード
281–483 MB
RAM（最低）
2 GB

機能

話しながら単語を表示

録音モードでは、話している間にテキストが表示され、話が進むにつれて修正されます。文が完了するまでは、Subtitld がそれを単独で表示します。

文を正しい位置に

完了した各文には、話された時刻が付いているため、その時点で区切られた字幕に配置されます。

最後の言葉を保持

話すのを止めると、話していた途中の文が完成するまで最大1分待ち、終わる前にそれを追加します。

テイク間でモデルを保持

同じ言語で次のテイクを録音するとき、モデルは読み込まれたままになるため、再び読み込む必要がなく、すぐに始まります。

使うには、音声タブの録音の下にある文字起こしエンジンとして選びます。

文字起こしパネルでは 区間 または 選択 を使ってください。 Subtitld はそれらを WAV に切り出します。これは、このアドオンが読み込める唯一の音声形式です。すべてを使うと、動画自体の音声を受け取り、bad_audio で停止します。1回の実行では、区間全体に字幕が1つ作られるため、選択した字幕を埋める用途に最も適しています。実行はキャンセルできず、必ず完了まで進みます。

モデル

モデルでモデルを選びます。tiny、base、small（既定）、medium、large-v3 のほか、large-v3 以外の英語専用 .en 版があります。大きいモデルほど正確ですが、遅く重くなります。

モデルは初めて使うときに Hugging Face からダウンロードされ、次回のためにも保存されます。読み込みには、小さいモデルなら数秒、大きいモデルなら1分ほどかかります。録音モードでは、リアルタイムの文字用と完成した文用の2回読み込まれます。そのため、コンピューターのメモリが不足する場合は、より小さいモデルを選んでください。

オプション

設定 › アドオン › RealtimeSTT › 設定 で変更できます。

Model
既定値： small

Whisper モデル。上の「モデル」を参照してください。大きいモデルほど正確ですが、遅く重くなります。名前が .en で終わるものは英語のみを認識します。

Device
既定値： auto

実行デバイス。Subtitld がインストールするビルドでは、「auto」は常に CPU を選びます。auto は PyTorch に CUDA の GPU を要求しますが、これらのビルドには CUDA のない PyTorch が含まれているためです。NVIDIA GPU を直接使うには cuda を選んでください。CI ではこれはテストされていません。

Compute type
既定値： default

モデルが扱う数値の精度。default はエンジンが選びます。int8 は CPU で最速、float16 は GPU に適しています。

Stream interim results
既定値： オン

文字起こしパネルで、フレーズがまだデコード中でも途中の文字を表示します。最終的なテキストで置き換えられます。録音モードでは、この設定にかかわらず常にリアルタイムの文字が表示されます。

アドオンは起動時にこれらを読み込むため、変更は次回の起動時、たとえば Subtitld を再起動した後に反映されます。

言語

地域タグは、主要言語として Whisper に渡されます。たとえば pt-br は pt として送られます。

  • en
  • pt
  • pt-br
  • es
  • fr
  • de
  • it
  • nl
  • ru
  • pl
  • uk
  • tr
  • ar
  • zh
  • ja
  • ko
  • hi
  • id
  • sv
  • fi
  • da
  • no
  • cs
  • el
  • he
  • ro
  • hu
  • ca
  • th
  • vi

プラットフォーム

システム ダウンロード動作確認
Linux x86-64 482.7 MBモデルなしで CI テスト済み
macOS (Apple シリコン) 377.0 MBモデルなしで CI テスト済み
Windows x86-64 280.6 MBモデルなしで CI テスト済み

リリースの前に、CI はすべてのシステムでアドオンのテストを実行し、ビルドされたアドオンを起動して、音声検出が読み込まれることを確認します。CI では文字起こしは実行されません。モデルが必要になるためです。

トラブルシューティング

  • bad_audio音声が WAV ではありません。文字起こしパネルで、すべての代わりに 区間 または 選択 を使ってください。
  • internal文字起こしに失敗しました。理由はメッセージに示されます。初回使用時にモデルがダウンロードされていない可能性があります。接続を確認して、もう一度試してください。デバイスを cuda に設定していた場合は、auto に戻してください。
  • not_installedアドオン内の音声認識エンジンが読み込まれませんでした。アドオンを再インストールしてください。

ライセンス

アドオン
MIT
エンジン
MIT
RealtimeSTT、faster-whisper
モデル
MIT
OpenAI Whisper の重み

商用利用に問題ありません。アドオン、RealtimeSTT、faster-whisper、Whisper の重みはいずれも MIT ライセンスです。

バージョン

  • 0.1.2

他の音声認識アドオン

更新日 · アドオンカタログより このアドオンの問題を報告