Phonon-2 (offline, English)

音声認識オフラインCPU のみ商用利用可

Fermion Research の音声モデル Phonon-2 を使い、動画の英語の音声を、お使いのコンピューター上で時間付きの字幕に変換します。CPU で動作し、グラフィックスカードもアカウントも不要で、データがお使いのマシンの外に出ることはありません。

Subtitld からインストール

設定 アドオン Phonon-2 (offline, English) インストール

Subtitld がダウンロードして SHA-256 を確認し、最新の状態に保ちます。

GitHub のソース
言語
1
モデル
1
アドオンのダウンロード
342 MB

機能

一度ダウンロードすればオフライン

164 MB のモデルは、最初に文字起こしするときに一度だけダウンロードされ、固定されたフィンガープリントと照合されます。それ以降、インターネットは不要です。

グラフィックスカード不要

CPU で動作します。使うコアの数を設定するか、自動に任せられます。

読みやすい字幕

Phonon-2 は文や間の切れ目で音声を区切るため、各字幕は話し手に合わせて始まり、終わります。

名前を正しく綴る

動画で使われる人名や用語を「Hotwords」に入力すると、Phonon-2 はそれらを優先します。

モデル

モデルは Phonon-2 の1つだけです。アドオンには含まれておらず、最初に文字起こしするときに Subtitld の共有モデルキャッシュへダウンロードされるため、アドオンを更新しても再ダウンロードは不要です。

モデル ダウンロード向いている用途
Phonon-2 既定
164 MB
インタビューから講義まで、英語の音声

最初の文字起こしではモデルの読み込みも行うため、2回目以降より時間がかかります。Phonon-2 はファイルを一度に文字起こしするため、キャンセルはその処理が終わった時点で反映されます。

オプション

設定 › アドオン › Phonon-2 (offline, English) › 設定 で変更できます。

Models folder
既定値: 空

モデルの保存場所です。空欄にすると Subtitld のモデルキャッシュを共有するため、アドオンを更新・削除してもモデルは残ります。

CPU threads
既定値: 0

Phonon-2 が使う CPU コアの数です。0 にすると自動で選びます。新しい値は、次にモデルを読み込んだときに反映されます。

Hotwords
既定値: 空

動画に出てくる人名や用語を、カンマで区切って最大25個まで入力します。Phonon-2 はこれらを優先しますが、最終的には音声に従います。

言語

英語のみ。言語を空欄または自動検出にしても、英語として文字起こしします。ほかの言語に設定されたプロジェクトは拒否されます。その場合は Whisper (offline) を使ってください。

  • en

プラットフォーム

システム ダウンロード動作確認
Linux x86-64 341.8 MB実機、およびクリーンな Ubuntu 22.04、Debian 10、Fedora、Arch のコンテナで確認

現在は Linux x86-64 のみで、2018年以降のディストリビューション(glibc 2.28 以降)に対応しています。macOS 版と Windows 版はまだ準備中です。

トラブルシューティング

  • unsupported_languagePhonon-2 は英語にしか対応していません。ほかの言語には Whisper (offline) を使ってください。
  • model_missingモデルをダウンロードまたは読み込みできませんでした。初回使用時はインターネット接続を、設定している場合は Models folder を確認してください。
  • bad_paramsSubtitld が音声を渡せませんでした。理由はメッセージに表示されます。
  • oomメモリが不足しています。ほかのプログラムを閉じるか、動画全体ではなく一部の区間を文字起こししてください。
  • disk_fullモデルまたはデコードした音声に必要な空き容量がありません。容量を空けて、もう一度試してください。
  • internalアドオン内部で問題が起きました。多くの場合、ffmpeg による音声のデコードが原因です。詳細はメッセージに表示されます。

ライセンス

アドオン
Apache-2.0
エンジン
Apache-2.0
fermion-research(Fermion Research 製)
モデル
CC-BY-4.0
Phonon-2 の重み

商用利用に問題ありません。アドオンとエンジンは Apache-2.0 です。Phonon-2 の重みは CC-BY-4.0 で、重みそのものを共有する場合は Fermion Research のクレジット表記が求められます。アドオンの NOTICE ファイルにその表記があります。作成した字幕はあなたのものです。

バージョン

  • 0.0.1

    Offline English speech-to-text for Subtitld with Phonon-2 from Fermion Research (fermion-research 0.2.11).

    Linux x86-64 for now. The archive runs on glibc 2.28 and newer, and was tested from the archive in clean Ubuntu 22.04, Debian 10, Fedora 44 and Arch Linux containers, with a real transcription in each. macOS and Windows builds are not done yet.

    The model is not included: Phonon-2 (164 MB, CC-BY-4.0) downloads once on first use into Subtitld's shared model cache, checked against a sha256 pinned in fermion-research. English only; the Whisper (offline) add-on covers other languages. The engine runs on torch, so the download is large, about 340 MB.

    The add-on is Apache-2.0. The archive contains THIRD_PARTY_LICENSES/ with the licences of everything frozen into it; INDEX.txt lists every shared library and the notice that covers it. The Phonon engine and transformers are Apache-2.0, torch and numpy are BSD-3-Clause, and the Python runtime and its libraries are under their own licences.

    The archive also ships LGPL code, and its complete source is attached here:

    • libquadmath (LGPL-2.1-or-later), in two builds, linked by the GCC Fortran runtime of numpy's and scipy's OpenBLAS: phonon2-addon-0.0.1-libquadmath-source.tar.gz.
    • libsndfile (LGPL-2.1-or-later) from soundfile, with LAME and mpg123 (LGPL) and libFLAC, libogg, libvorbis and Opus (BSD) linked into it: phonon2-addon-0.0.1-libsndfile-source.tar.gz.

    Each tarball's README says which build it is and how to rebuild it. The add-on's own source is phonon2-addon-0.0.1-source.tar.gz.

他の音声認識アドオン