RealtimeSTT

语音转文字离线可选 GPU允许商用

用于录制模式的语音转文字。录制时,Subtitld 会把你的麦克风声音实时传给它:你边说,文字边出现,每个说完的句子都填入对应的字幕。它在你自己的电脑上运行 faster-whisper 模型,这些模型从 Hugging Face 下载一次。

在 Subtitld 中安装

设置 插件 RealtimeSTT 安装

Subtitld 会下载它、校验其 SHA-256,并保持更新。

GitHub 上的源代码
语言
30
插件下载量
281–483 MB
内存,至少
2 GB

功能说明

边说边出文字

在录制模式下,你说话时文字就会出现,并随着说话不断修正。在句子说完之前,Subtitld 会单独显示它。

句子各就其位

每个说完的句子都带有说出时的时间,因此会填入那一刻切分出的字幕中。

保留你最后的话

你停顿时,它会等待你仍在说的那句话,最长一分钟,并在它说完前把它加入。

同一语言的连续录制保持预热

同一语言的每次录制之间,模型都保持加载,因此后续的录制无需重新加载模型即可开始。

要使用它,请在 音频 标签下的 录制 部分,把它选为 转录引擎。

在转录面板中,请使用 区间 或 选中项。 Subtitld 会把这两者裁剪为 WAV,而这是该插件唯一能读取的音频格式。若使用 全部,它会拿到视频自带的音频,并以 bad_audio 停止。每次运行只会为整段区间生成一条字幕,因此它最适合为选中的字幕补充内容。运行一旦开始便无法取消,它总会运行到结束。

模型

在 模型 中选择模型:tiny、base、small(默认)、medium 或 large-v3,以及除 large-v3 之外各模型的纯英语 .en 版本。模型越大越准确,但越慢、越占资源。

模型会在首次使用时从 Hugging Face 下载,并保存下来供下次使用。加载大模型需要从几秒到一分钟不等。在录制模式下,它会被加载两次:一次用于实时文字,一次用于完成的句子,因此如果你的电脑内存不足,请选择较小的模型。

选项

在 设置 › 插件 › RealtimeSTT › 配置 中。

Model
默认: small

Whisper 模型;见上方的模型部分。越大越准确,但越慢、越占资源。名称以 .en 结尾的模型只理解英语。

Device
默认: auto

模型运行的设备。在 Subtitld 安装的构建版本中,“自动”始终选择 CPU:它会向 PyTorch 请求 CUDA GPU,而这些构建版本带的是不含 CUDA 的 PyTorch。若要直接使用 NVIDIA GPU,请选择 cuda;CI 不测试这一选项。

Compute type
默认: default

模型运算所用数字的精度。default 由引擎自行选择;int8 在 CPU 上最快;float16 适合 GPU。

Stream interim results
默认: 开

在转录面板中,于一个短句仍在解码时先显示文字;最终文字会替换它。录制模式始终显示实时文字,与此设置无关。

插件在启动时读取这些设置,因此更改会在下次启动时生效,例如你重启 Subtitld 之后。

语言

地区标签会以其主语言交给 Whisper:pt-br 会作为 pt 发送。

  • en
  • pt
  • pt-br
  • es
  • fr
  • de
  • it
  • nl
  • ru
  • pl
  • uk
  • tr
  • ar
  • zh
  • ja
  • ko
  • hi
  • id
  • sv
  • fi
  • da
  • no
  • cs
  • el
  • he
  • ro
  • hu
  • ca
  • th
  • vi

平台

系统 下载已测试
Linux x86-64 482.7 MB在 CI 中测试,不含模型
macOS (Apple 芯片) 377.0 MB在 CI 中测试,不含模型
Windows x86-64 280.6 MB在 CI 中测试,不含模型

每次发布前,CI 会在所有系统上运行该插件的测试,并启动构建好的插件,检查其语音检测能否加载。CI 中不运行任何转录,因为那需要模型。

故障排除

  • bad_audio音频不是 WAV 格式。请在转录面板中使用 区间 或 选中项,而不要使用 全部。
  • internal转录失败;错误信息会说明原因。首次使用时模型可能尚未下载完成:请检查网络连接后重试。如果你把 Device 设为了 cuda,请改回 auto。
  • not_installed插件内部的语音引擎没有加载成功。请重新安装该插件。

许可

插件
MIT
引擎
MIT
RealtimeSTT、faster-whisper
模型
MIT
OpenAI Whisper 权重

可用于商业工作:插件、RealtimeSTT、faster-whisper 和 Whisper 权重均为 MIT 许可。

版本

  • 0.1.2

其他语音转文字插件

更新于 · 来自插件目录 报告此插件的问题