F5-TTS (offline + voice clone)
从视频中的声音样本为每位说话人克隆声音,并以英语或中文朗读你的字幕,在你自己的电脑上完成。它没有内置声音,其模型仅可用于非商业用途。
设置 插件 F5-TTS (offline + voice clone) 安装
Subtitld 会下载它、校验其 SHA-256,并保持更新。
- 语言
- 2
- 模型
- 2
- 语音
- 1
- 插件下载量
- 433–648 MB
- 内存,至少
- 4 GB
功能说明
只有一个声音,即 Custom voice。每位说话人都有自己的声音,复制自 Subtitld 从视频中剪出的样本。建议时长为 6 到 15 秒。
当样本没有自带文字稿时,F5-TTS 会用 Whisper 为它写一份。第一次需要下载 Whisper;之后会被缓存。
该模型是用英语和中文语音训练的。它没有语言设置,会按原文逐行朗读。
第一句台词要等待模型下载并加载;之后的台词直接复用,直到插件闲置五分钟。
非商业模型。 F5-TTS 权重采用 CC-BY-NC-4.0 许可,不允许商业使用。插件的代码为 MIT 许可,但这不会改变权重的条款。如需商业工作,Qwen3-TTS 同样支持声音克隆,且其权重为 Apache-2.0 许可。
声音
在 说话人 标签页中,把 F5-TTS 设为某位说话人的 配音引擎;它唯一的 音色 是 Custom voice。每句台词的长度由模型决定;开启 让配音适配字幕时长,即可让该说话人的台词拉伸或压缩,以适配字幕。
1 种语音.
克隆用的样本
对于每位说话人,Subtitld 会从项目的音频中剪出一段样本:
- 时长在 3 到 12 秒之间的最长一条字幕;
- 如果没有符合条件的,则取较长字幕的前 12 秒;
- 如果所有字幕都不足 3 秒,则连续取几条,拼接到至少 3 秒。
F5-TTS 在 6 到 15 秒时效果最好,因此请确保每位说话人至少有一句时长在 6 到 12 秒之间的台词。如果你已为本视频分离出了音乐和人声,样本只取自人声。插件设置中的 Default voice reference 仅在无法剪出样本时使用,例如没有打开视频的时候。
Subtitld 会保存每位说话人的样本,只有在音频文件改变时才会重新剪取。重新调整了某位说话人台词的时间之后,请删除其样本以获得新的样本;样本的文件名以该说话人的名字结尾。
| 系统 | 文件夹 |
|---|---|
| Linux | ~/.cache/subtitld/clone-refs |
| macOS | ~/Library/Caches/subtitld/clone-refs |
| Windows | %LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs |
模型
两者都在你第一次生成台词时下载:F5-TTS 模型,以及把其输出转为声音的 Vocos 声码器。当 F5-TTS 第一次需要转写样本时,还会额外下载 Whisper。
| 模型 | 下载 |
|---|---|
| f5-tts-v1-base | |
| vocos-mel-24khz |
选项
插件在启动时读取这些设置,因此更改会在它闲置五分钟后,或在你重启 Subtitld 后生效。Skip auto-extracted reference transcript 是个例外:Subtitld 会为每句台词都读取它。
在 设置 › 插件 › F5-TTS (offline + voice clone) › 配置 中。
cpuF5-TTS 在加载时自行选择设备;插件不会传递此设置。发布的构建版本使用 PyTorch 的 CPU 包。
当 Subtitld 无法从视频中取得该说话人的样本时(例如没有打开视频),供复制的一段音频。来自视频的样本始终优先。建议时长为 6 到 15 秒。
上面默认音频中所说的话。插件会把它用于任何没有自带文字稿的样本,包括来自视频的样本,因此除非你依赖默认音频,否则请留空。留空时,F5-TTS 会自行转写每个样本。
开启后,字幕文字将不再随样本一起作为其文字稿;F5-TTS 会自己用 Whisper 转写样本。当你的字幕是对原话的意译时,这很有用。
语言
F5-TTS 不接受语言参数:它会按原文逐行朗读。其他语言也有对应的模型,但本插件不加载它们。
enzh-cn
平台
| 系统 | 下载 | 已测试 |
|---|---|---|
| Linux x86-64 | 647.8 MB | 在 CI 中构建并启动 |
| macOS (通用) | 433.8 MB | 在 CI 中构建并启动 |
| Windows x86-64 | 433.2 MB | 在 CI 中构建并启动 |
每个版本都在 Linux、macOS 和 Windows 上构建,CI 会检查程序能否启动并列出其声音。CI 不生成语音。
故障排除
bad_params没有可供处理的内容:字幕没有文字,或没有可复制的样本。Subtitld 无法剪出样本(没有打开视频,或该说话人没有字幕),而且没有设置默认音频;也可能是默认音频的文件已被移走。请为字幕添加文字、打开视频,或把 Default voice reference 设为一个确实存在的文件。internal模型无法加载,或无法朗读该台词;错误信息会说明是哪一步。首次使用时下载失败也会归入此类:请检查网络连接和剩余磁盘空间后重试。如果错误信息提到 ffmpeg,请安装 ffmpeg 并确保它在你的 PATH 中;F5-TTS 读取样本时需要它。
许可
不可用于商业工作:权重的 CC-BY-NC-4.0 许可禁止商业使用,即便插件的代码为 MIT 许可。
版本
- 1.0.6
Automated release for f5-tts v1.0.6.