Reverb 离线、语音克隆、7 种语言、非商业用途
使用 Software Mansion AI Labs 的 Reverb-TTS,把你的字幕配音成英语、德语、法语、西班牙语、意大利语、波兰语和葡萄牙语:用 16 个声音之一,或用从视频中几秒钟及其字幕克隆出的每位说话人自己的声音。它在你自己电脑的处理器上运行,无需显卡。该模型仅可用于非商业用途。
设置 插件 Reverb (offline, voice clone, 7 languages, non-commercial) 安装
Subtitld 会下载它、校验其 SHA-256,并保持更新。
- 语言
- 7
- 模型
- 3
- 语音
- 17
- 插件下载量
- 40–65 MB
- 内存,至少
- 2.5 GB
功能说明
英语、德语、法语、西班牙语、意大利语、波兰语和葡萄牙语。数字、日期、价格和单位都按各语言自己的方式读成文字。
Subtitld 从视频中为每位说话人剪出几秒钟,连同其中所说的字幕一起发送。Reverb 可以用它七种语言中的任何一种克隆这个声音。也可以从 16 个声音中挑一个。
Exact 按发布的原样运行模型。Fast 速度约快一倍,下载也更小,代价是准确度略有下降。
模型只下载一次,就在台词第一次需要它时。此后,没有任何内容会离开你的电脑。
非商业模型。 Reverb-TTS 权重及其预设声音采用 CC-BY-NC-4.0 许可,不允许商业使用。插件的代码为 Apache-2.0 许可,但这不会改变权重的条款。如需商业工作,ZONOS3-Mini 同样能用这全部七种语言克隆声音,且其权重为 Apache-2.0 许可。
安装之前
- 磁盘: 模型 640 MB,在第一句台词时下载;如果在第一句台词之前选择 Fast,则改为 378 MB。第一次使用说话人自己的声音时,另需 327 MB。
- 内存: 说话时约 1.5 GB。
- 时间: 在一台同时忙于其他工作的 Intel Core i7-13700T 上,生成一秒语音在 Exact 速度下约需 0.8 秒,在 Fast 下约需 0.6 秒。
- 处理器: 64 位 Intel 或 AMD 处理器,或 Apple Silicon。不使用显卡。
声音
在 说话人 标签页中,把 Reverb 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕。
17 种语音.
| 录制语言 | 女声 | 男声 |
|---|---|---|
| 英语 | 旁白、耳语 | 旁白 1、旁白 2、愤怒 |
| 法语 | 法国女声 | 法国男声 |
| 德语 | 德国女声 | 德国男声 |
| 意大利语 | 意大利男声、富有表现力的意大利男声 | |
| 波兰语 | 波兰男声 | |
| 葡萄牙语 | 葡萄牙女声 | 葡萄牙男声 |
| 西班牙语 | 西班牙男声 1、西班牙男声 2 |
这些是 Reverb 自己的预设声音。每个声音都能说每种语言,但带有其录制语言的口音。对于这里没有自己声音的语言,或没有女声的语言,请使用说话人自己的声音。
选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条字幕,或把几条短字幕拼接起来,并发送其中所说的内容,也就是这些字幕的文字。Reverb 两者都需要:它接着样本及其文字往下说,没有文字的话,每句台词开头的几个词都会丢掉。
因此,字幕必须是视频中所说的语言。如果你翻译了字幕,只要 Subtitld 知道音频是哪种语言,就会发送原文:请在 转录 面板的 字幕语言 中设置。否则,这句台词会停下,并给出相应的提示。字幕如果是对所说内容的意译,而不是逐字记录,克隆效果会变差。
最好的样本是 3 到 10 秒、一个人说话、干净且靠近麦克风录制的语音。短于 2 秒的样本会被拒绝,长于 15 秒的样本往往会让台词效果变差。插件设置中的 Fallback reference clip 及其 Fallback clip's transcript 仅在无法剪出样本时使用。
每句台词都用 Subtitld 发送的种子生成,因此同一个声音说的同一句台词每次都一样。
模型
模型不在插件里:它会在台词第一次需要它时,从插件自己在 GitHub 上的发布版本下载到 Subtitld 的共享模型缓存中,并校验每个文件;那里存放着为 ONNX Runtime 转换好的 Reverb 权重。下载中断后会从中断处继续。更新或移除插件时它会保留。
| 模型 | 下载 | 适合 |
|---|---|---|
| Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices 默认 reverb | 默认的 Exact 速度下的每一句台词:网络、解码器和 16 个声音 | |
| Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast | Fast 速度下的每一句台词,代替 Exact 网络:连同解码器共 378 MB | |
| Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder | 说话人自己的声音,第一次用某个声音配音时 |
Exact 和 Fast 共用解码器和声音(111 MB),只有网络不同:Exact 为 529 MB,Fast 为 266 MB。之后从一种切换到另一种时,会在台词第一次需要时下载另一个网络。
插件在 ONNX Runtime 上运行 Reverb,不需要 PyTorch。Reverb 的采样器和文本预处理移植自 Software Mansion 自己的代码。它的随机数来源不同,所以同一个种子在这里得到的结果与 Reverb 自己的软件包不同;Exact 网络经过检查,其预测与该软件包一致。
选项
在 设置 › 插件 › Reverb (offline, voice clone, 7 languages, non-commercial) › 配置 中。
0设为 0 时使用电脑的逻辑处理器,最多 8 个。更多线程很少会更快;线程越少,配音时电脑越流畅。
8模型对每句台词处理的遍数。8 是 Reverb 自己的设置;更少会更快,但出错更多。
exactExact 按 Software Mansion 发布的原样运行模型。Fast 以 8 位整数运行,速度约快一倍,需另外下载 266 MB:台词通常听起来一样,但它与发布的模型偏差更大,出错也更频繁。
当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:3 到 10 秒、一个人说话、干净清晰。
备用片段中所说的内容,逐字照录。Reverb 根据片段及其文字来克隆,因此没有它,备用片段会被拒绝。
语言
英语、德语、法语、西班牙语、意大利语、波兰语和葡萄牙语。其他语言的项目会收到相应的提示:请为它选择另一个配音引擎。
endefresitplpt
平台
| 系统 | 下载 | 已测试 |
|---|---|---|
| Linux x86-64 | 64.9 MB | 在 CI 中用真实模型说出全部七种语言并克隆声音 |
| macOS (Apple 芯片) | 45.6 MB | 在 CI 中用真实模型说出全部七种语言并克隆声音(Apple Silicon) |
| Windows x86-64 | 40.5 MB | 在 CI 中用真实模型说出全部七种语言并克隆声音 |
Linux x86-64(glibc 2.35 或更新版本,例如 Ubuntu 22.04、Debian 12 或 Fedora 36)、Apple Silicon 上的 macOS 和 Windows x86-64。每个版本都在这三个平台上构建,并且在每个平台上,CI 都会像 Subtitld 那样安装插件,下载模型,用每种语言各说一句台词,并克隆一个声音。
故障排除
network_unavailable无法下载模型。请检查网络连接后重试:下载会继续。disk_full磁盘空间不足,无法存放模型:需要 640 MB(Fast 为 378 MB),说话人自己的声音还需 327 MB。unsupported_language项目的语言不在这七种之中,或尚未设置。请在项目中设置语言,或选择另一个配音引擎。unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。bad_params台词没有文字,或者克隆的声音没有获得样本或样本的文字稿。对于翻译过的项目,请把 字幕语言 设为所说的语言;没有打开视频时,请设置 Fallback reference clip 及其文字稿。错误信息会说明是哪一种。out_of_memory电脑内存不足。请关闭其他程序:Reverb 需要约 1.5 GB 可用内存。internal插件内部出错;错误信息中有详细说明。
许可
插件为 Apache-2.0,它所移植的 Reverb 代码也是如此。Reverb-TTS 权重及其 16 个预设声音为 CC-BY-NC-4.0:仅限非商业用途。模型附带的一个许可文件说明了转换时做了哪些改动。ONNX Runtime 为 MIT,负责读出数字和日期的 Verbalis 也是 MIT。
请负责任地使用。 克隆的声音听起来像真实的人。只克隆你有权使用、并获得说话人同意的声音;不要冒充真实的人,也不要用你生成的语音去欺骗、诈骗或骚扰他人。听众听到的是合成声音时,请告诉他们。
版本
- 26.11.1
Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.
The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's
models-1release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isreverb-<version>-libquadmath-source.tar.gzin this release.
其他语音插件
-
Piper 离线
49 种语言的 158 个离线声音,每个都是单独的小型下载。
-
Kokoro 离线
9 种语言的 54 个离线声音,全部来自同一个 82 MB 的模型。
-
Supertonic 离线
十个离线声音,每个都能朗读其全部 31 种语言。
-
sanoTTS 离线
微型离线声音,14 种语言共 28 个,每个都不到 10 MB。
-
Parler-TTS 离线
由文字描述驱动的英语声音,共 34 个具名说话人。
-
Qwen3-TTS 克隆
十种语言,九个声音,并可从 3 秒的说话人声音进行克隆。
-
Coqui XTTS 克隆
16 种语言的声音克隆,模型许可仅限非商业用途。
-
F5-TTS 克隆
仅提供声音克隆,支持英语和中文;模型为非商业用途。
-
VoxCPM2 克隆
48 kHz,30 种语言,用说话人自己的声音或描述出的声音。占用资源较多。
-
Pocket TTS 离线
快速轻量,仅用 CPU。七种欧洲语言,23 个声音。
-
Sopro 克隆
说话人自己的声音,在 CPU 上也很快。四种语言。
-
KittenTTS 2 克隆
说话人自己的声音,16 种语言,在 CPU 上运行。权重采用限制性许可。
-
Ming-3.0-tts 克隆
44.1 kHz,7 种语言:克隆、内置或描述出的声音,带情绪。占用资源较多。
-
Scylla's Band 离线
14 个声音,六种语言,在 CPU 上轻快运行。仅限内置声音。
-
Audio8 TTS 克隆
说话人自己的声音,23 种语言,包括粤语和阿拉伯语。在 CPU 上较慢。
-
Inflect 离线
小小的模型,自然的英语语音,在任何 CPU 上都很快。
-
Paradee 离线
四个自然的英语声音,美式和英式,全部来自一个 8.5 MB 的模型。
-
BlueTTS 克隆
希伯来语和意第绪语,外加五种语言。说话人自己的声音,在 CPU 上也很快。
-
ZONOS3-Mini 克隆
43 种语言,从阿拉伯语到越南语。说话人自己的声音,在 CPU 上运行。
-
Chatterbox 克隆
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…