VoxCPM2 (offline, voice clone, 30 languages)
使用 OpenBMB 的 VoxCPM2,把你的字幕配音成 30 种语言:用从视频中克隆的每位说话人自己的声音,或用一段描述生成的声音。它在你自己的电脑上运行,插件、代码和权重均为 Apache-2.0。
设置 插件 VoxCPM2 (offline, voice clone, 30 languages) 安装
Subtitld 会下载它、校验其 SHA-256,并保持更新。
- 语言
- 30
- 模型
- 1
- 语音
- 9
- 插件下载量
- 205–318 MB
- 内存,至少
- 7 GB
功能说明
Subtitld 从视频中为每位说话人剪出一段片段,连同其中所说的话一起发送。VoxCPM2 接着这段片段往下说,因此配音听起来就像画面中的人,30 种语言都可以。
七个现成的声音,从温暖的女声到沙哑的老年男声,再到旁白;也可以用你自己的话:“一个年轻男子,语速快,语气欢快”。
语音以 48 kHz 输出,与视频使用的采样率相同。
插件、VoxCPM 的代码和 VoxCPM2 权重均为 Apache-2.0。
安装之前
VoxCPM2 是一个大模型,有 24 亿参数。它在离线插件中配音最自然,对电脑的要求也最高:
- 磁盘: 约 5.6 GB,其中大部分是 4.96 GB 的模型,在你配音第一句台词时下载。
- 内存: 约 7 GB 可用。内存更少也能运行,但会慢得多。
- 时间: 在 CPU 上,每秒语音需要几秒钟生成:在 Intel Core i7-13700T 上需要 5 到 6 秒。十分钟的视频可能需要大约一小时。在 Apple Silicon Mac 上它使用 GPU 运行。
如果想在配置一般的电脑上快速配音,Piper 或 Kokoro 要轻得多。
声音
在 说话人 标签页中,把 VoxCPM2 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕。
9 种语音.
克隆的声音
选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条 3 到 12 秒的字幕,或把几条短字幕拼接起来。如果你已为本视频分离出了音乐和人声,样本只取自人声。插件设置中的 Fallback reference clip 仅在无法剪出样本时使用。
Subtitld 会把字幕文字连同样本一起发送,VoxCPM2 接着样本往下说,这样最接近说话人,连说话方式也一样。如果配成另一种语言后仍带有说话人的口音,请开启 Clone the timbre only。
描述的声音
VoxCPM2 每次读到描述时都会生成一个新的声音。因此插件只为每位说话人生成一次声音,该说话人的每句台词都复用它:声音在整个视频中保持一致,而两位使用相同描述的说话人听起来仍是两个人。
模型
只有一个模型 VoxCPM2。它不在插件里:第一次配音时,会从 Hugging Face 按固定版本下载到 Subtitld 的共享模型缓存中,并校验每个文件。下载中断后会从中断处继续。更新或移除插件时模型会保留。
| 模型 | 下载 | 适合 |
|---|---|---|
| VoxCPM2 (2.4B) 默认 voxcpm2 | 所有声音,全部 30 种语言 |
第一句台词还要加载模型,所以比之后的台词更慢。取消会在两个步骤之间停止当前台词,或停止下载。
选项
在 设置 › 插件 › VoxCPM2 (offline, voice clone, 30 languages) › 配置 中。
auto“自动”在 Apple Silicon Mac 上使用 GPU,其他情况下使用 CPU。此构建版本不使用 NVIDIA 显卡。
auto“自动”适合几乎所有电脑。float32 稍快一些,但需要约 11 GB 内存。
10步数越多,语音越清晰,速度越慢。5 步比 10 步快约四分之一,但清晰度明显下降。
2How closely the speech follows the text and the voice. VoxCPM's default is 2.0.
0设为 0 时,在同时带有能效核心的 CPU 上会选用性能核心。线程越少,配音时电脑越流畅。
用于“Voice you describe”声音:用几个词写出谁在说话、怎么说,例如“An elderly woman, soft and warm voice, slow pace”。英文描述适用于所有语言。
当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:3 到 15 秒、一个人说话。
上面这段音频中所说的原话。有了它,克隆会更接近说话人。
只克隆声音的音色,不模仿片段中的说话方式。当配成另一种语言后仍带有说话人的口音,或你的字幕是对原话的意译时,可以试试。
语言
阿拉伯语、缅甸语、中文、丹麦语、荷兰语、英语、芬兰语、法语、德语、希腊语、希伯来语、印地语、印度尼西亚语、意大利语、日语、高棉语、韩语、老挝语、马来语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、斯瓦希里语、瑞典语、他加禄语、泰语、土耳其语和越南语。VoxCPM2 从文本本身判断语言,因此每个声音都能说每种语言。
armyzhdanlenfifrdeelhehiiditjakmkolomsnoplptruesswsvtlthtrvi
平台
| 系统 | 下载 | 已测试 |
|---|---|---|
| Linux x86-64 | 312.0 MB | 在真实机器上用真实模型配音;在 CI 中构建并检查 |
| macOS (Apple 芯片) | 318.0 MB | 在 CI 中构建并检查(Apple Silicon) |
| Windows x86-64 | 204.6 MB | 在 CI 中构建并检查 |
Linux x86-64、Apple Silicon 上的 macOS 和 Windows x86-64。每个版本都在这三个平台上构建,CI 会检查说话所需的一切都已包含在构建中。CI 不运行模型本身。
故障排除
network_unavailable无法下载模型。请检查网络连接后重试:下载会继续。disk_full磁盘空间不足,无法存放模型。需要约 5 GB 可用空间。oom内存不足。请关闭其他程序;VoxCPM2 需要约 7 GB 可用内存,float32 下需要 11 GB。bad_params台词没有文字,或者克隆的声音没有获得样本:请打开视频,或设置 Fallback reference clip。错误信息会说明是哪一种。unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。internal插件内部出错;错误信息中有详细说明。如果你更改过 Inference device,请把它改回“自动”。
许可
可用于商业工作:插件、VoxCPM 和 VoxCPM2 权重均为 Apache-2.0。你制作的配音归你所有。克隆的声音听起来像真实的人:只克隆你有权使用的声音,并在必要时说明配音是合成的。
版本
- 0.0.1
Text-to-speech for Subtitld with OpenBMB's VoxCPM2: 30 languages at 48 kHz, in the speaker's own voice cloned from the video, or in a voice made from a description.
The archive holds the add-on and a CPU build of PyTorch. The 4.96 GB model downloads on the first synthesis, at a pinned revision, checked by sha256. Plan for about 7 GB of free memory; on a CPU each second of speech takes several seconds to make.
The add-on, VoxCPM and the VoxCPM2 weights are Apache-2.0. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isvoxcpm-<version>-libquadmath-source.tar.gzin this release.
其他语音插件
-
Piper 离线
49 种语言的 158 个离线声音,每个都是单独的小型下载。
-
Kokoro 离线
9 种语言的 54 个离线声音,全部来自同一个 82 MB 的模型。
-
Supertonic 离线
十个离线声音,每个都能朗读其全部 31 种语言。
-
sanoTTS 离线
微型离线声音,14 种语言共 28 个,每个都不到 10 MB。
-
Parler-TTS 离线
由文字描述驱动的英语声音,共 34 个具名说话人。
-
Qwen3-TTS 克隆
十种语言,九个声音,并可从 3 秒的说话人声音进行克隆。
-
Coqui XTTS 克隆
16 种语言的声音克隆,模型许可仅限非商业用途。
-
F5-TTS 克隆
仅提供声音克隆,支持英语和中文;模型为非商业用途。