VoxCPM2 (offline, voice clone, 30 languages)

语音离线可选 GPU语音克隆允许商用

使用 OpenBMB 的 VoxCPM2,把你的字幕配音成 30 种语言:用从视频中克隆的每位说话人自己的声音,或用一段描述生成的声音。它在你自己的电脑上运行,插件、代码和权重均为 Apache-2.0。

在 Subtitld 中安装

设置 插件 VoxCPM2 (offline, voice clone, 30 languages) 安装

Subtitld 会下载它、校验其 SHA-256,并保持更新。

GitHub 上的源代码
语言
30
模型
1
语音
9
插件下载量
205–318 MB
内存,至少
7 GB

功能说明

说话人自己的声音

Subtitld 从视频中为每位说话人剪出一段片段,连同其中所说的话一起发送。VoxCPM2 接着这段片段往下说,因此配音听起来就像画面中的人,30 种语言都可以。

或你描述的声音

七个现成的声音,从温暖的女声到沙哑的老年男声,再到旁白;也可以用你自己的话:“一个年轻男子,语速快,语气欢快”。

录音棚音质

语音以 48 kHz 输出,与视频使用的采样率相同。

可免费用于商业工作

插件、VoxCPM 的代码和 VoxCPM2 权重均为 Apache-2.0。

安装之前

VoxCPM2 是一个大模型,有 24 亿参数。它在离线插件中配音最自然,对电脑的要求也最高:

  • 磁盘: 约 5.6 GB,其中大部分是 4.96 GB 的模型,在你配音第一句台词时下载。
  • 内存: 约 7 GB 可用。内存更少也能运行,但会慢得多。
  • 时间: 在 CPU 上,每秒语音需要几秒钟生成:在 Intel Core i7-13700T 上需要 5 到 6 秒。十分钟的视频可能需要大约一小时。在 Apple Silicon Mac 上它使用 GPU 运行。

如果想在配置一般的电脑上快速配音,Piper 或 Kokoro 要轻得多。

声音

在 说话人 标签页中,把 VoxCPM2 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕。

9 种语音.

克隆的声音

选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条 3 到 12 秒的字幕,或把几条短字幕拼接起来。如果你已为本视频分离出了音乐和人声,样本只取自人声。插件设置中的 Fallback reference clip 仅在无法剪出样本时使用。

Subtitld 会把字幕文字连同样本一起发送,VoxCPM2 接着样本往下说,这样最接近说话人,连说话方式也一样。如果配成另一种语言后仍带有说话人的口音,请开启 Clone the timbre only。

描述的声音

VoxCPM2 每次读到描述时都会生成一个新的声音。因此插件只为每位说话人生成一次声音,该说话人的每句台词都复用它:声音在整个视频中保持一致,而两位使用相同描述的说话人听起来仍是两个人。

模型

只有一个模型 VoxCPM2。它不在插件里:第一次配音时,会从 Hugging Face 按固定版本下载到 Subtitld 的共享模型缓存中,并校验每个文件。下载中断后会从中断处继续。更新或移除插件时模型会保留。

模型 下载适合
VoxCPM2 (2.4B) 默认 voxcpm2
4.7 GB
所有声音,全部 30 种语言

第一句台词还要加载模型,所以比之后的台词更慢。取消会在两个步骤之间停止当前台词,或停止下载。

选项

在 设置 › 插件 › VoxCPM2 (offline, voice clone, 30 languages) › 配置 中。

Inference device
默认: auto

“自动”在 Apple Silicon Mac 上使用 GPU,其他情况下使用 CPU。此构建版本不使用 NVIDIA 显卡。

Weight precision
默认: auto

“自动”适合几乎所有电脑。float32 稍快一些,但需要约 11 GB 内存。

Quality steps
默认: 10

步数越多,语音越清晰,速度越慢。5 步比 10 步快约四分之一,但清晰度明显下降。

Guidance
默认: 2

How closely the speech follows the text and the voice. VoxCPM's default is 2.0.

CPU threads
默认: 0

设为 0 时,在同时带有能效核心的 CPU 上会选用性能核心。线程越少,配音时电脑越流畅。

Voice description
默认: 空

用于“Voice you describe”声音:用几个词写出谁在说话、怎么说,例如“An elderly woman, soft and warm voice, slow pace”。英文描述适用于所有语言。

Fallback reference clip
默认: 空

当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:3 到 15 秒、一个人说话。

Fallback reference transcript
默认: 空

上面这段音频中所说的原话。有了它,克隆会更接近说话人。

Clone the timbre only
默认: 关

只克隆声音的音色,不模仿片段中的说话方式。当配成另一种语言后仍带有说话人的口音,或你的字幕是对原话的意译时,可以试试。

语言

阿拉伯语、缅甸语、中文、丹麦语、荷兰语、英语、芬兰语、法语、德语、希腊语、希伯来语、印地语、印度尼西亚语、意大利语、日语、高棉语、韩语、老挝语、马来语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、斯瓦希里语、瑞典语、他加禄语、泰语、土耳其语和越南语。VoxCPM2 从文本本身判断语言,因此每个声音都能说每种语言。

  • ar
  • my
  • zh
  • da
  • nl
  • en
  • fi
  • fr
  • de
  • el
  • he
  • hi
  • id
  • it
  • ja
  • km
  • ko
  • lo
  • ms
  • no
  • pl
  • pt
  • ru
  • es
  • sw
  • sv
  • tl
  • th
  • tr
  • vi

平台

系统 下载已测试
Linux x86-64 312.0 MB在真实机器上用真实模型配音;在 CI 中构建并检查
macOS (Apple 芯片) 318.0 MB在 CI 中构建并检查(Apple Silicon)
Windows x86-64 204.6 MB在 CI 中构建并检查

Linux x86-64、Apple Silicon 上的 macOS 和 Windows x86-64。每个版本都在这三个平台上构建,CI 会检查说话所需的一切都已包含在构建中。CI 不运行模型本身。

故障排除

  • network_unavailable无法下载模型。请检查网络连接后重试:下载会继续。
  • disk_full磁盘空间不足,无法存放模型。需要约 5 GB 可用空间。
  • oom内存不足。请关闭其他程序;VoxCPM2 需要约 7 GB 可用内存,float32 下需要 11 GB。
  • bad_params台词没有文字,或者克隆的声音没有获得样本:请打开视频,或设置 Fallback reference clip。错误信息会说明是哪一种。
  • unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。
  • internal插件内部出错;错误信息中有详细说明。如果你更改过 Inference device,请把它改回“自动”。

许可

插件
Apache-2.0
引擎
Apache-2.0
VoxCPM,来自 OpenBMB
模型
Apache-2.0
VoxCPM2 权重

可用于商业工作:插件、VoxCPM 和 VoxCPM2 权重均为 Apache-2.0。你制作的配音归你所有。克隆的声音听起来像真实的人:只克隆你有权使用的声音,并在必要时说明配音是合成的。

版本

  • 0.0.1

    Text-to-speech for Subtitld with OpenBMB's VoxCPM2: 30 languages at 48 kHz, in the speaker's own voice cloned from the video, or in a voice made from a description.

    The archive holds the add-on and a CPU build of PyTorch. The 4.96 GB model downloads on the first synthesis, at a pinned revision, checked by sha256. Plan for about 7 GB of free memory; on a CPU each second of speech takes several seconds to make.

    The add-on, VoxCPM and the VoxCPM2 weights are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is voxcpm-<version>-libquadmath-source.tar.gz in this release.

其他语音插件

更新于 · 来自插件目录 报告此插件的问题