VoxMel 离线、语音克隆、2 种语言

语音离线可选 GPU语音克隆允许商用

使用 VoxDance Lab 的 VoxMel,把你的字幕配音成英语和普通话:用从视频及其字幕中精准克隆的每位说话人自己的声音,或用八个预设声音之一。它在你自己的电脑上运行,插件、模型和声音均为 Apache-2.0。

在 Subtitld 中安装

设置 插件 VoxMel (offline, voice clone, 2 languages) 安装

Subtitld 会下载它、校验其 SHA-256,并保持更新。

GitHub 上的源代码
语言
2
模型
1
语音
9
插件下载量
15–19 MB
内存,至少
2 GB

试听

功能说明

精准克隆

Subtitld 从视频中为每位说话人剪出几秒钟,连同其中所说的字幕一起发送。VoxMel 精准克隆这个声音,配成英语或普通话。

八个预设声音

每种语言两个女声、两个男声,供你不想克隆的说话人使用。它们由 VoxMel 自己生成:没有为此录制任何真人的声音。

对克隆模型来说很快

在较新的笔记本电脑处理器上,一句克隆台词每秒语音需要两到四秒。

可免费用于商业工作

插件、audio.cpp 引擎、VoxMel 权重和预设声音均为 Apache-2.0。

安装之前

  • 磁盘: 约 1.2 GB,其中大部分是 1.04 GB 的模型,在你配音第一句台词时下载。
  • 内存: 约 2 GB 可用。
  • 时间: 在 Intel Core i7-13700T 上,用说话人自己声音的一句台词,每秒语音需要两到四秒。在 Apple Silicon Mac 上它使用 GPU 运行。
  • 语言: 仅支持英语和普通话。其他语言可以用 VoxCPM2(30 种语言)或 OmniVoice(646 种语言)克隆声音。

声音

在 说话人 标签页中,把 VoxMel 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕:VoxMel 本身无法控制语速。

9 种语音 支持 2 种语言.

  • en 4
  • zh 4

克隆的声音

选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条 3 到 12 秒的字幕,或把几条短字幕拼接起来,并把字幕文字一起发送。VoxMel 既需要样本,也需要样本中的文字。插件设置中的 Fallback reference clip 及其文字稿仅在无法剪出样本时使用。

VoxMel 在同一种语言内克隆效果最好。为说普通话的人配英语效果很好;为说英语的人配普通话,有些词可能会含糊不清。

Clone the timbre only 不适用于此插件,因为 VoxMel 没有样本的文字就无法克隆。对使用 VoxMel 的说话人,请保持关闭。

预设声音

每个预设都是 VoxMel 在没有任何参考录音的情况下生成的一小段音频,并保存了它的准确文字。使用预设的说话人,每句台词都克隆这段音频,因此声音在整个视频中保持一致。英语预设适合英语台词,普通话预设适合普通话台词。

模型

只有一个模型:VoxMel 0.6B 及其 Vocos 声码器,权重以 8 位存储,即 audio.cpp 项目转换后的版本。它不在插件里:第一次配音时,会从 Hugging Face 按固定版本下载到 Subtitld 的共享模型缓存中,并进行校验。下载中断后会从中断处继续。更新或移除插件时模型会保留。

模型 下载适合
VoxMel 0.6B (8-bit) 默认 voxmel
992 MB
所有声音,英语和普通话

第一句台词还要加载模型,所以比之后的台词更慢。在 Apple Silicon Mac 上,第一次使用时插件还会在 GPU 上说一句简短的测试台词,如果不行就改用 CPU。取消会在两个步骤之间停止当前台词,或停止下载。

选项

在 设置 › 插件 › VoxMel (offline, voice clone, 2 languages) › 配置 中。

Quality steps
默认: 32

VoxMel 描绘每一瞬间语音的精细程度。32 是 VoxMel 自己的设置;更少则更快,但细节更少。

Text guidance
默认: 3.5

语音贴合文字的程度。3.5 是 VoxMel 自己的设置。

Voice guidance
默认: 3

克隆的声音贴合片段的程度。3.0 是 VoxMel 自己的设置;更高可能听起来更像,也可能显得生硬。

CPU threads
默认: 0

设为 0 时,在同时带有能效核心的 CPU 上会选用性能核心。线程越少,配音时电脑越流畅。

Fallback reference clip
默认: 空

当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:3 到 15 秒、一个人说话。

Fallback reference transcript
默认: 空

备用片段中所说的内容,逐字照录。VoxMel 根据片段及其文字来克隆,因此没有它,备用片段会被拒绝。

语言

英语和中文(普通话)。VoxMel 会从文本中判断语言。

  • en
  • zh

平台

系统 下载已测试
Linux x86-64 18.8 MB在真实机器上以及 AlmaLinux 8 上用真实模型配音;在 CI 中,安装好的插件会下载模型、说话、克隆声音并取消一句台词
macOS (Apple 芯片) 18.1 MB在 CI 中,安装好的插件会下载模型、说话、克隆声音并取消一句台词(Apple Silicon)
Windows x86-64 15.4 MB在 CI 中,安装好的插件会下载模型、说话、克隆声音并取消一句台词

Linux x86-64(2018 年以来的任何发行版,glibc 2.28 或更新)、Apple Silicon 上的 macOS 13.3 或更新版本,以及 Windows x86-64。每个版本都在这三个平台上构建,并且在每个平台上,CI 都会安装插件、下载模型,让它说话、克隆声音并取消一句台词。

故障排除

  • network_unavailable无法下载模型。请检查网络连接后重试:下载会继续。
  • disk_full磁盘空间不足,无法存放模型。需要约 1.2 GB 可用空间。
  • oom内存不足。请关闭其他程序;VoxMel 需要约 2 GB 可用内存。
  • bad_params台词没有文字,或者克隆的声音没有获得样本或样本的文字。错误信息会说明是哪一种。使用克隆的声音时,请打开视频,并保持 Clone the timbre only 关闭。
  • unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。
  • internal插件内部出错;错误信息中有详细说明。

许可

插件
Apache-2.0
包括其八个预设声音
引擎
Apache-2.0
audio.cpp,使用 ggml(MIT)
模型
Apache-2.0
VoxMel 0.6B 权重,来自 VoxDance Lab;Vocos 声码器为 MIT

可用于商业工作:插件及其预设声音、audio.cpp 引擎和 VoxMel 权重均为 Apache-2.0,Vocos 声码器和 ggml 为 MIT。你制作的配音归你所有。克隆的声音听起来像真实的人:只克隆你有权使用的声音,并在必要时说明配音是合成的。

版本

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

其他语音插件

更新于 · 来自插件目录 报告此插件的问题