VoxMel 离线、语音克隆、2 种语言
使用 VoxDance Lab 的 VoxMel,把你的字幕配音成英语和普通话:用从视频及其字幕中精准克隆的每位说话人自己的声音,或用八个预设声音之一。它在你自己的电脑上运行,插件、模型和声音均为 Apache-2.0。
设置 插件 VoxMel (offline, voice clone, 2 languages) 安装
Subtitld 会下载它、校验其 SHA-256,并保持更新。
- 语言
- 2
- 模型
- 1
- 语音
- 9
- 插件下载量
- 15–19 MB
- 内存,至少
- 2 GB
试听
功能说明
Subtitld 从视频中为每位说话人剪出几秒钟,连同其中所说的字幕一起发送。VoxMel 精准克隆这个声音,配成英语或普通话。
每种语言两个女声、两个男声,供你不想克隆的说话人使用。它们由 VoxMel 自己生成:没有为此录制任何真人的声音。
在较新的笔记本电脑处理器上,一句克隆台词每秒语音需要两到四秒。
插件、audio.cpp 引擎、VoxMel 权重和预设声音均为 Apache-2.0。
安装之前
- 磁盘: 约 1.2 GB,其中大部分是 1.04 GB 的模型,在你配音第一句台词时下载。
- 内存: 约 2 GB 可用。
- 时间: 在 Intel Core i7-13700T 上,用说话人自己声音的一句台词,每秒语音需要两到四秒。在 Apple Silicon Mac 上它使用 GPU 运行。
- 语言: 仅支持英语和普通话。其他语言可以用 VoxCPM2(30 种语言)或 OmniVoice(646 种语言)克隆声音。
声音
在 说话人 标签页中,把 VoxMel 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕:VoxMel 本身无法控制语速。
9 种语音 支持 2 种语言.
en4zh4
克隆的声音
选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条 3 到 12 秒的字幕,或把几条短字幕拼接起来,并把字幕文字一起发送。VoxMel 既需要样本,也需要样本中的文字。插件设置中的 Fallback reference clip 及其文字稿仅在无法剪出样本时使用。
VoxMel 在同一种语言内克隆效果最好。为说普通话的人配英语效果很好;为说英语的人配普通话,有些词可能会含糊不清。
Clone the timbre only 不适用于此插件,因为 VoxMel 没有样本的文字就无法克隆。对使用 VoxMel 的说话人,请保持关闭。
预设声音
每个预设都是 VoxMel 在没有任何参考录音的情况下生成的一小段音频,并保存了它的准确文字。使用预设的说话人,每句台词都克隆这段音频,因此声音在整个视频中保持一致。英语预设适合英语台词,普通话预设适合普通话台词。
模型
只有一个模型:VoxMel 0.6B 及其 Vocos 声码器,权重以 8 位存储,即 audio.cpp 项目转换后的版本。它不在插件里:第一次配音时,会从 Hugging Face 按固定版本下载到 Subtitld 的共享模型缓存中,并进行校验。下载中断后会从中断处继续。更新或移除插件时模型会保留。
| 模型 | 下载 | 适合 |
|---|---|---|
| VoxMel 0.6B (8-bit) 默认 voxmel | 所有声音,英语和普通话 |
第一句台词还要加载模型,所以比之后的台词更慢。在 Apple Silicon Mac 上,第一次使用时插件还会在 GPU 上说一句简短的测试台词,如果不行就改用 CPU。取消会在两个步骤之间停止当前台词,或停止下载。
选项
在 设置 › 插件 › VoxMel (offline, voice clone, 2 languages) › 配置 中。
32VoxMel 描绘每一瞬间语音的精细程度。32 是 VoxMel 自己的设置;更少则更快,但细节更少。
3.5语音贴合文字的程度。3.5 是 VoxMel 自己的设置。
3克隆的声音贴合片段的程度。3.0 是 VoxMel 自己的设置;更高可能听起来更像,也可能显得生硬。
0设为 0 时,在同时带有能效核心的 CPU 上会选用性能核心。线程越少,配音时电脑越流畅。
当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:3 到 15 秒、一个人说话。
备用片段中所说的内容,逐字照录。VoxMel 根据片段及其文字来克隆,因此没有它,备用片段会被拒绝。
语言
英语和中文(普通话)。VoxMel 会从文本中判断语言。
enzh
平台
| 系统 | 下载 | 已测试 |
|---|---|---|
| Linux x86-64 | 18.8 MB | 在真实机器上以及 AlmaLinux 8 上用真实模型配音;在 CI 中,安装好的插件会下载模型、说话、克隆声音并取消一句台词 |
| macOS (Apple 芯片) | 18.1 MB | 在 CI 中,安装好的插件会下载模型、说话、克隆声音并取消一句台词(Apple Silicon) |
| Windows x86-64 | 15.4 MB | 在 CI 中,安装好的插件会下载模型、说话、克隆声音并取消一句台词 |
Linux x86-64(2018 年以来的任何发行版,glibc 2.28 或更新)、Apple Silicon 上的 macOS 13.3 或更新版本,以及 Windows x86-64。每个版本都在这三个平台上构建,并且在每个平台上,CI 都会安装插件、下载模型,让它说话、克隆声音并取消一句台词。
故障排除
network_unavailable无法下载模型。请检查网络连接后重试:下载会继续。disk_full磁盘空间不足,无法存放模型。需要约 1.2 GB 可用空间。oom内存不足。请关闭其他程序;VoxMel 需要约 2 GB 可用内存。bad_params台词没有文字,或者克隆的声音没有获得样本或样本的文字。错误信息会说明是哪一种。使用克隆的声音时,请打开视频,并保持 Clone the timbre only 关闭。unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。internal插件内部出错;错误信息中有详细说明。
许可
可用于商业工作:插件及其预设声音、audio.cpp 引擎和 VoxMel 权重均为 Apache-2.0,Vocos 声码器和 ggml 为 MIT。你制作的配音归你所有。克隆的声音听起来像真实的人:只克隆你有权使用的声音,并在必要时说明配音是合成的。
版本
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
其他语音插件
-
Piper 离线
49 种语言的 158 个离线声音,每个都是单独的小型下载。
-
Kokoro 离线
9 种语言的 54 个离线声音,全部来自同一个 82 MB 的模型。
-
Supertonic 离线
十个离线声音,每个都能朗读其全部 31 种语言。
-
sanoTTS 离线
微型离线声音,14 种语言共 28 个,每个都不到 10 MB。
-
Parler-TTS 离线
由文字描述驱动的英语声音,共 34 个具名说话人。
-
Qwen3-TTS 克隆
十种语言,九个声音,并可从 3 秒的说话人声音进行克隆。
-
Coqui XTTS 克隆
16 种语言的声音克隆,模型许可仅限非商业用途。
-
F5-TTS 克隆
仅提供声音克隆,支持英语和中文;模型为非商业用途。
-
VoxCPM2 克隆
48 kHz,30 种语言,用说话人自己的声音或描述出的声音。占用资源较多。
-
Pocket TTS 离线
快速轻量,仅用 CPU。七种欧洲语言,23 个声音。
-
Sopro 克隆
说话人自己的声音,在 CPU 上也很快。四种语言。
-
KittenTTS 2 克隆
说话人自己的声音,16 种语言,在 CPU 上运行。权重采用限制性许可。
-
Ming-3.0-tts 克隆
44.1 kHz,7 种语言:克隆、内置或描述出的声音,带情绪。占用资源较多。
-
Scylla's Band 离线
14 个声音,六种语言,在 CPU 上轻快运行。仅限内置声音。
-
Audio8 TTS 克隆
说话人自己的声音,23 种语言,包括粤语和阿拉伯语。在 CPU 上较慢。
-
Inflect 离线
小小的模型,自然的英语语音,在任何 CPU 上都很快。
-
Paradee 离线
四个自然的英语声音,美式和英式,全部来自一个 8.5 MB 的模型。
-
BlueTTS 克隆
希伯来语和意第绪语,外加五种语言。说话人自己的声音,在 CPU 上也很快。
-
ZONOS3-Mini 克隆
43 种语言,从阿拉伯语到越南语。说话人自己的声音,在 CPU 上运行。
-
Reverb 克隆
七种欧洲语言,以及说话人自己的声音,在 CPU 上运行;模型为非商业用途。
-
OmniVoice 克隆
646 种语言,跨语言保留说话人自己的声音;模型为非商业用途。
-
tiny-voca 离线
两个美式英语声音,来自一个 450 万参数的模型,无需下载任何东西。
-
Chatterbox 克隆
说话人自己的声音说 20 种语言,在 CPU 上运行,无需账号。