ZONOS3-Mini 离线、语音克隆、43 种语言
使用 Zyphra 的 ZONOS3-Mini,把你的字幕配音成 43 种语言:用 27 个声音之一,或用从视频中几秒钟克隆出的每位说话人自己的声音。它在你自己电脑的处理器上运行,无需显卡,速度约为实时的两倍。
设置 插件 ZONOS3-Mini (offline, voice clone, 43 languages) 安装
Subtitld 会下载它、校验其 SHA-256,并保持更新。
- 语言
- 43
- 模型
- 2
- 语音
- 28
- 插件下载量
- 19–24 MB
- 内存,至少
- 2 GB
功能说明
从阿拉伯语、孟加拉语和保加利亚语,到土耳其语、乌尔都语和越南语,包括日语、韩语、普通话、印地语以及另外八种印度语言。数字、日期、价格和单位都按各语言自己的语法读出。
Subtitld 从视频中为每位说话人剪出一段样本,随每句台词一起发送。ZONOS3-Mini 可以用它支持的任何一种语言克隆这个声音。也可以从 27 个声音中挑一个。
每句台词在朗读过程中都会被检查,因此不会漏掉词语;文字读完就停下,不会继续说出字幕里没有的话。
模型只下载一次,就在台词第一次需要它时。此后,没有任何内容会离开你的电脑。
安装之前
- 磁盘: 模型 1,115 MB,在第一句台词时下载;第一次使用说话人自己的声音时,另需 45 MB。
- 内存: 说话时约 1.6 GB。
- 时间: 在 Intel Core i7-13700T 上,生成一秒语音约需半秒。第一句台词还要多等约 4 秒,用于加载模型;用说话人自己的声音说的第一句台词还要多等约 5 秒,用于学习这个声音。
- 处理器: 支持 AVX2 的 64 位 Intel 或 AMD 处理器(Intel 自 2013 年起,AMD 自 2015 年起),或 Apple Silicon。不使用显卡。
声音
在 说话人 标签页中,把 ZONOS3-Mini 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕。
28 种语音.
| 录制语言 | 女声 | 男声 |
|---|---|---|
| 英语 | Imogen(英国), Morgana(女巫), Sakura(动漫), Savannah(美国), Willow(ASMR) | Cillian(爱尔兰), Jett(活力), Rupert(英国), Thaddeus(播音员), Wyatt(美国) |
| 法语 | Gaspard | |
| 德语 | Liesel | Wolfgang |
| 印地语 | Ananya | Arjun |
| 意大利语 | Ginevra | Lorenzo |
| 韩语 | Seoyeon | Minjun |
| 普通话 | Meilin(活力) | Haoran(活力) |
| 葡萄牙语 | Leonor | Thiago |
| 西班牙语 | Ximena | Rodrigo |
| 泰卢固语 | Sravya | Chaitanya |
这些是 Zyphra 自己的默认声音。每个声音都能说每种语言,但带有其录制语言的口音,而在另一种语言中,这种口音可能很重:用英语声音说俄语会很难听懂。对于这里没有自己声音的语言,请使用说话人自己的声音。
选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条字幕,或把几条短字幕拼接起来。如果你已为本视频分离出了音乐和人声,样本只取自人声。插件设置中的 Fallback reference clip 仅在无法剪出样本时使用。
ZONOS3-Mini 最多会听样本的一分钟,复制的是声音,而不是说的内容或说话方式。最好的样本是靠近麦克风录制的干净语音:噪音和回声会让克隆的声音不那么像说话人,电话录音则会得到电话里那样的声音。
模型
模型不在插件里:它会在台词第一次需要它时,从 Zyphra 的 Hugging Face 仓库按固定版本下载到 Subtitld 的共享模型缓存中,并校验每个文件。下载中断后会从中断处继续。更新或移除插件时它会保留。
| 模型 | 下载 | 适合 |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) 默认 zonos3-mini | 每一句台词,每种语言和每个声音 | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | 说话人自己的声音,第一次用某个声音配音时 |
插件运行 Zyphra 自己的 ggml 运行时,与 Zyphra 本地服务器的代码相同,内置在插件中,不需要 PyTorch。
如果不加干预,模型有时会在一句短台词之后继续说下去,加上几个字幕里没有的词。因此每句台词都在 LACI 下运行,这是 Zyphra 的对齐检查:它跟踪文字的哪一部分正在被说出,重来被跳过或卡住的段落,并在文字读完后停止这句台词。然后插件会在这一点之后的第一个静音处截断台词。这种截断是插件自己的规则,不是 Zyphra 的。在我们对短字幕台词的测试中,这样做后 64 句中有 61 句干净无误,而不这样做只有 37 句。生成出来是无声的台词会重新生成。
选项
在 设置 › 插件 › ZONOS3-Mini (offline, voice clone, 43 languages) › 配置 中。
0设为 0 时使用电脑的逻辑处理器,最多 8 个。更多线程很少会更快;线程越少,配音时电脑越流畅。
当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:5 到 20 秒、一个人说话、干净清晰,不要用电话录音。
语言
阿拉伯语、孟加拉语、保加利亚语、中文(普通话)、捷克语、丹麦语、荷兰语、英语、芬兰语、法语、格鲁吉亚语、德语、希腊语、古吉拉特语、希伯来语、印地语、匈牙利语、印度尼西亚语、意大利语、日语、卡纳达语、韩语、马来语、马拉雅拉姆语、马拉地语、挪威语、奥里亚语、波兰语、葡萄牙语、旁遮普语、罗马尼亚语、俄语、斯洛伐克语、西班牙语、瑞典语、他加禄语、泰米尔语、泰卢固语、泰语、土耳其语、乌克兰语、乌尔都语和越南语。其他语言的项目会收到相应的提示:请为它选择另一个配音引擎。
英语跟随项目的地区:英国、爱尔兰、澳大利亚、新西兰、南非和印度使用英式英语,其他地区使用美式英语。葡萄牙语按巴西葡萄牙语朗读,法语按法国法语朗读。
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
平台
| 系统 | 下载 | 已测试 |
|---|---|---|
| Linux x86-64 | 19.0 MB | 在 AlmaLinux 8 上用发布归档中的真实模型配音,并在 CI 中配音 |
| macOS (Apple 芯片) | 24.0 MB | 在 CI 中用真实模型配音(Apple Silicon) |
| Windows x86-64 | 18.5 MB | 在 CI 中用真实模型配音 |
Linux x86-64、Apple Silicon 上的 macOS 和 Windows x86-64。每个版本都在这三个平台上构建,并且在每个平台上,CI 都会像 Subtitld 那样安装插件,下载模型,并用六种语言配音台词,外加一句短台词和一个克隆的声音。
故障排除
network_unavailable无法下载模型。请检查网络连接后重试:下载会继续。disk_full磁盘空间不足,无法存放模型:需要 1,115 MB,说话人自己的声音还需 45 MB。unsupported_language项目的语言不在这 43 种之中,或尚未设置。请在项目中设置语言,或选择另一个配音引擎。unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。bad_params台词没有文字,或者克隆的声音没有获得样本:请打开视频,或设置 Fallback reference clip。错误信息会说明是哪一种。out_of_memory电脑内存不足。请关闭其他程序:ZONOS3-Mini 需要约 2 GB 可用内存。internal插件内部出错;错误信息中有详细说明。在不支持 AVX2 的较旧处理器上,错误信息会说明这一点。
许可
插件为 Apache-2.0。ZONOS3-Mini 的权重及其默认声音为 Apache-2.0,Zyphra 的运行时为 MIT,因此可以用于商业工作。文本读法部分 zyphra-textnorm 为 MIT,其语法移植自 NVIDIA 的 NeMo-text-processing(Apache-2.0),数据来自 Unicode CLDR。
你制作的配音归你所有。克隆的声音听起来像真实的人:只克隆你有权使用的声音,并在要紧的场合说明配音是合成的。
版本
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
其他语音插件
-
Piper 离线
49 种语言的 158 个离线声音,每个都是单独的小型下载。
-
Kokoro 离线
9 种语言的 54 个离线声音,全部来自同一个 82 MB 的模型。
-
Supertonic 离线
十个离线声音,每个都能朗读其全部 31 种语言。
-
sanoTTS 离线
微型离线声音,14 种语言共 28 个,每个都不到 10 MB。
-
Parler-TTS 离线
由文字描述驱动的英语声音,共 34 个具名说话人。
-
Qwen3-TTS 克隆
十种语言,九个声音,并可从 3 秒的说话人声音进行克隆。
-
Coqui XTTS 克隆
16 种语言的声音克隆,模型许可仅限非商业用途。
-
F5-TTS 克隆
仅提供声音克隆,支持英语和中文;模型为非商业用途。
-
VoxCPM2 克隆
48 kHz,30 种语言,用说话人自己的声音或描述出的声音。占用资源较多。
-
Pocket TTS 离线
快速轻量,仅用 CPU。七种欧洲语言,23 个声音。
-
Sopro 克隆
说话人自己的声音,在 CPU 上也很快。四种语言。
-
KittenTTS 2 克隆
说话人自己的声音,16 种语言,在 CPU 上运行。权重采用限制性许可。
-
Ming-3.0-tts 克隆
44.1 kHz,7 种语言:克隆、内置或描述出的声音,带情绪。占用资源较多。
-
Scylla's Band 离线
14 个声音,六种语言,在 CPU 上轻快运行。仅限内置声音。
-
Audio8 TTS 克隆
说话人自己的声音,11 种语言,包括粤语。在 CPU 上较慢。
-
Inflect 离线
小小的模型,自然的英语语音,在任何 CPU 上都很快。
-
Paradee 离线
四个自然的英语声音,美式和英式,全部来自一个 8.5 MB 的模型。
-
BlueTTS 克隆
希伯来语和意第绪语,外加五种语言。说话人自己的声音,在 CPU 上也很快。
-
Chatterbox 克隆
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…