Chatterbox 离线、语音克隆、20 种语言
使用 Resemble AI 的 Chatterbox,把你的字幕配音成 20 种语言:用从视频中几秒钟克隆出的每位说话人自己的声音,或用 8 个预设声音之一。克隆的声音能说每一种语言,无论片段本身是什么语言。它在你自己电脑的处理器上运行,无需显卡,速度约为实时。
设置 插件 Chatterbox (offline, voice clone, 20 languages) 安装
Subtitld 会下载它、校验其 SHA-256,并保持更新。
- 语言
- 20
- 模型
- 2
- 语音
- 9
- 插件下载量
- 39–62 MB
- 内存,至少
- 2 GB
试听
功能说明
Subtitld 从视频中为每位说话人剪出几秒钟,随每句台词一起发送。Chatterbox 能用其 20 种语言中的任何一种克隆这个声音,因此一位说葡萄牙语的演员被配成德语后,听起来仍然像他自己。
Multilingual 能说全部 20 种语言。Turbo 只说英语,但听起来更接近说话人,占用内存更少,还能读出字幕中写的 [laugh]、[sigh] 等标签。
它在处理器上运行,无需显卡,速度约为实时:一句 10 秒的台词大约需要 10 秒。
插件为 Apache-2.0,Chatterbox 及其模型为 MIT,预设声音是 LibriVox 朗读者,属于公有领域。
安装之前
- 磁盘: 在第一句台词时,Multilingual 下载 1.3 GB,Turbo 下载 725 MB。
- 内存: 说话时,Multilingual 约 1.7 GB,Turbo 约 1 GB。
- 处理器: 任何 64 位 Intel 或 AMD 处理器,或 Apple Silicon。不使用显卡。
只有在声音的主人同意时才克隆其声音。Chatterbox 的官方版本会在音频中加入听不见的水印;本插件不会,因此如何使用克隆的声音,责任在你。
声音
在 说话人 标签页中,把 Chatterbox 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕。
9 种语音.
选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条字幕,或把几条短字幕拼接起来。如果你已为本视频分离出了音乐和人声,样本只取自人声。插件设置中的 Fallback reference clip 仅在无法剪出样本时使用。最好的样本是 5 到 20 秒、只有该说话人在说话,没有音乐或其他人声;插件使用其中的前 10 秒。
| 预设声音 | |
|---|---|
| 女声 | 英语、葡萄牙语、法语、德语 |
| 男声 | 英语、葡萄牙语、法语、德语 |
每个预设声音都是一位用该语言朗读一本书的 LibriVox 志愿者,与 Sopro 插件中的朗读者相同。每个预设声音都能说全部 20 种语言;它自己的语言只会给它带来口音,所以想要最自然的配音,请选择与项目语言最接近的那一个。
模型
两个模型都不在插件里:第一次配音时,你所用的模型会从 Hugging Face 按固定版本下载到 Subtitld 的共享模型缓存中,并校验每个文件。下载中断后会从中断处继续。更新或移除插件时模型会保留。
| 模型 | 语言 | 下载 | 适合 |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) 默认 multilingual | | 全部 20 种语言;默认模型 | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | 仅限英语:更接近说话人,占用内存更少,并能读出 [laugh]、[sigh] 和 [cough] |
插件运行的是 Chatterbox 的 ONNX 导出版本,不需要 PyTorch。我们用英语、葡萄牙语、法语、德语、西班牙语、意大利语、俄语和波兰语的 10 个句子做了测试,每句都用两个声音克隆:Multilingual 读错了 2.4% 的词,听起来接近说话人;Turbo 在英语中一个词也没读错,听起来更加接近。
选项
在 设置 › 插件 › Chatterbox (offline, voice clone, 20 languages) › 配置 中。
multilingualTurbo 只说英语。选择 Turbo 时,其他语言的台词由 Multilingual 来说。内存中同一时间只有一个模型。
0.5仅限 Multilingual:声音中投入多少情感。0.5 是 Chatterbox 自己的默认值;越高越有戏剧性,语速也往往越快。
0设为 0 时使用电脑一半的逻辑处理器,最多 8 个。线程越少,配音时电脑越流畅。
当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:5 到 20 秒、一个人说话。
语言
阿拉伯语、丹麦语、荷兰语、英语、芬兰语、法语、德语、希腊语、印地语、意大利语、韩语、马来语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、斯瓦希里语、瑞典语和土耳其语。其他语言的项目会收到相应的提示:请为它选择另一个配音引擎。
Chatterbox 还支持希伯来语、日语和中文,但本插件没有收录:希伯来语需要第二个模型来加注元音符号,日语需要一个许可证不允许捆绑的转换工具,而中文在我们的测试中读得含混不清。
在要紧的地方,请把数字和符号写成文字。一句台词会一次读完,最长 40 秒的语音。
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
平台
| 系统 | 下载 | 已测试 |
|---|---|---|
| Linux x86-64 | 62.5 MB | 在真实机器上和 Subtitld 中用两个模型配音 |
| macOS (Apple 芯片) | 43.7 MB | 在 CI 中,安装好的插件下载模型并用它配音(Apple Silicon) |
| Windows x86-64 | 38.7 MB | 在 CI 中,安装好的插件下载模型并用它配音 |
Linux x86-64、Apple Silicon 上的 macOS 和 Windows x86-64。每个版本都在这三个平台上构建,并且在每个平台上,CI 都会像 Subtitld 那样安装插件,下载模型并用它配音。
故障排除
network_unavailable无法下载模型。请检查网络连接后重试:下载会继续。disk_full磁盘空间不足,无法存放模型:Multilingual 需要 1.3 GB,Turbo 需要 725 MB。unsupported_language项目的语言不在这 20 种之中,或尚未设置。请在项目中设置语言,或选择另一个配音引擎。unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。bad_params台词没有文字,或者克隆的声音没有获得样本:请打开视频,或设置 Fallback reference clip。错误信息会说明是哪一种。out_of_memory电脑内存不足。请关闭其他程序,或者英语选择 Turbo:它需要约 1 GB。internal插件内部出错;错误信息中有详细说明。
许可
可用于商业工作:插件为 Apache-2.0,Chatterbox 和两个模型均为 MIT。预设声音是 LibriVox 的录音,属于公有领域;英语声音经由 LibriTTS-R 提供,采用 CC-BY-4.0,插件为每个声音署名。你制作的配音归你所有。
版本
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
其他语音插件
-
Piper 离线
49 种语言的 158 个离线声音,每个都是单独的小型下载。
-
Kokoro 离线
9 种语言的 54 个离线声音,全部来自同一个 82 MB 的模型。
-
Supertonic 离线
十个离线声音,每个都能朗读其全部 31 种语言。
-
sanoTTS 离线
微型离线声音,14 种语言共 28 个,每个都不到 10 MB。
-
Parler-TTS 离线
由文字描述驱动的英语声音,共 34 个具名说话人。
-
Qwen3-TTS 克隆
十种语言,九个声音,并可从 3 秒的说话人声音进行克隆。
-
Coqui XTTS 克隆
16 种语言的声音克隆,模型许可仅限非商业用途。
-
F5-TTS 克隆
仅提供声音克隆,支持英语和中文;模型为非商业用途。
-
VoxCPM2 克隆
48 kHz,30 种语言,用说话人自己的声音或描述出的声音。占用资源较多。
-
Pocket TTS 离线
快速轻量,仅用 CPU。七种欧洲语言,23 个声音。
-
Sopro 克隆
说话人自己的声音,在 CPU 上也很快。四种语言。
-
KittenTTS 2 克隆
说话人自己的声音,16 种语言,在 CPU 上运行。权重采用限制性许可。
-
Ming-3.0-tts 克隆
44.1 kHz,7 种语言:克隆、内置或描述出的声音,带情绪。占用资源较多。
-
Scylla's Band 离线
14 个声音,六种语言,在 CPU 上轻快运行。仅限内置声音。
-
Audio8 TTS 克隆
说话人自己的声音,23 种语言,包括粤语和阿拉伯语。在 CPU 上较慢。
-
Inflect 离线
小小的模型,自然的英语语音,在任何 CPU 上都很快。
-
Paradee 离线
四个自然的英语声音,美式和英式,全部来自一个 8.5 MB 的模型。
-
BlueTTS 克隆
希伯来语和意第绪语,外加五种语言。说话人自己的声音,在 CPU 上也很快。
-
ZONOS3-Mini 克隆
43 种语言,从阿拉伯语到越南语。说话人自己的声音,在 CPU 上运行。
-
Reverb 克隆
七种欧洲语言,以及说话人自己的声音,在 CPU 上运行;模型为非商业用途。
-
OmniVoice 克隆
646 种语言,跨语言保留说话人自己的声音;模型为非商业用途。
-
VoxMel 克隆
英语和普通话,精准克隆说话人自己的声音。
-
tiny-voca 离线
两个美式英语声音,来自一个 450 万参数的模型,无需下载任何东西。