Ming-3.0-tts (offline, voice clone, 7 languages)
使用 inclusionAI 的 Ming-3.0-tts,把你的字幕配音成中文、英语、日语、韩语、德语、法语和西班牙语:用从视频中克隆的每位说话人自己的声音、它的某个内置声音,或用一段描述生成的声音,并可控制情绪和语速。它在你自己的电脑上运行,插件、代码和权重均可免费用于商业工作。
设置 插件 Ming-3.0-tts (offline, voice clone, 7 languages) 安装
Subtitld 会下载它、校验其 SHA-256,并保持更新。
- 语言
- 7
- 模型
- 1
- 语音
- 12
- 插件下载量
- 216–336 MB
- 内存,至少
- 5 GB
功能说明
Subtitld 从视频中为每位说话人剪出一段片段,连同其中所说的话一起发送。Ming-3.0-tts 接着这段片段往下说,因此配音听起来就像画面中的人,七种语言都可以。
模型训练时学过的五个声音,每句台词都相同;或者用几个词生成的声音:五个现成的声音,从温暖的女声到旁白,也可以用你自己的描述。
让克隆的声音和描述的声音以开心、悲伤、愤怒或惊讶的情绪说话,或者说得更快、更慢、更高或更低。
插件为 Apache-2.0;Ming-3.0-tts 的代码和权重为 MIT。
安装之前
Ming-3.0-tts 是一个大模型,连同其音频编解码器约有 15 亿参数。它对电脑的要求很高:
- 磁盘: 约 3.4 GB,其中大部分是 2.99 GB 的模型,在你配音第一句台词时下载。
- 内存: 约 5 GB 可用。内存更少也能运行,但会慢得多。
- 时间: 在 CPU 上,每秒语音大约需要四到五秒生成(Intel Core i7-13700T)。十分钟的视频可能需要大约四十五分钟。
如果想在配置一般的电脑上快速配音,Piper 或 Kokoro 要轻得多。
声音
在 说话人 标签页中,把 Ming-3.0-tts 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕。
12 种语音.
克隆的声音
选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条 3 到 12 秒的字幕,或把几条短字幕拼接起来。如果你已为本视频分离出了音乐和人声,样本只取自人声。插件设置中的 Fallback reference clip 仅在无法剪出样本时使用。
Subtitld 会把字幕文字连同样本一起发送,Ming-3.0-tts 接着样本往下说,这样最接近说话人,连说话方式也一样。如果配成另一种语言后仍带有说话人的口音,请开启 Clone the timbre only。
内置声音
Emma(美式)、George 和 Charlotte(英式)、Ling Xiaorou(灵小柔)和 Ling Kai(灵楷)(中文)是模型学过的说话人。每个声音在每句台词中听起来都一样,并且都能说全部七种语言。
描述的声音
Ming-3.0-tts 每次读到描述时都会生成一个新的声音。因此插件只为每位说话人生成一次声音,该说话人的每句台词都复用它:声音在整个视频中保持一致,而两位使用相同描述的说话人听起来仍是两个人。
情绪、语速、音高和音量
这些是插件的设置,因此适用于所有用克隆声音或描述的声音配音的说话人。它们是模型自带的控制项,会采用说话人声音的音色,但不采用其说话方式,而且一次只能用一项:设置了情绪时,它会覆盖语速、音高和音量。内置声音会忽略这些设置。
在中文或英语台词中,模型还会发出写在文本里的声音:[Laughter]、[Sigh]、[Breathing]、[Cough]、[Uhm] 等。
模型
只有一个模型 Ming-3.0-tts-0.5B。它不在插件里:第一次配音时,会从 Hugging Face 按固定版本下载到 Subtitld 的共享模型缓存中,并校验每个文件。下载中断后会从中断处继续。更新或移除插件时模型会保留。
| 模型 | 下载 | 适合 |
|---|---|---|
| Ming-3.0-tts (0.5B) 默认 ming-3.0-tts-0.5b | 所有声音,全部七种语言 |
第一句台词还要加载模型,所以比之后的台词更慢。取消会在两个步骤之间停止当前台词,或停止下载。
选项
在 设置 › 插件 › Ming-3.0-tts (offline, voice clone, 7 languages) › 配置 中。
auto“自动”使用处理器。也可以选择 Apple Silicon Mac 的 GPU,但尚未测试过。此构建版本不使用 NVIDIA 显卡。
0设为 0 时,在同时带有能效核心的 CPU 上会选用性能核心。线程越少,配音时电脑越流畅。
none克隆声音或描述的声音的每句台词都以这种情绪说出。它保留声音的音色,但不保留说话人的说话方式,并且会覆盖语速、音高和音量。内置声音会忽略它。
normal用于克隆声音和描述的声音,在未设置情绪时生效。和情绪一样,它只保留声音的音色。
normal同语速:用于克隆声音和描述的声音,在未设置情绪时生效。
normal同语速:用于克隆声音和描述的声音,在未设置情绪时生效。
用于“Voice you describe”声音:用几个词写出谁在说话、怎么说,例如“An elderly woman, soft and warm voice, slow pace”。英文或中文描述适用于所有语言。
当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:3 到 10 秒、一个人说话。
上面这段音频中所说的原话。有了它,克隆会更接近说话人。
只克隆声音的音色,不模仿片段中的说话方式。当配成另一种语言后仍带有说话人的口音,或你的字幕是对原话的意译时,可以试试。
语言
中文、英语、日语、韩语、德语、法语和西班牙语。每个声音都能说其中每种语言。
zhenjakodefres
平台
| 系统 | 下载 | 已测试 |
|---|---|---|
| Linux x86-64 | 321.2 MB | 在真实机器上用真实模型配音 |
| macOS (Apple 芯片) | 335.7 MB | 在 CI 中构建并检查(Apple Silicon) |
| Windows x86-64 | 216.4 MB | 在 CI 中构建并检查 |
Linux x86-64、Apple Silicon 上的 macOS 和 Windows x86-64。每个版本都在这三个平台上构建,CI 会检查说话所需的一切都已包含在构建中。CI 不运行模型本身。
故障排除
network_unavailable无法下载模型。请检查网络连接后重试:下载会继续。disk_full磁盘空间不足,无法存放模型。需要约 3.4 GB 可用空间。oom内存不足。请关闭其他程序;Ming-3.0-tts 需要约 5 GB 可用内存。bad_params台词没有文字,或者克隆的声音没有获得样本,或者 Voice you describe 没有描述。错误信息会说明是哪一种:请打开视频,设置 Fallback reference clip,或填写 Voice description。unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。internal插件内部出错;错误信息中有详细说明。如果你更改过 Inference device,请把它改回“自动”。
许可
可用于商业工作:插件为 Apache-2.0,Ming-3.0-tts 的代码和 Ming-3.0-tts-0.5B 权重为 MIT。你制作的配音归你所有。克隆的声音听起来像真实的人:只克隆你有权使用的声音,并在必要时说明配音是合成的。
版本
- 26.10.1
Text-to-speech for Subtitld with inclusionAI's Ming-3.0-tts-0.5B: Chinese, English, Japanese, Korean, German, French and Spanish at 44.1 kHz, in the speaker's own voice cloned from the video, in a built-in voice, or in a voice made from a description, with emotion and speed controls.
The archive holds the add-on and a CPU build of PyTorch. The 2.99 GB model downloads on the first synthesis, at a pinned revision, checked by sha256. Plan for about 5 GB of free memory; on a CPU each second of speech takes about four seconds to make.
The add-on is Apache-2.0; Ming-3.0-tts's code and weights are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isming-<version>-libquadmath-source.tar.gzin this release.
其他语音插件
-
Piper 离线
49 种语言的 158 个离线声音,每个都是单独的小型下载。
-
Kokoro 离线
9 种语言的 54 个离线声音,全部来自同一个 82 MB 的模型。
-
Supertonic 离线
十个离线声音,每个都能朗读其全部 31 种语言。
-
sanoTTS 离线
微型离线声音,14 种语言共 28 个,每个都不到 10 MB。
-
Parler-TTS 离线
由文字描述驱动的英语声音,共 34 个具名说话人。
-
Qwen3-TTS 克隆
十种语言,九个声音,并可从 3 秒的说话人声音进行克隆。
-
Coqui XTTS 克隆
16 种语言的声音克隆,模型许可仅限非商业用途。
-
F5-TTS 克隆
仅提供声音克隆,支持英语和中文;模型为非商业用途。
-
VoxCPM2 克隆
48 kHz,30 种语言,用说话人自己的声音或描述出的声音。占用资源较多。
-
Pocket TTS 离线
快速轻量,仅用 CPU。七种欧洲语言,23 个声音。
-
Sopro 克隆
说话人自己的声音,在 CPU 上也很快。四种语言。
-
KittenTTS 2 克隆
说话人自己的声音,16 种语言,在 CPU 上运行。权重采用限制性许可。