Ming-3.0-tts (offline, voice clone, 7 languages)

语音离线仅 CPU语音克隆允许商用

使用 inclusionAI 的 Ming-3.0-tts,把你的字幕配音成中文、英语、日语、韩语、德语、法语和西班牙语:用从视频中克隆的每位说话人自己的声音、它的某个内置声音,或用一段描述生成的声音,并可控制情绪和语速。它在你自己的电脑上运行,插件、代码和权重均可免费用于商业工作。

在 Subtitld 中安装

设置 插件 Ming-3.0-tts (offline, voice clone, 7 languages) 安装

Subtitld 会下载它、校验其 SHA-256,并保持更新。

GitHub 上的源代码
语言
7
模型
1
语音
12
插件下载量
216–336 MB
内存,至少
5 GB

功能说明

说话人自己的声音

Subtitld 从视频中为每位说话人剪出一段片段,连同其中所说的话一起发送。Ming-3.0-tts 接着这段片段往下说,因此配音听起来就像画面中的人,七种语言都可以。

内置或描述的声音

模型训练时学过的五个声音,每句台词都相同;或者用几个词生成的声音:五个现成的声音,从温暖的女声到旁白,也可以用你自己的描述。

情绪与语速

让克隆的声音和描述的声音以开心、悲伤、愤怒或惊讶的情绪说话,或者说得更快、更慢、更高或更低。

可免费用于商业工作

插件为 Apache-2.0;Ming-3.0-tts 的代码和权重为 MIT。

安装之前

Ming-3.0-tts 是一个大模型,连同其音频编解码器约有 15 亿参数。它对电脑的要求很高:

  • 磁盘: 约 3.4 GB,其中大部分是 2.99 GB 的模型,在你配音第一句台词时下载。
  • 内存: 约 5 GB 可用。内存更少也能运行,但会慢得多。
  • 时间: 在 CPU 上,每秒语音大约需要四到五秒生成(Intel Core i7-13700T)。十分钟的视频可能需要大约四十五分钟。

如果想在配置一般的电脑上快速配音,Piper 或 Kokoro 要轻得多。

声音

在 说话人 标签页中,把 Ming-3.0-tts 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕。

12 种语音.

克隆的声音

选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条 3 到 12 秒的字幕,或把几条短字幕拼接起来。如果你已为本视频分离出了音乐和人声,样本只取自人声。插件设置中的 Fallback reference clip 仅在无法剪出样本时使用。

Subtitld 会把字幕文字连同样本一起发送,Ming-3.0-tts 接着样本往下说,这样最接近说话人,连说话方式也一样。如果配成另一种语言后仍带有说话人的口音,请开启 Clone the timbre only。

内置声音

Emma(美式)、George 和 Charlotte(英式)、Ling Xiaorou(灵小柔)和 Ling Kai(灵楷)(中文)是模型学过的说话人。每个声音在每句台词中听起来都一样,并且都能说全部七种语言。

描述的声音

Ming-3.0-tts 每次读到描述时都会生成一个新的声音。因此插件只为每位说话人生成一次声音,该说话人的每句台词都复用它:声音在整个视频中保持一致,而两位使用相同描述的说话人听起来仍是两个人。

情绪、语速、音高和音量

这些是插件的设置,因此适用于所有用克隆声音或描述的声音配音的说话人。它们是模型自带的控制项,会采用说话人声音的音色,但不采用其说话方式,而且一次只能用一项:设置了情绪时,它会覆盖语速、音高和音量。内置声音会忽略这些设置。

在中文或英语台词中,模型还会发出写在文本里的声音:[Laughter]、[Sigh]、[Breathing]、[Cough]、[Uhm] 等。

模型

只有一个模型 Ming-3.0-tts-0.5B。它不在插件里:第一次配音时,会从 Hugging Face 按固定版本下载到 Subtitld 的共享模型缓存中,并校验每个文件。下载中断后会从中断处继续。更新或移除插件时模型会保留。

模型 下载适合
Ming-3.0-tts (0.5B) 默认 ming-3.0-tts-0.5b
2.9 GB
所有声音,全部七种语言

第一句台词还要加载模型,所以比之后的台词更慢。取消会在两个步骤之间停止当前台词,或停止下载。

选项

在 设置 › 插件 › Ming-3.0-tts (offline, voice clone, 7 languages) › 配置 中。

Inference device
默认: auto

“自动”使用处理器。也可以选择 Apple Silicon Mac 的 GPU,但尚未测试过。此构建版本不使用 NVIDIA 显卡。

CPU threads
默认: 0

设为 0 时,在同时带有能效核心的 CPU 上会选用性能核心。线程越少,配音时电脑越流畅。

Emotion
默认: none

克隆声音或描述的声音的每句台词都以这种情绪说出。它保留声音的音色,但不保留说话人的说话方式,并且会覆盖语速、音高和音量。内置声音会忽略它。

Speed
默认: normal

用于克隆声音和描述的声音,在未设置情绪时生效。和情绪一样,它只保留声音的音色。

Pitch
默认: normal

同语速:用于克隆声音和描述的声音,在未设置情绪时生效。

Volume
默认: normal

同语速:用于克隆声音和描述的声音,在未设置情绪时生效。

Voice description
默认: 空

用于“Voice you describe”声音:用几个词写出谁在说话、怎么说,例如“An elderly woman, soft and warm voice, slow pace”。英文或中文描述适用于所有语言。

Fallback reference clip
默认: 空

当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:3 到 10 秒、一个人说话。

Fallback reference transcript
默认: 空

上面这段音频中所说的原话。有了它,克隆会更接近说话人。

Clone the timbre only
默认: 关

只克隆声音的音色,不模仿片段中的说话方式。当配成另一种语言后仍带有说话人的口音,或你的字幕是对原话的意译时,可以试试。

语言

中文、英语、日语、韩语、德语、法语和西班牙语。每个声音都能说其中每种语言。

  • zh
  • en
  • ja
  • ko
  • de
  • fr
  • es

平台

系统 下载已测试
Linux x86-64 321.2 MB在真实机器上用真实模型配音
macOS (Apple 芯片) 335.7 MB在 CI 中构建并检查(Apple Silicon)
Windows x86-64 216.4 MB在 CI 中构建并检查

Linux x86-64、Apple Silicon 上的 macOS 和 Windows x86-64。每个版本都在这三个平台上构建,CI 会检查说话所需的一切都已包含在构建中。CI 不运行模型本身。

故障排除

  • network_unavailable无法下载模型。请检查网络连接后重试:下载会继续。
  • disk_full磁盘空间不足,无法存放模型。需要约 3.4 GB 可用空间。
  • oom内存不足。请关闭其他程序;Ming-3.0-tts 需要约 5 GB 可用内存。
  • bad_params台词没有文字,或者克隆的声音没有获得样本,或者 Voice you describe 没有描述。错误信息会说明是哪一种:请打开视频,设置 Fallback reference clip,或填写 Voice description。
  • unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。
  • internal插件内部出错;错误信息中有详细说明。如果你更改过 Inference device,请把它改回“自动”。

许可

插件
Apache-2.0
引擎
MIT
Ming-3.0-tts,来自 inclusionAI(Ant Group)
模型
MIT
Ming-3.0-tts-0.5B 权重

可用于商业工作:插件为 Apache-2.0,Ming-3.0-tts 的代码和 Ming-3.0-tts-0.5B 权重为 MIT。你制作的配音归你所有。克隆的声音听起来像真实的人:只克隆你有权使用的声音,并在必要时说明配音是合成的。

版本

  • 26.10.1

    Text-to-speech for Subtitld with inclusionAI's Ming-3.0-tts-0.5B: Chinese, English, Japanese, Korean, German, French and Spanish at 44.1 kHz, in the speaker's own voice cloned from the video, in a built-in voice, or in a voice made from a description, with emotion and speed controls.

    The archive holds the add-on and a CPU build of PyTorch. The 2.99 GB model downloads on the first synthesis, at a pinned revision, checked by sha256. Plan for about 5 GB of free memory; on a CPU each second of speech takes about four seconds to make.

    The add-on is Apache-2.0; Ming-3.0-tts's code and weights are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is ming-<version>-libquadmath-source.tar.gz in this release.

其他语音插件

更新于 · 来自插件目录 报告此插件的问题