下载

KittenTTS 2 (offline, voice clone, 16 languages)

语音离线仅 CPU语音克隆商用受限

使用 KittenML 的 KittenTTS 2，把你的字幕配音成 16 种语言：用从视频中克隆的每位说话人自己的声音，或用 115 个内置声音之一。它在你自己电脑的处理器上运行，无需显卡，速度约为实时。

在 Subtitld 中安装

设置 插件 KittenTTS 2 (offline, voice clone, 16 languages) 安装

Subtitld 会下载它、校验其 SHA-256，并保持更新。

GitHub 上的源代码
语言
16
模型
2
语音
116
插件下载量
96–136 MB
内存，至少
3 GB

功能说明

说话人自己的声音

Subtitld 从视频中为每位说话人剪出几秒钟，连同其中所说的话，随每句台词一起发送。KittenTTS 2 克隆这个声音，并用它说出翻译后的台词，因此配音听起来就像画面中的人。

16 种语言，115 个声音

英语、西班牙语、法语、德语、意大利语、葡萄牙语、俄语、中文、日语、韩语、阿拉伯语、印地语、土耳其语、荷兰语、波兰语和印度尼西亚语，每种语言有 2 到 50 个内置声音。

在 CPU 上约为实时

在笔记本电脑的处理器上，生成一秒语音需要 1.1 到 1.5 秒，内存占用约 2.3 GB。不使用显卡。

第一句之后即可离线

模型只下载一次，就在你第一次用它配音时。此后，没有任何内容会离开你的电脑。

模型采用限制性许可。 插件为 Apache-2.0，但它下载的 KittenTTS 2 权重属于 KittenML，采用 Stellon Labs Community License。商业使用（包括有偿配音）只有在你及你的关联方年收入低于 1,000,000 美元、且融资总额低于 1,000,000 美元时才免费，并且你必须向 Stellon Labs 注册。使用还必须遵守一份 Stellon Labs 并未公开的可接受使用政策（Acceptable Use Policy），而且该许可可以被撤销。在用于有偿工作之前，请阅读该许可。如果它的条款不适合你，VoxCPM2 和 Sopro 也能克隆声音，采用 Apache-2.0。

安装之前

  • 磁盘： 模型约 1.7 GB，在第一句台词时下载；克隆还需要另外 540 MB，在第一句克隆台词时下载。
  • 内存： 说话时约 2.3 GB，因此需要约 3 GB 的空闲内存。
  • 处理器： Intel 和 AMD 处理器需支持 AVX2、FMA 和 F16C，Intel 处理器自 2013 年起、AMD 自 2015 年起均已支持。部分 Celeron、Pentium 和 Atom 处理器不支持，在这些处理器上，第一句台词会失败，并显示相应的提示。所有 Apple Silicon Mac 都可以使用。

只有在声音的主人同意时才克隆其声音。

声音

在 说话人 标签页中，把 KittenTTS 2 设为某位说话人的 配音引擎，然后选择一个 音色。开启该说话人的 让配音适配字幕时长，即可把每句台词拉伸或压缩，以适配其字幕。配音之前，请先设置项目的语言。

116 种语音 支持 16 种语言.

  • ar 4
  • de 4
  • en 50
  • es 5
  • fr 5
  • hi 5
  • id 2
  • it 6
  • ja 4
  • ko 3
  • nl 3
  • pl 4
  • pt 6
  • ru 7
  • tr 3
  • zh 4

选择 Speaker's own voice 时，Subtitld 会从项目的音频中为该说话人剪出一段 3 到 12 秒的样本，连同其中所说的字幕文字一起发送。KittenTTS 会接着这段样本往下说，这样最接近说话人，也最稳定。在我们的测试中，用英语样本配葡萄牙语台词，克隆出的配音听起来几乎和 VoxCPM2 的一样接近说话人，读错的词还更少。如果你已为本视频分离出了音乐和人声，样本只取自人声。插件设置中的 Fallback reference clip 仅在无法剪出样本时使用。

每个内置声音都属于一种语言：它是一段录音，模型会沿用它的口音。所以 音色 列表显示的是项目语言的声音。英语有 50 个，其中包括 KittenTTS 0.8 的 Bella、Jasper、Luna、Bruno、Rosie、Hugo、Kiki 和 Leo，以及一些角色，比如嗓音圆润的电台 DJ Marcus，或庄重的旁白 Victoria。其他语言各有 2 到 7 个。KittenML 没有说明这些录音的来源。

模型偶尔会沉默，而不说出一句台词。插件会察觉到这一点并自动重试，最多三次，你无需手动处理。

模型

插件中不含 KittenML 的任何文件：第一次配音时，它们会从 KittenML 的 Hugging Face 仓库按固定版本下载到 Subtitld 的共享模型缓存中，并校验每个文件。把样本转换成声音的参考编码器，则在第一句克隆台词时从插件自己的发布版本下载。下载中断后会从中断处继续。更新或移除插件时模型会保留。

模型 下载适合
KittenTTS 2 (1.7B, ternary) 默认 kitten-tts-2
1.6 GB
所有声音和语言，在 CPU 上速度约为实时
Reference encoder, for cloning ref-encoder
517 MB
仅用于克隆的声音，在第一句克隆台词时下载

插件运行的是 KittenML 自己为 KittenTTS 2 编写的 C++ 程序，它比 KittenML 的 Python 包快约四倍，内存只需三分之一。

选项

在 设置 › 插件 › KittenTTS 2 (offline, voice clone, 16 languages) › 配置 中。

Delivery
默认： stable

Stable 适合几乎所有项目。Expressive 更生动，但台词更常出现怪异的效果。

CPU threads
默认： 0

设为 0 时，若处理器同时有能效核心，则使用其性能核心，否则每个核心一个线程，最多 8 个。线程越少，配音时电脑越流畅。

Fallback reference clip
默认： 空

当 Subtitld 无法从视频中剪出片段时（例如没有打开视频），供克隆声音使用的一段音频：3 到 30 秒、一个人说话。

Fallback reference transcript
默认： 空

The exact words spoken in the fallback clip. With them the clone is closer to the speaker and makes fewer mistakes.

Clone the timbre only
默认： 关

不发送说话人片段中的文字，只克隆音色。如果配音保留了说话人的口音，或者字幕是对所说内容的意译，可以试试它。

语言

英语、西班牙语、法语、德语、意大利语、葡萄牙语、俄语、中文、日语、韩语、阿拉伯语、印地语、土耳其语、荷兰语、波兰语和印度尼西亚语。其他语言的项目会收到相应的提示：请为它选择另一个配音引擎。

英语文字会按其本意朗读：例如英语的“the 3rd of May”读作“the third of May”，“$12.50”读作“twelve dollars fifty”。在其他语言中，请在要紧的地方把数字和符号写成文字。

  • en
  • es
  • fr
  • de
  • it
  • pt
  • ru
  • zh
  • ja
  • ko
  • ar
  • hi
  • tr
  • nl
  • pl
  • id

平台

系统 下载已测试
Linux x86-64 136.1 MB在真实机器上和 CI 中用真实模型配音，包括克隆
macOS (Apple 芯片) 109.2 MB在 CI 中用真实模型配音，包括克隆（Apple Silicon）
Windows x86-64 96.4 MB在 CI 中用真实模型配音，包括克隆

Linux x86-64、Apple Silicon 上的 macOS 和 Windows x86-64。每个版本都在这三个平台上构建，并且在每个平台上，CI 都会像 Subtitld 那样安装插件，下载模型并用它配音，也包括克隆的声音。在 Linux 上需要 glibc 2.35 或更新版本。

故障排除

  • network_unavailable无法下载模型。请检查网络连接后重试：下载会继续。
  • disk_full磁盘空间不足，无法存放模型，模型约 1.7 GB，使用克隆时约 2.2 GB。
  • unsupported_language项目的语言不在这 16 种之中，或尚未设置。请在项目中设置语言，或选择另一个配音引擎。
  • unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。
  • bad_params台词没有文字，或者克隆的声音没有获得样本：请打开视频，或设置 Fallback reference clip。错误信息会说明是哪一种。
  • internal插件内部出错；错误信息中有详细说明。如果提示处理器不支持 AVX2、FMA 和 F16C，则这台电脑无法运行 KittenTTS 2。如果提示这句台词一直生成静音，请换一个声音，或改写这句台词。

许可

插件
Apache-2.0
引擎
MIT, Apache-2.0
kitten-tts-2-cpp，来自 KittenML；LibTorch 为 BSD-3-Clause
参考编码器
MIT
来自 chatterbox-turbo（ResembleAI）和 pyannote
模型
Stellon Labs Community License
KittenTTS 2 权重；仅在收入或融资低于 100 万美元时可免费商用

插件为 Apache-2.0。KittenML 的运行时为 MIT 和 Apache-2.0，LibTorch 为 BSD-3-Clause，参考编码器的各部分为 MIT。KittenTTS 2 权重采用 Stellon Labs Community License，插件下载权重时即表示你接受该许可：可免费用于研究和个人用途；商业用途仅在年收入和融资总额均低于 1,000,000 美元时免费，并需向 Stellon Labs 注册。权重及其生成的内容不得用于训练其他模型。你制作的配音归你所有。Powered by KittenML.

版本

  • 26.10.1

    Offline text-to-speech for Subtitld with KittenML's KittenTTS 2, in 16 languages (English, Spanish, French, German, Italian, Portuguese, Russian, Chinese, Japanese, Korean, Arabic, Hindi, Turkish, Dutch, Polish and Indonesian), at 24 kHz.

    • The speaker's own voice. Cloned from the clip Subtitld cuts from the video, and spoken in another language too. With the subtitle text Subtitld sends with the clip, KittenTTS continues from it, which is closest to the speaker; "Clone the timbre only" leaves the words out.
    • 115 built-in voices. 50 in English, 2 to 7 in each other language.
    • About real time on a CPU. A second of speech takes 1.1 to 1.5 seconds on an i7-13700T, with about 2.3 GB of memory. x86-64 needs AVX2, FMA and F16C; Apple Silicon works.
    • Downloads on first use. The model, 1.66 GB, from KittenML's repository on the first line; the reference encoder, 542 MB, from this repository's ref-encoder-1 prerelease, on the first cloned line. Both are pinned and checked by sha256.

    The weights are not open source. KittenTTS 2 is under the Stellon Labs Community License. Commercial use, dubbing for pay included, is free only below US$1,000,000 in annual revenue and in total funding, and requires registering with Stellon Labs. Use must also follow an Acceptable Use Policy that is not published, and the licence is revocable. The add-on ships none of KittenML's weights; read the licence before using it for paid work. Powered by KittenML.

    Built on KittenML's C++ runtime (kitten-tts-2-cpp) with LibTorch 2.14.1, patched to end a line whose model scores go non-finite, and with the CPU flash-attention path off (it produced such lines depending on the thread count). A line that falls into silence is retried with another seed, up to three times, and the silence around each line is trimmed.

    Each archive was installed in CI the way Subtitld installs add-ons, on Linux, macOS (Apple Silicon) and Windows, and spoke English, Portuguese and Chinese lines and a cross-lingual clone through the add-on protocol.

其他语音插件

更新于 · 来自插件目录 报告此插件的问题