Coqui XTTS (offline + voice clone)
从视频中几秒钟的声音为每位说话人克隆声音，并以 16 种语言朗读你的字幕，在你自己的电脑上完成。该模型仅可用于非商业用途。
设置 插件 Coqui XTTS-v2 (offline + voice clone) 安装
Subtitld 会下载它、校验其 SHA-256，并保持更新。
- 语言
- 16
- 模型
- 3
- 语音
- 3
- 插件下载量
- 302–443 MB
- 内存，至少
- 6 GB
功能说明
选择 Custom voice，Subtitld 会从视频中剪出该说话人几秒钟的声音交给模型。时长在 6 秒或以上时效果最好。
XTTS female 1 和 XTTS male 1，用于你不想克隆的说话人。
它使用项目的语言朗读；若项目未设置语言，则使用英语。
第一句台词要等待模型加载，首次还要等待下载；之后的台词直接复用。在 CPU 上，一个长句子可能需要半分钟。
非商业模型。 XTTS-v2 权重采用 Coqui 公共模型许可（CPML）：可免费用于非商业用途，任何其他用途都需要向 Coqui 购买许可。插件在加载模型时会代你同意 Coqui 的条款提示，因此你不会看到它；但这些条款照样适用。
声音
在 说话人 标签页中，把 Coqui XTTS 设为某位说话人的 配音引擎，然后选择一个 音色。Custom voice 位于列表顶部。每句台词的长度由模型决定；开启 让配音适配字幕时长，即可让该说话人的台词拉伸或压缩，以适配字幕。
3 种语音 支持 1 种语言.
en2
克隆用的样本
当某位说话人的音色为 Custom voice 时，Subtitld 会从项目的音频中为该说话人剪出一段样本：
- 时长在 3 到 12 秒之间的最长一条字幕；
- 如果没有符合条件的，则取较长字幕的前 12 秒；
- 如果所有字幕都不足 3 秒，则连续取几条，拼接到至少 3 秒。
XTTS 在 6 秒或以上时效果最好，因此请确保每位说话人至少有一句时长在 6 到 12 秒之间的台词。如果你已为本视频分离出了音乐和人声，样本只取自人声。插件设置中的 Default voice reference 仅在无法剪出样本时使用，例如没有打开视频的时候。
Subtitld 会保存每位说话人的样本，只有在音频文件改变时才会重新剪取。重新调整了某位说话人台词的时间之后，请删除其样本以获得新的样本；样本的文件名以该说话人的名字结尾。
| 系统 | 文件夹 |
|---|---|
| Linux | ~/.cache/subtitld/clone-refs |
| macOS | ~/Library/Caches/subtitld/clone-refs |
| Windows | %LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs |
模型
只有一个模型，在你第一次生成台词时下载；旁边的两个小文件是它的设置和词表。插件会在模型闲置五分钟之前一直保持其加载状态。
| 模型 | 下载 |
|---|---|
| xtts_v2 | |
| xtts_v2_config | |
| xtts_v2_vocab |
选项
插件在启动时读取这些设置，因此更改会在它闲置五分钟后，或在你重启 Subtitld 后生效。
在 设置 › 插件 › Coqui XTTS-v2 (offline + voice clone) › 配置 中。
cpu请保持为 CPU。发布的构建版本使用 PyTorch 的 CPU 包，因此 CUDA 无法在其中运行；MPS 标记为测试版。
当 Subtitld 无法从视频中取得该说话人的样本时（例如没有打开视频），供复制的一段音频。来自视频的样本始终优先。设置此项后，两个内置声音也会复制这段音频。
语言
插件会把项目的语言（去掉地区）传给模型；若未设置语言，则使用英语朗读。
enesfrdeitptpltrrunlcsarzh-cnjahuko
平台
| 系统 | 下载 | 已测试 |
|---|---|---|
| Linux x86-64 | 442.7 MB | 在 CI 中构建并启动 |
| macOS (通用) | 323.1 MB | 在 CI 中构建并启动 |
| Windows x86-64 | 302.2 MB | 在 CI 中构建并启动 |
每个版本都在 Linux、macOS 和 Windows 上构建，CI 会检查程序能否启动并列出其声音。CI 不生成语音。
故障排除
bad_params要么字幕没有文字，要么克隆无法获得样本：Subtitld 无法剪出样本（没有打开视频，或该说话人没有字幕），而且没有设置默认音频。请为字幕添加文字、打开视频，或设置 Default voice reference。internal模型无法加载，或无法朗读该台词；错误信息会说明是哪一步。首次使用时下载失败也会归入此类：请检查网络连接和剩余磁盘空间后重试。同时请确认项目的语言是上面列出的语言之一。
许可
除非你获得了 Coqui 对 XTTS-v2 权重的商业许可，否则不可用于商业工作。插件自身的代码为 MIT 许可。
版本
- 1.0.7
Automated release for coqui-xtts v1.0.7.