Sopro (offline, voice clone, 4 languages)

语音离线仅 CPU语音克隆允许商用

使用 Sopro V2 Turbo,把你的字幕配音成英语、欧洲葡萄牙语、法语和德语:用从视频中几秒钟克隆出的每位说话人自己的声音,或用 8 个预设声音之一。它在你自己电脑的处理器上运行,无需显卡,速度约为实时的两倍。

在 Subtitld 中安装

设置 插件 Sopro (offline, voice clone, 4 languages) 安装

Subtitld 会下载它、校验其 SHA-256,并保持更新。

GitHub 上的源代码
语言
4
模型
1
语音
9
插件下载量
38–61 MB
内存,至少
1.5 GB

功能说明

说话人自己的声音

Subtitld 从视频中为每位说话人剪出几秒钟,随每句台词一起发送。Sopro 克隆这个声音,因此配音听起来就像画面中的人,四种语言都可以。

在任何电脑上都很快

Sopro V2 Turbo 是一个小模型,有 1.2 亿参数。在笔记本电脑的处理器上,它的说话速度约为实时的两倍,内存占用约 1 GB。

第一句之后即可离线

模型只下载一次,就在你第一次用它配音时。此后,没有任何内容会离开你的电脑。

可免费用于商业工作

插件、Sopro 及其模型均为 Apache-2.0。预设声音是 LibriVox 朗读者,其录音属于公有领域。

安装之前

Sopro 对电脑的要求不高:

  • 磁盘: 模型约 340 MB,在第一句台词时下载。
  • 内存: 说话时约 1 GB。
  • 处理器: 任何 64 位 Intel 或 AMD 处理器,或 Apple Silicon。不使用显卡。

只有在声音的主人同意时才克隆其声音。Sopro 的作者要求绝不要用它冒充他人。

声音

在 说话人 标签页中,把 Sopro 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕。

9 种语音.

选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条字幕,或把几条短字幕拼接起来。如果你已为本视频分离出了音乐和人声,样本只取自人声。插件设置中的 Fallback reference clip 仅在无法剪出样本时使用。最好的样本是 5 到 20 秒、只有该说话人在说话,没有音乐或其他人声。

预设声音
女声 英语、葡萄牙语、法语、德语
男声 英语、葡萄牙语、法语、德语

每个预设声音都是一位用该语言朗读一本书的 LibriVox 志愿者。每个预设声音都能说全部四种语言;它自己的语言只会给它带来口音,所以想要最自然的配音,请选择与项目语言相同的那一个。

模型

Sopro 只有一个模型,适用于全部四种语言。它不在插件里:第一次配音时,会从 Hugging Face 按固定版本下载到 Subtitld 的共享模型缓存中,并校验每个文件。下载中断后会从中断处继续。更新或移除插件时模型会保留。

模型 下载适合
Sopro V2 Turbo (120M, ONNX) 默认 sopro-v2-turbo
336 MB
所有声音,全部四种语言,速度约为实时的 2.5 倍

插件运行的是 Sopro 作者发布的 ONNX 版本,不需要 PyTorch。我们在全部四种语言的相同台词上,把它和官方 PyTorch 版本做了比较:它的错误没有更多,听起来也同样接近说话人。

选项

在 设置 › 插件 › Sopro (offline, voice clone, 4 languages) › 配置 中。

CPU threads
默认: 0

设为 0 时使用电脑一半的逻辑处理器,最多 8 个。线程越少,配音时电脑越流畅。

Variation
默认: 0.8

越低越平稳、越平淡,越高越生动,但更容易出错。0.8 是 Sopro 自己的默认值。

Fallback reference clip
默认: 空

当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:5 到 20 秒、一个人说话。

语言

英语、欧洲葡萄牙语、法语和德语。巴西葡萄牙语的文字也能朗读,但带欧洲口音。其他语言的项目会收到相应的提示:请为它选择另一个配音引擎。

在要紧的地方,请把数字和符号写成文字:Sopro 读“1 + 2”不如读“one plus two”可靠。句子中夹杂的其他语言单词可能会读错。

  • en
  • pt
  • fr
  • de

平台

系统 下载已测试
Linux x86-64 61.1 MB在真实机器上和 CI 中用真实模型配音
macOS (Apple 芯片) 43.2 MB在 CI 中用真实模型配音(Apple Silicon)
Windows x86-64 38.1 MB在 CI 中用真实模型配音

Linux x86-64、Apple Silicon 上的 macOS 和 Windows x86-64。每个版本都在这三个平台上构建,并且在每个平台上,CI 都会像 Subtitld 那样安装插件,下载模型并用它配音。

故障排除

  • network_unavailable无法下载模型。请检查网络连接后重试:下载会继续。
  • disk_full磁盘空间不足,无法存放模型,模型约 340 MB。
  • unsupported_language项目的语言不在这四种之中,或尚未设置。请在项目中设置语言,或选择另一个配音引擎。
  • unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。
  • bad_params台词没有文字,或者克隆的声音没有获得样本:请打开视频,或设置 Fallback reference clip。错误信息会说明是哪一种。
  • out_of_memory电脑内存不足。请关闭其他程序:Sopro 需要约 1 GB。
  • internal插件内部出错;错误信息中有详细说明。

许可

插件
Apache-2.0
引擎
Apache-2.0
Sopro,来自 Samuel Vitorino;ONNX Runtime 为 MIT
模型
Apache-2.0
Sopro V2 Turbo 权重
预设声音
Public domain, CC-BY-4.0
LibriVox 朗读者;英语声音经由 LibriTTS-R

可用于商业工作:插件、Sopro 和 Sopro V2 Turbo 模型均为 Apache-2.0。预设声音是 LibriVox 的录音,属于公有领域;英语声音经由 LibriTTS-R 提供,采用 CC-BY-4.0,插件为每个声音署名。你制作的配音归你所有。

版本

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Sopro V2 Turbo: English, European Portuguese, French and German at 24 kHz, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. The 336 MB model downloads on the first line, at a pinned revision, checked by sha256. It runs on the CPU, about twice as fast as real time.

    The add-on and the Sopro model are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/sopro_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is sopro-<version>-libquadmath-source.tar.gz in this release.

其他语音插件

更新于 · 来自插件目录 报告此插件的问题