BlueTTS 离线、语音克隆、希伯来语 + 6 种语言
使用 Maxim Melichov 的 BlueV3,把你的字幕配音成希伯来语、英语、德语、西班牙语、意大利语、俄语和意第绪语:用 15 个声音之一,或用从视频中约十秒钟克隆出的每位说话人自己的声音。它在你自己电脑的处理器上运行,无需显卡,速度为实时的三到五倍。
设置 插件 BlueTTS (offline, voice clone, Hebrew + 6 languages) 安装
Subtitld 会下载它、校验其 SHA-256,并保持更新。
- 语言
- 7
- 模型
- 5
- 语音
- 16
- 插件下载量
- 37–62 MB
- 内存,至少
- 2.5 GB
功能说明
BlueTTS 首先是为希伯来语打造的:它能朗读不带元音符号的希伯来语文字,包括数字、日期和价格,希伯来语台词中的英语单词则用英语读。它还会说意第绪语,能做到这一点的配音引擎很少。
Subtitld 从视频中为每位说话人剪出约十秒钟,随每句台词一起发送。BlueTTS 可以用它七种语言中的任何一种克隆这个声音。也可以从 15 个声音中挑一个。
在笔记本电脑的处理器上,它的说话速度为实时的三到五倍。不使用显卡。
每个部分只下载一次,就在台词第一次需要它时。此后,没有任何内容会离开你的电脑。
安装之前
BlueTTS 需要什么,取决于你配音的语言:
- 磁盘: 模型 428 MB,在第一句台词时下载。希伯来语另需 1.2 GB(使用精简读音模型则为 312 MB),意第绪语 307 MB,说话人自己的声音 136 MB,各自在第一次使用时下载。
- 内存: 说话时约 700 MB,加载希伯来语后约 2 GB。
- 时间: 在 Intel Core i7-13700T 上,生成一秒语音约需五分之一秒,希伯来语约需三分之一秒。第一句希伯来语台词还要多等约 15 秒,用于加载读音模型。
- 处理器: 任何 64 位 Intel 或 AMD 处理器,或 Apple Silicon。不使用显卡。
声音
在 说话人 标签页中,把 BlueTTS 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕。
16 种语音.
| 声音 | |
|---|---|
| 女声 | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| 男声 | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
每个声音都能说全部七种语言,在每种语言中都按自己的自然语速说话。这些声音由 LibriTTS-R 有声书语料库的朗读者制作而成。
选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条字幕,或把几条短字幕拼接起来。如果你已为本视频分离出了音乐和人声,样本只取自人声。插件设置中的 Fallback reference clip 仅在无法剪出样本时使用。
BlueTTS 会听样本的前九秒左右,复制声音的音色和音高,而不是说话方式。最好的样本是靠近麦克风录制的干净语音:噪音和回声会让克隆的声音不那么像说话人,电话录音则会得到电话里那样的声音。
模型
模型和读音模型都不在插件里:每一个都会在台词第一次需要它时,从 Hugging Face 按固定版本下载到 Subtitld 的共享模型缓存中,并校验每个文件。下载中断后会从中断处继续。更新或移除插件时它们会保留。
| 模型 | 下载 | 适合 |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru 默认 bluev3 | 每一句台词:声音,以及英语、德语、西班牙语、意大利语和俄语的读法 | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | 说话人自己的声音,第一次用某个声音配音时 | |
| RenikudPlus Hebrew G2P renikudplus | 希伯来语,第一次配音时(默认) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | 希伯来语,选择精简读音模型时 | |
| ReNikud-yi Yiddish context model renikud-yi | 意第绪语,第一次配音时 |
插件在 ONNX Runtime 上运行 BlueTTS 自己的代码,不需要 PyTorch。使用相同的声音、台词和种子时,它的结果与 BlueTTS 自己的 Python 包完全相同。
选项
在 设置 › 插件 › BlueTTS (offline, voice clone, Hebrew + 6 languages) › 配置 中。
0设为 0 时使用电脑的逻辑处理器,最多 8 个。更多线程很少会更快;线程越少,配音时电脑越流畅。
8模型对每句台词处理的遍数。8 是 BlueTTS 自己的设置。4 约快 1.7 倍,质量略低。
accurate希伯来语文字转换成读音的方式。accurate 是完整模型,1.2 GB,占用约 2 GB 内存。compact 是同一模型的缩小版,312 MB:在我们的测试中,它大约每 200 个词有 1 个读法不同,而且多半是读错。
当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:约 10 秒、一个人说话、干净清晰,不要用电话录音。
语言
希伯来语、英语、德语、西班牙语、意大利语、俄语和意第绪语。其他语言的项目会收到相应的提示:请为它选择另一个配音引擎。
西班牙语跟随项目的地区:西班牙使用卡斯蒂利亚西班牙语,其他地区使用拉丁美洲西班牙语。数字、日期、价格和代码会读成文字,意第绪语除外:请把意第绪语中的数字写成文字,否则这句台词会被拒绝,并显示相应的提示。
heendeesitruyi
平台
| 系统 | 下载 | 已测试 |
|---|---|---|
| Linux x86-64 | 61.7 MB | 在真实机器上通过 Subtitld 的插件管理器、以及在 CI 中用真实模型配音 |
| macOS (Apple 芯片) | 43.8 MB | 在 CI 中用真实模型配音(Apple Silicon) |
| Windows x86-64 | 37.3 MB | 在 CI 中用真实模型配音 |
Linux x86-64、Apple Silicon 上的 macOS 和 Windows x86-64。每个版本都在这三个平台上构建,并且在每个平台上,CI 都会像 Subtitld 那样安装插件,下载模型,并用每种语言各配音一句台词。
故障排除
network_unavailable无法下载某个模型。请检查网络连接后重试:下载会继续。disk_full磁盘空间不足,无法存放模型:需要 428 MB,希伯来语、意第绪语和说话人自己的声音最多还需 1.7 GB。unsupported_language项目的语言不在这七种之中,或尚未设置。请在项目中设置语言,或选择另一个配音引擎。unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。bad_params台词没有文字,意第绪语台词中有数字,或者克隆的声音没有获得样本:请打开视频,或设置 Fallback reference clip。错误信息会说明是哪一种。out_of_memory电脑内存不足。请关闭其他程序:BlueTTS 需要约 1 GB 可用内存,使用希伯来语时需要 2.5 GB。internal插件内部出错;错误信息中有详细说明。
许可
插件为 Apache-2.0,BlueTTS 的代码为 MIT。声音模型也是 MIT,但声码器除外,也就是把模型输出转换成声音的部分:它由 Supertone 的 Supertonic-3 微调而来,采用 BigScience OpenRAIL-M 许可。可以用于商业工作,但 OpenRAIL-M 禁止将其生成内容用于某些用途,其中包括违法、欺骗他人,以及未经本人同意冒充他人。15 个声音为 CC-BY-4.0。德语和意大利语词典以及意第绪语词典的一部分为 CC BY-SA;它们随模型一起下载,并保持作者发布时的原样。
你制作的配音归你所有。克隆的声音听起来像真实的人:只克隆你有权使用的声音,并在要紧的场合说明配音是合成的。
版本
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
其他语音插件
-
Piper 离线
49 种语言的 158 个离线声音,每个都是单独的小型下载。
-
Kokoro 离线
9 种语言的 54 个离线声音,全部来自同一个 82 MB 的模型。
-
Supertonic 离线
十个离线声音,每个都能朗读其全部 31 种语言。
-
sanoTTS 离线
微型离线声音,14 种语言共 28 个,每个都不到 10 MB。
-
Parler-TTS 离线
由文字描述驱动的英语声音,共 34 个具名说话人。
-
Qwen3-TTS 克隆
十种语言,九个声音,并可从 3 秒的说话人声音进行克隆。
-
Coqui XTTS 克隆
16 种语言的声音克隆,模型许可仅限非商业用途。
-
F5-TTS 克隆
仅提供声音克隆,支持英语和中文;模型为非商业用途。
-
VoxCPM2 克隆
48 kHz,30 种语言,用说话人自己的声音或描述出的声音。占用资源较多。
-
Pocket TTS 离线
快速轻量,仅用 CPU。七种欧洲语言,23 个声音。
-
Sopro 克隆
说话人自己的声音,在 CPU 上也很快。四种语言。
-
KittenTTS 2 克隆
说话人自己的声音,16 种语言,在 CPU 上运行。权重采用限制性许可。
-
Ming-3.0-tts 克隆
44.1 kHz,7 种语言:克隆、内置或描述出的声音,带情绪。占用资源较多。
-
Scylla's Band 离线
14 个声音,六种语言,在 CPU 上轻快运行。仅限内置声音。
-
Audio8 TTS 克隆
说话人自己的声音,11 种语言,包括粤语。在 CPU 上较慢。
-
Inflect 离线
小小的模型,自然的英语语音,在任何 CPU 上都很快。
-
Paradee 离线
四个自然的英语声音,美式和英式,全部来自一个 8.5 MB 的模型。
-
Chatterbox 克隆
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…