OmniVoice 离线、语音克隆、646 种语言、非商业用途
使用 k2-fsa 的 OmniVoice,把你的字幕配音成 646 种语言中的任意一种:用从视频中克隆的每位说话人自己的声音,即使配成另一种语言也可以,或用几项特征设计出的声音。它在你自己的电脑上运行。该模型仅可用于非商业用途。
设置 插件 OmniVoice (offline, voice clone, 646 languages, non-commercial) 安装
Subtitld 会下载它、校验其 SHA-256,并保持更新。
- 语言
- 655
- 模型
- 1
- 语音
- 12
- 插件下载量
- 14–17 MB
- 内存,至少
- 2.5 GB
功能说明
从南非荷兰语到祖鲁语,包括许多其他插件都不支持的语言,以及阿拉伯语、中文等语言的地区变体。
Subtitld 从视频中为每位说话人剪出几秒钟,连同其中所说的字幕一起发送。OmniVoice 克隆这个声音,配成另一种语言时也保持不变。
十个现成的声音,从儿童到老年男性;也可以用几项特征自己组合一个:性别、年龄、音高、英语口音、耳语。
模型只下载一次,就在台词第一次需要它时。此后,没有任何内容会离开你的电脑。
非商业模型。 OmniVoice 权重采用 CC-BY-NC 许可,不允许商业使用。插件的代码为 Apache-2.0 许可,但这不会改变权重的条款。如需商业工作,VoxCPM2(30 种语言)和 ZONOS3-Mini(43 种语言)同样能克隆声音,且其权重为 Apache-2.0 许可。
安装之前
- 磁盘: 约 1.5 GB,其中大部分是 1.35 GB 的模型,在你配音第一句台词时下载。
- 内存: 约 2.5 GB 可用。
- 时间: 在 CPU 上,每秒语音需要几秒钟生成。在 Intel Core i7-13700T 上,用说话人自己声音的一句台词,每秒语音大约需要 6 秒;设计出的声音的第一句台词耗时更长,因为插件要先生成这个声音。在 Apple Silicon Mac 上它使用 GPU 运行。
如果想快速配音,Piper 或 Kokoro 要轻得多,而且 Piper 也支持很多语言。
声音
在 说话人 标签页中,把 OmniVoice 设为某位说话人的 配音引擎,然后选择一个 音色。开启该说话人的 让配音适配字幕时长,即可把每句台词拉伸或压缩,以适配其字幕。
12 种语音.
克隆的声音
选择 Speaker's own voice 时,Subtitld 会从项目的音频中为该说话人剪出一段样本:取自其一条 3 到 12 秒的字幕,或把几条短字幕拼接起来,并把字幕文字一起发送。OmniVoice 既需要样本,也需要样本中的文字。无论样本是哪种语言,配音都可以是它支持的任何一种语言。插件设置中的 Fallback reference clip 及其文字稿仅在无法剪出样本时使用。
Clone the timbre only 不适用于此插件,因为 OmniVoice 没有样本的文字就无法克隆。对使用 OmniVoice 的说话人,请保持关闭。
设计出的声音
OmniVoice 每次读到一组特征时都会生成一个新的声音。因此插件只为每位说话人生成一次声音,即一句简短的话,该说话人的每句台词都复用它:声音在整个视频中保持一致,而两位使用相同设计声音的说话人听起来仍是两个人。
模型
只有一个模型 OmniVoice,其权重以 8 位存储,即 audio.cpp 项目转换后的版本。它不在插件里:第一次配音时,会从 Hugging Face 按固定版本下载到 Subtitld 的共享模型缓存中,并进行校验。下载中断后会从中断处继续。更新或移除插件时模型会保留。
| 模型 | 下载 | 适合 |
|---|---|---|
| OmniVoice (8-bit) 默认 omnivoice | 所有声音,全部 646 种语言 |
第一句台词还要加载模型,所以比之后的台词更慢。在 Apple Silicon Mac 上,第一次使用时插件还会在 GPU 上说一句简短的测试台词,如果不行就改用 CPU。取消会在两个步骤之间停止当前台词,或停止下载。
选项
在 设置 › 插件 › OmniVoice (offline, voice clone, 646 languages, non-commercial) › 配置 中。
16OmniVoice 对每句台词处理的遍数。16 速度快,且不会漏词;32 是 OmniVoice 自己的设置,耗时加倍,与说话人更接近一点。
2语音贴合文字和声音的程度。2.0 是 OmniVoice 自己的设置。
0设为 0 时,在同时带有能效核心的 CPU 上会选用性能核心。线程越少,配音时电脑越流畅。
用于“Voice you describe”声音。某项特征保留为 Any,即由 OmniVoice 自行选择。
用于“Voice you describe”声音:从儿童到老人。
用于“Voice you describe”声音:从很低到很高。
用于“Voice you describe”声音:说英语时带的口音,例如英国口音或印度口音。
用于“Voice you describe”声音:耳语般的声音。
当 Subtitld 无法从视频中剪出片段时(例如没有打开视频),供克隆声音使用的一段音频:3 到 15 秒、一个人说话。
备用片段中所说的内容,逐字照录。OmniVoice 根据片段及其文字来克隆,因此没有它,备用片段会被拒绝。
语言
OmniVoice 自己列出的 646 种语言,包括阿拉伯语、孟加拉语、中文和粤语、英语、法语、德语、印地语、印度尼西亚语、日语、韩语、波斯语、葡萄牙语、俄语、西班牙语、斯瓦希里语、土耳其语、乌尔都语、越南语、约鲁巴语、祖鲁语,以及数百种地区语言。Subtitld 会告诉它项目的语言;不知道语言时,OmniVoice 会从文本中判断。
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
平台
| 系统 | 下载 | 已测试 |
|---|---|---|
| Linux x86-64 | 17.3 MB | 在真实机器上以及 AlmaLinux 8 上用真实模型配音;在 CI 中,安装好的插件会下载模型、说话、克隆声音并取消一句台词 |
| macOS (Apple 芯片) | 16.6 MB | 在 CI 中,安装好的插件会下载模型、说话、克隆声音并取消一句台词(Apple Silicon) |
| Windows x86-64 | 14.0 MB | 在 CI 中,安装好的插件会下载模型、说话、克隆声音并取消一句台词 |
Linux x86-64(2018 年以来的任何发行版,glibc 2.28 或更新)、Apple Silicon 上的 macOS 13.3 或更新版本,以及 Windows x86-64。每个版本都在这三个平台上构建,并且在每个平台上,CI 都会安装插件、下载模型,让它说话、克隆声音并取消一句台词。
故障排除
network_unavailable无法下载模型。请检查网络连接后重试:下载会继续。disk_full磁盘空间不足,无法存放模型。需要约 1.5 GB 可用空间。oom内存不足。请关闭其他程序;OmniVoice 需要约 2.5 GB 可用内存。bad_params台词没有文字,克隆的声音没有获得样本或样本的文字,或者你描述的声音没有设置任何特征。错误信息会说明是哪一种。使用克隆的声音时,请打开视频,并保持 Clone the timbre only 关闭。unsupported_voice项目指定了此版本没有的声音。请在 说话人 标签页中重新选择声音。internal插件内部出错;错误信息中有详细说明。
许可
插件和 audio.cpp 引擎为 Apache-2.0,audio.cpp 所基于的 ggml 为 MIT。k2-fsa 的 OmniVoice 权重为 CC-BY-NC:用它们制作的配音仅限非商业用途。克隆的声音听起来像真实的人:只克隆你有权使用的声音,并在必要时说明配音是合成的。
版本
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
其他语音插件
-
Piper 离线
49 种语言的 158 个离线声音,每个都是单独的小型下载。
-
Kokoro 离线
9 种语言的 54 个离线声音,全部来自同一个 82 MB 的模型。
-
Supertonic 离线
十个离线声音,每个都能朗读其全部 31 种语言。
-
sanoTTS 离线
微型离线声音,14 种语言共 28 个,每个都不到 10 MB。
-
Parler-TTS 离线
由文字描述驱动的英语声音,共 34 个具名说话人。
-
Qwen3-TTS 克隆
十种语言,九个声音,并可从 3 秒的说话人声音进行克隆。
-
Coqui XTTS 克隆
16 种语言的声音克隆,模型许可仅限非商业用途。
-
F5-TTS 克隆
仅提供声音克隆,支持英语和中文;模型为非商业用途。
-
VoxCPM2 克隆
48 kHz,30 种语言,用说话人自己的声音或描述出的声音。占用资源较多。
-
Pocket TTS 离线
快速轻量,仅用 CPU。七种欧洲语言,23 个声音。
-
Sopro 克隆
说话人自己的声音,在 CPU 上也很快。四种语言。
-
KittenTTS 2 克隆
说话人自己的声音,16 种语言,在 CPU 上运行。权重采用限制性许可。
-
Ming-3.0-tts 克隆
44.1 kHz,7 种语言:克隆、内置或描述出的声音,带情绪。占用资源较多。
-
Scylla's Band 离线
14 个声音,六种语言,在 CPU 上轻快运行。仅限内置声音。
-
Audio8 TTS 克隆
说话人自己的声音,23 种语言,包括粤语和阿拉伯语。在 CPU 上较慢。
-
Inflect 离线
小小的模型,自然的英语语音,在任何 CPU 上都很快。
-
Paradee 离线
四个自然的英语声音,美式和英式,全部来自一个 8.5 MB 的模型。
-
BlueTTS 克隆
希伯来语和意第绪语,外加五种语言。说话人自己的声音,在 CPU 上也很快。
-
ZONOS3-Mini 克隆
43 种语言,从阿拉伯语到越南语。说话人自己的声音,在 CPU 上运行。
-
Reverb 克隆
七种欧洲语言,以及说话人自己的声音,在 CPU 上运行;模型为非商业用途。
-
Chatterbox 克隆
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…