OmniVoice офлайн, клонирование голоса, 646 языков, некоммерческая
Озвучивает ваши субтитры на любом из 646 языков с помощью OmniVoice от k2-fsa: собственным голосом каждого говорящего, клонированным из видео, даже на другом языке, или голосом, собранным из нескольких черт. Работает на вашем компьютере. Модель предназначена только для некоммерческого использования.
Настройки Дополнения OmniVoice (offline, voice clone, 646 languages, non-commercial) Установка
Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.
- Языки
- 655
- Модели
- 1
- Голоса
- 12
- Загрузка дополнения
- 14–17 MB
- ОЗУ, не меньше
- 2.5 GB
Что он делает
От африкаанс до зулу, включая многие языки, на которых не говорит ни одно другое дополнение, и региональные варианты арабского, китайского и других языков.
Subtitld вырезает из видео несколько секунд каждого говорящего и передаёт их вместе с субтитрами, которые в них произносятся. OmniVoice клонирует этот голос и сохраняет его, даже когда дубляж на другом языке.
Десять готовых голосов, от детского до голоса пожилого мужчины, или голос, который вы собираете из нескольких черт: пол, возраст, высота, английский акцент, шёпот.
Модель загружается один раз, когда она впервые нужна для реплики. После этого ничего не покидает ваш компьютер.
Некоммерческая модель. Веса OmniVoice распространяются под CC-BY-NC, которая не разрешает коммерческое использование. Код дополнения лицензирован по Apache-2.0, но это не меняет условий для весов. Для коммерческой работы голоса тоже клонируют VoxCPM2 (30 языков) и ZONOS3-Mini (43 языка), а их веса — под Apache-2.0.
Перед установкой
- Диск: около 1,5 ГБ, в основном модель на 1,35 ГБ, которая загружается при озвучивании первой реплики.
- Память: около 2,5 ГБ свободной.
- Время: на процессоре каждая секунда речи создаётся несколько секунд. На Intel Core i7-13700T реплика собственным голосом говорящего занимала около 6 секунд на секунду речи, а первая реплика собранного голоса занимает больше времени, пока дополнение создаёт голос. На Mac с Apple Silicon она работает на GPU.
Для быстрого дубляжа Piper или Kokoro гораздо легче, а Piper тоже знает много языков.
Голоса
На вкладке Говорящие выберите OmniVoice как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.
Голосов: 12.
Клонированный голос
С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра длиной от 3 до 12 секунд или из нескольких коротких, склеенных вместе, — и передаёт вместе с ним текст субтитра. OmniVoice нужны и образец, и его слова. Дубляж может быть на любом из его языков, на каком бы языке ни был образец. Fallback reference clip в настройках дополнения вместе с его транскриптом используется, только когда образец вырезать нельзя.
Clone the timbre only не работает с этим дополнением, потому что OmniVoice не умеет клонировать без слов образца. Оставьте эту настройку выключенной для говорящих, которые используют OmniVoice.
Собранные голоса
OmniVoice создаёт новый голос каждый раз, когда читает набор черт. Поэтому дополнение создаёт голос каждого говорящего один раз, в виде короткой фразы, и все его реплики используют этот голос: голос не меняется на протяжении видео, а два говорящих с одинаковым собранным голосом всё равно звучат как два разных человека.
Модели
Модель одна — OmniVoice, её веса хранятся в 8 битах, в том виде, в каком её преобразовал проект audio.cpp. Она не входит в дополнение: при первом озвучивании она загружается в общий кэш моделей Subtitld с Hugging Face, с закреплённой ревизией, и проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения модель сохраняет.
| Модель | Загрузка | Подходит для |
|---|---|---|
| OmniVoice (8-bit) По умолчанию omnivoice | Любой голос, на всех 646 языках |
Первая реплика ещё и загружает модель, поэтому занимает больше времени, чем следующие. На Mac с Apple Silicon в самый первый раз дополнение также произносит одну короткую тестовую реплику на GPU, а если это не получается, использует процессор. Отмена останавливает реплику между двумя шагами или останавливает загрузку.
Настройки
В разделе «Настройки › Дополнения › OmniVoice (offline, voice clone, 646 languages, non-commercial)» нажмите «Настроить».
16Сколько проходов OmniVoice делает по каждой реплике. 16 — быстро и без потерянных слов; 32, собственная настройка OmniVoice, — вдвое дольше и чуть ближе к говорящему.
2Насколько точно речь следует тексту и голосу. 2,0 — собственная настройка OmniVoice.
00 выбирает производительные ядра на процессорах, где есть и энергоэффективные. Меньше потоков — компьютер отзывчивее во время озвучивания.
Для голоса «Voice you describe». Оставьте черту на Any, чтобы OmniVoice выбрал её сам.
Для голоса «Voice you describe»: от ребёнка до пожилого человека.
Для голоса «Voice you describe»: от очень низкого до очень высокого.
Для голоса «Voice you describe»: акцент, с которым он говорит по-английски, например британский или индийский.
Для голоса «Voice you describe»: шёпот.
Клип для голоса-клона, когда Subtitld не может вырезать его из видео, например если видео не открыто: от 3 до 15 секунд речи одного человека.
Точно то, что говорится в резервном клипе, слово в слово. OmniVoice клонирует по клипу и его словам, поэтому без этого текста резервный клип отклоняется.
Языки
Собственный список OmniVoice из 646 языков, среди них арабский, бенгальский, китайский и кантонский, английский, французский, немецкий, хинди, индонезийский, японский, корейский, персидский, португальский, русский, испанский, суахили, турецкий, урду, вьетнамский, йоруба, зулу и сотни региональных языков. Subtitld сообщает ему язык проекта; если язык неизвестен, OmniVoice определяет его по тексту.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Платформы
| Система | Загрузка | Проверено |
|---|---|---|
| Linux x86-64 | 17.3 MB | Озвучено реальной моделью на реальной машине и на AlmaLinux 8; в CI установленное дополнение загружает модель, говорит, клонирует голос и отменяет реплику |
| macOS (Apple silicon) | 16.6 MB | В CI установленное дополнение загружает модель, говорит, клонирует голос и отменяет реплику (Apple Silicon) |
| Windows x86-64 | 14.0 MB | В CI установленное дополнение загружает модель, говорит, клонирует голос и отменяет реплику |
Linux x86-64 (любой дистрибутив с 2018 года, glibc 2.28 или новее), macOS 13.3 или новее на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение, загружает модель и заставляет её говорить, клонировать голос и отменять реплику.
Устранение неполадок
network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.disk_fullНедостаточно места на диске для модели. Нужно около 1,5 ГБ свободного места.oomНе хватает памяти. Закройте другие программы; OmniVoice нужно около 2,5 ГБ свободной памяти.bad_paramsВ реплике нет текста, голос-клон не получил образца или его слов, или у голоса, который вы описываете, не задано ни одной черты. В сообщении сказано, что именно. Для клонированного голоса откройте видео и оставьте Clone the timbre only выключенным.unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.internalВнутри дополнения произошёл сбой; подробности в сообщении.
Лицензия
Дополнение и движок audio.cpp лицензированы по Apache-2.0, а ggml, на котором работает audio.cpp, — по MIT. Веса OmniVoice от k2-fsa — под CC-BY-NC: то, что вы ими озвучите, можно использовать только некоммерчески. Клонированный голос звучит как реальный человек: клонируйте голоса, которые вы вправе использовать, и указывайте, что дубляж синтетический, там, где это важно.
Версии
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Другие дополнения группы «Голоса»
-
Piper Офлайн
158 офлайн-голосов на 49 языках, каждый отдельной небольшой загрузкой.
-
Kokoro Офлайн
54 офлайн-голоса на девяти языках, все из одной модели на 82 МБ.
-
Supertonic Офлайн
Десять офлайн-голосов, каждый может говорить на всех 31 языке.
-
sanoTTS Офлайн
Крохотные офлайн-голоса, 28 на 14 языках, каждый меньше 10 МБ.
-
Parler-TTS Офлайн
Английские голоса, которые следуют письменному описанию; 34 именованных диктора.
-
Qwen3-TTS Клонирование
Десять языков, девять голосов и клонирование по 3 секундам речи говорящего.
-
Coqui XTTS Клонирование
Клонирование голоса на 16 языках, с некоммерческой лицензией модели.
-
F5-TTS Клонирование
Только клонирование голоса, на английском и китайском; некоммерческая модель.
-
VoxCPM2 Клонирование
30 языков в 48 кГц, голосом самого говорящего или описанным голосом. Тяжёлое.
-
Pocket TTS Офлайн
Быстрое и лёгкое, только процессор. 23 голоса на семи европейских языках.
-
Sopro Клонирование
Собственный голос говорящего, быстро на процессоре. Четыре языка.
-
KittenTTS 2 Клонирование
Собственный голос говорящего на 16 языках, на процессоре. Веса под ограничительной лицензией.
-
Ming-3.0-tts Клонирование
7 языков в 44,1 кГц: клонированные, встроенные или описанные голоса, с эмоциями. Тяжёлое.
-
Scylla's Band Офлайн
Четырнадцать голосов на шести языках, легко и быстро на процессоре. Только готовые голоса.
-
Audio8 TTS Клонирование
Собственный голос говорящего на 23 языках, включая кантонский и арабский. Медленно на процессоре.
-
Inflect Офлайн
Естественная английская речь от крошечной модели, быстро на любом процессоре.
-
Paradee Офлайн
Четыре естественных английских голоса, американские и британские, от одной модели размером 8,5 МБ.
-
BlueTTS Клонирование
Иврит и идиш, плюс ещё пять языков. Собственный голос говорящего, быстро на процессоре.
-
ZONOS3-Mini Клонирование
43 языка, от арабского до вьетнамского. Собственный голос говорящего, на процессоре.
-
Reverb Клонирование
Семь европейских языков и собственный голос говорящего, на процессоре; некоммерческая модель.
-
Chatterbox Клонирование
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…