OmniVoice офлайн, клонування голосу, 646 мов, некомерційна
Озвучує ваші субтитри будь-якою з 646 мов за допомогою OmniVoice від k2-fsa: власним голосом кожного мовця, клонованим з відео, навіть іншою мовою, або голосом, створеним з кількох рис. Працює на вашому комп’ютері. Модель призначена лише для некомерційного використання.
Налаштування Додатки OmniVoice (offline, voice clone, 646 languages, non-commercial) Встановити
Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.
- Мови
- 655
- Моделі
- 1
- Голоси
- 12
- Завантаження додатка
- 14–17 MB
- ОЗП, щонайменше
- 2.5 GB
Що це робить
Від африкаанс до зулу, з багатьма мовами, якими не говорить жоден інший додаток, і з регіональними варіантами арабської, китайської та інших мов.
Subtitld вирізає з відео кілька секунд кожного мовця й передає їх разом із субтитрами, які в них вимовлено. OmniVoice клонує цей голос і зберігає його, навіть коли дубляж іншою мовою.
Десять готових голосів, від дитячого до голосу літнього чоловіка, або голос, який ви складаєте з кількох рис: стать, вік, висота, англійський акцент, шепіт.
Модель завантажується один раз, коли вона вперше потрібна для репліки. Після цього ніщо не залишає ваш комп’ютер.
Некомерційна модель. Ваги OmniVoice поширюються за ліцензією CC-BY-NC, яка не дозволяє комерційного використання. Код додатка має ліцензію Apache-2.0, але це не змінює умов для ваг. Для комерційної роботи VoxCPM2 (30 мов) і ZONOS3-Mini (43 мови) теж клонують голоси, а їхні ваги мають ліцензію Apache-2.0.
Перед встановленням
- Диск: близько 1,5 ГБ, переважно модель на 1,35 ГБ, яка завантажується під час озвучування першої репліки.
- Пам’ять: близько 2,5 ГБ вільної.
- Час: на ЦП кожна секунда мовлення створюється кілька секунд. На Intel Core i7-13700T репліка власним голосом мовця займала близько 6 секунд на кожну секунду мовлення, а перша репліка створеного голосу триває довше, поки додаток створює голос. На Mac з Apple Silicon він працює на GPU.
Для швидкого дублювання Piper або Kokoro набагато легші, і Piper теж охоплює багато мов.
Голоси
На вкладці Мовці оберіть OmniVoice як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.
12 голосів.
Клонований голос
З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту — з одного його субтитру тривалістю від 3 до 12 секунд або з кількох коротких, з’єднаних разом, — і передає разом із ним текст субтитру. OmniVoice потрібні і зразок, і його слова. Дубляж може бути будь-якою з його мов, хоч би якою мовою був зразок. Fallback reference clip у налаштуваннях додатка разом із його транскриптом використовується лише тоді, коли зразок вирізати не вдалося.
Clone the timbre only із цим додатком не працює, бо OmniVoice не може клонувати без слів зразка. Залиште цей параметр вимкненим для мовців, які використовують OmniVoice.
Створені голоси
OmniVoice створює новий голос щоразу, коли читає набір рис. Тому додаток створює голос кожного мовця один раз, у вигляді короткого речення, і всі його репліки використовують цей голос: голос не змінюється впродовж відео, а два мовці з однаковим створеним голосом усе одно звучать як дві різні людини.
Моделі
Модель одна — OmniVoice, з вагами, збереженими у 8 бітах, як їх конвертував проєкт audio.cpp. Вона не входить до додатка: під час першого озвучування вона завантажується до спільного кешу моделей Subtitld з Hugging Face, із закріпленою ревізією, і перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка модель зберігає.
| Модель | Завантаження | Добре для |
|---|---|---|
| OmniVoice (8-bit) За замовчуванням omnivoice | Будь-який голос, усіма 646 мовами |
Перша репліка ще й завантажує модель, тож триває довше за наступні. На Mac з Apple Silicon у найперший раз додаток також промовляє одну коротку тестову репліку на GPU, а якщо це не вдається, використовує ЦП. Скасування зупиняє репліку між двома кроками або зупиняє завантаження.
Параметри
У Налаштуваннях › Додатки › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Налаштувати.
16Скільки проходів OmniVoice робить по кожній репліці. 16 — швидко й без втрати слів; 32, власне налаштування OmniVoice, триває вдвічі довше й звучить трохи ближче до мовця.
2Наскільки точно мовлення слідує за текстом і голосом. 2,0 — власне налаштування OmniVoice.
00 обирає продуктивні ядра на ЦП, які мають і енергоефективні. Менше потоків — комп’ютер чутливіший під час озвучування.
Для голосу «Voice you describe». Залиште рису на Any, щоб OmniVoice обрав її сам.
Для голосу «Voice you describe»: від дитини до літньої людини.
Для голосу «Voice you describe»: від дуже низького до дуже високого.
Для голосу «Voice you describe»: акцент, з яким він говорить англійською, наприклад британський чи індійський.
Для голосу «Voice you describe»: шепіт.
Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: від 3 до 15 секунд мовлення однієї людини.
Точно те, що сказано в резервному кліпі, слово в слово. OmniVoice клонує за кліпом і його словами, тож без цього тексту резервний кліп відхиляється.
Мови
Власний список OmniVoice із 646 мов, серед них арабська, бенгальська, китайська й кантонська, англійська, французька, німецька, гінді, індонезійська, японська, корейська, перська, португальська, російська, іспанська, суахілі, турецька, урду, в’єтнамська, йоруба, зулу та сотні регіональних мов. Subtitld повідомляє йому мову проєкту; коли мова невідома, OmniVoice визначає її за текстом.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Платформи
| Система | Завантаження | Перевірено |
|---|---|---|
| Linux x86-64 | 17.3 MB | Озвучено справжньою моделлю на справжньому комп’ютері, а також на AlmaLinux 8; у CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку |
| macOS (Apple silicon) | 16.6 MB | У CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку (Apple Silicon) |
| Windows x86-64 | 14.0 MB | У CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку |
Linux x86-64 (будь-який дистрибутив від 2018 року, glibc 2.28 або новіша), macOS 13.3 або новіша на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній CI встановлює додаток, завантажує модель і змушує її говорити, клонувати голос і скасовувати репліку.
Усунення несправностей
network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.disk_fullНедостатньо місця на диску для моделі. Потрібно близько 1,5 ГБ вільного місця.oomНедостатньо пам’яті. Закрийте інші програми; OmniVoice потребує близько 2,5 ГБ вільної пам’яті.bad_paramsУ репліці немає тексту, голос-клон не отримав зразка або слів до нього, або для голосу за описом не задано жодної риси. Повідомлення вказує, що саме. Для клонованого голосу відкрийте відео й залиште Clone the timbre only вимкненим.unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.internalУсередині додатка стався збій; подробиці в повідомленні.
Ліцензія
Додаток і рушій audio.cpp мають ліцензію Apache-2.0, а ggml, на якому працює audio.cpp, — MIT. Ваги OmniVoice від k2-fsa мають ліцензію CC-BY-NC: створений з ними дубляж — лише для некомерційного використання. Клонований голос звучить як справжня людина: клонуйте голоси, які ви маєте право використовувати, і зазначайте, що дубляж синтетичний, там, де це важливо.
Версії
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Інші додатки групи «Голоси»
-
Piper Офлайн
158 офлайн-голосів 49 мовами, кожен — окреме невелике завантаження.
-
Kokoro Офлайн
54 офлайн-голоси дев’ятьма мовами з однієї моделі на 82 МБ.
-
Supertonic Офлайн
Десять офлайн-голосів, кожен може говорити всіма 31 мовою.
-
sanoTTS Офлайн
Крихітні офлайн-голоси, 28 голосів 14 мовами, кожен менше 10 МБ.
-
Parler-TTS Офлайн
Англійські голоси за письмовим описом; 34 іменовані мовці.
-
Qwen3-TTS Клон
Десять мов, дев’ять голосів і клонування з 3 секунд мовлення мовця.
-
Coqui XTTS Клон
Клонування голосу 16 мовами, з некомерційною ліцензією моделі.
-
F5-TTS Клон
Лише клонування голосу, англійською та китайською; некомерційна модель.
-
VoxCPM2 Клон
30 мов у 48 кГц, голосом самого мовця або описаним голосом. Важкий.
-
Pocket TTS Офлайн
Швидкий і легкий, лише ЦП. 23 голоси сімома європейськими мовами.
-
Sopro Клон
Власний голос мовця, швидко на ЦП. Чотири мови.
-
KittenTTS 2 Клон
Власний голос мовця 16 мовами, на ЦП. Ваги за обмежувальною ліцензією.
-
Ming-3.0-tts Клон
7 мов у 44,1 кГц: клоновані, вбудовані або описані голоси, з емоціями. Важкий.
-
Scylla's Band Офлайн
Чотирнадцять голосів шістьма мовами, легко й швидко на ЦП. Лише готові голоси.
-
Audio8 TTS Клон
Власний голос мовця 23 мовами, зокрема кантонською та арабською. Повільно на ЦП.
-
Inflect Офлайн
Природне англійське мовлення від крихітної моделі, швидко на будь-якому ЦП.
-
Paradee Офлайн
Чотири природні англійські голоси, американські й британські, від однієї моделі розміром 8,5 МБ.
-
BlueTTS Клон
Іврит та їдиш, а також ще п’ять мов. Власний голос мовця, швидко на ЦП.
-
ZONOS3-Mini Клон
43 мови, від арабської до в’єтнамської. Власний голос мовця, на ЦП.
-
Reverb Клон
Сім європейських мов і власний голос мовця, на ЦП; некомерційна модель.
-
Chatterbox Клон
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…