VoxMel офлайн, клонування голосу, 2 мови
Озвучує ваші субтитри англійською та китайською (мандаринською) за допомогою VoxMel від VoxDance Lab: власним голосом кожного мовця, точно клонованим з відео та його субтитрів, або одним із восьми готових голосів. Працює на вашому комп’ютері, а додаток, модель і голоси мають ліцензію Apache-2.0.
Налаштування Додатки VoxMel (offline, voice clone, 2 languages) Встановити
Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.
- Мови
- 2
- Моделі
- 1
- Голоси
- 9
- Завантаження додатка
- 15–19 MB
- ОЗП, щонайменше
- 2 GB
Послухати
Що це робить
Subtitld вирізає з відео кілька секунд кожного мовця й передає їх разом із субтитрами, які в них вимовлено. VoxMel точно клонує цей голос англійською або китайською.
Дві жінки й двоє чоловіків для кожної мови — для мовців, яких ви не хочете клонувати. VoxMel створила їх сама: для них не записували голос жодної людини.
Клонована репліка займає від двох до чотирьох секунд на кожну секунду мовлення на сучасному процесорі ноутбука.
Додаток, рушій audio.cpp, ваги VoxMel і готові голоси мають ліцензію Apache-2.0.
Перед встановленням
- Диск: близько 1,2 ГБ, переважно модель на 1,04 ГБ, яка завантажується під час озвучування першої репліки.
- Пам’ять: близько 2 ГБ вільної.
- Час: на Intel Core i7-13700T репліка власним голосом мовця займала від двох до чотирьох секунд на кожну секунду мовлення. На Mac з Apple Silicon він працює на GPU.
- Мови: лише англійська та китайська (мандаринська). Для інших мов VoxCPM2 клонує голоси 30 мовами, а OmniVoice — 646.
Голоси
На вкладці Мовці оберіть VoxMel як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру: сама VoxMel темпом мовлення не керує.
9 голосів у 2 мовах.
en4zh4
Клонований голос
З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту — з одного його субтитру тривалістю від 3 до 12 секунд або з кількох коротких, з’єднаних разом, — і передає разом із ним текст субтитру. VoxMel потрібні і зразок, і його слова. Fallback reference clip у налаштуваннях додатка разом із його транскриптом використовується лише тоді, коли зразок вирізати не вдалося.
Найкраще VoxMel клонує в межах однієї мови. Англійський дубляж мовця, який говорить китайською, вдається добре; у китайському дубляжі англомовного мовця деякі слова можуть звучати нечітко.
Clone the timbre only із цим додатком не працює, бо VoxMel не може клонувати без слів зразка. Залиште цей параметр вимкненим для мовців, які використовують VoxMel.
Готові голоси
Кожен готовий голос — це короткий кліп, який VoxMel створила без жодного еталонного запису, збережений разом із точними словами. Кожна репліка мовця з готовим голосом клонує цей кліп, тож голос не змінюється впродовж відео. Англійські готові голоси пасують до англійських реплік, а китайські — до китайських.
Моделі
Модель одна — VoxMel 0.6B з вокодером Vocos, з вагами, збереженими у 8 бітах, як їх конвертував проєкт audio.cpp. Вона не входить до додатка: під час першого озвучування вона завантажується до спільного кешу моделей Subtitld з Hugging Face, із закріпленою ревізією, і перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка модель зберігає.
| Модель | Завантаження | Добре для |
|---|---|---|
| VoxMel 0.6B (8-bit) За замовчуванням voxmel | Будь-який голос, англійською та китайською (мандаринською) |
Перша репліка ще й завантажує модель, тож триває довше за наступні. На Mac з Apple Silicon у найперший раз додаток також промовляє одну коротку тестову репліку на GPU, а якщо це не вдається, використовує ЦП. Скасування зупиняє репліку між двома кроками або зупиняє завантаження.
Параметри
У Налаштуваннях › Додатки › VoxMel (offline, voice clone, 2 languages) › Налаштувати.
32Наскільки детально VoxMel вимальовує кожну мить мовлення. 32 — власне налаштування VoxMel; менше — швидше, але з меншою деталізацією.
3.5Наскільки точно мовлення слідує за текстом. 3,5 — власне налаштування VoxMel.
3Наскільки точно клонований голос слідує за кліпом. 3,0 — власне налаштування VoxMel; більше значення може звучати ближче або напружено.
00 обирає продуктивні ядра на ЦП, які мають і енергоефективні. Менше потоків — комп’ютер чутливіший під час озвучування.
Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: від 3 до 15 секунд мовлення однієї людини.
Точно те, що сказано в резервному кліпі, слово в слово. VoxMel клонує за кліпом і його словами, тож без цього тексту резервний кліп відхиляється.
Мови
Англійська та китайська (мандаринська). VoxMel визначає мову за текстом.
enzh
Платформи
| Система | Завантаження | Перевірено |
|---|---|---|
| Linux x86-64 | 18.8 MB | Озвучено справжньою моделлю на справжньому комп’ютері, а також на AlmaLinux 8; у CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку |
| macOS (Apple silicon) | 18.1 MB | У CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку (Apple Silicon) |
| Windows x86-64 | 15.4 MB | У CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку |
Linux x86-64 (будь-який дистрибутив від 2018 року, glibc 2.28 або новіша), macOS 13.3 або новіша на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній CI встановлює додаток, завантажує модель і змушує її говорити, клонувати голос і скасовувати репліку.
Усунення несправностей
network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.disk_fullНедостатньо місця на диску для моделі. Потрібно близько 1,2 ГБ вільного місця.oomНедостатньо пам’яті. Закрийте інші програми; VoxMel потребує близько 2 ГБ вільної пам’яті.bad_paramsУ репліці немає тексту, або голос-клон не отримав зразка чи слів до нього. Повідомлення вказує, що саме. Для клонованого голосу відкрийте відео й залиште Clone the timbre only вимкненим.unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.internalУсередині додатка стався збій; подробиці в повідомленні.
Ліцензія
Підходить для комерційної роботи: додаток, його готові голоси, рушій audio.cpp і ваги VoxMel мають ліцензію Apache-2.0, а вокодер Vocos і ggml — MIT. Створений дубляж належить вам. Клонований голос звучить як справжня людина: клонуйте голоси, які ви маєте право використовувати, і зазначайте, що дубляж синтетичний, там, де це важливо.
Версії
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Інші додатки групи «Голоси»
-
Piper Офлайн
158 офлайн-голосів 49 мовами, кожен — окреме невелике завантаження.
-
Kokoro Офлайн
54 офлайн-голоси дев’ятьма мовами з однієї моделі на 82 МБ.
-
Supertonic Офлайн
Десять офлайн-голосів, кожен може говорити всіма 31 мовою.
-
sanoTTS Офлайн
Крихітні офлайн-голоси, 28 голосів 14 мовами, кожен менше 10 МБ.
-
Parler-TTS Офлайн
Англійські голоси за письмовим описом; 34 іменовані мовці.
-
Qwen3-TTS Клон
Десять мов, дев’ять голосів і клонування з 3 секунд мовлення мовця.
-
Coqui XTTS Клон
Клонування голосу 16 мовами, з некомерційною ліцензією моделі.
-
F5-TTS Клон
Лише клонування голосу, англійською та китайською; некомерційна модель.
-
VoxCPM2 Клон
30 мов у 48 кГц, голосом самого мовця або описаним голосом. Важкий.
-
Pocket TTS Офлайн
Швидкий і легкий, лише ЦП. 23 голоси сімома європейськими мовами.
-
Sopro Клон
Власний голос мовця, швидко на ЦП. Чотири мови.
-
KittenTTS 2 Клон
Власний голос мовця 16 мовами, на ЦП. Ваги за обмежувальною ліцензією.
-
Ming-3.0-tts Клон
7 мов у 44,1 кГц: клоновані, вбудовані або описані голоси, з емоціями. Важкий.
-
Scylla's Band Офлайн
Чотирнадцять голосів шістьма мовами, легко й швидко на ЦП. Лише готові голоси.
-
Audio8 TTS Клон
Власний голос мовця 23 мовами, зокрема кантонською та арабською. Повільно на ЦП.
-
Inflect Офлайн
Природне англійське мовлення від крихітної моделі, швидко на будь-якому ЦП.
-
Paradee Офлайн
Чотири природні англійські голоси, американські й британські, від однієї моделі розміром 8,5 МБ.
-
BlueTTS Клон
Іврит та їдиш, а також ще п’ять мов. Власний голос мовця, швидко на ЦП.
-
ZONOS3-Mini Клон
43 мови, від арабської до в’єтнамської. Власний голос мовця, на ЦП.
-
Reverb Клон
Сім європейських мов і власний голос мовця, на ЦП; некомерційна модель.
-
OmniVoice Клон
646 мов, власний голос мовця будь-якою мовою; некомерційна модель.
-
tiny-voca Офлайн
Два американські англійські голоси від моделі на 4,5 мільйона параметрів, без жодних завантажень.
-
Chatterbox Клон
Власний голос мовця 20 мовами, на ЦП, без облікового запису.