VoxMel офлайн, клонування голосу, 2 мови

ГолосиОфлайнGPU необов'язковийКлонування голосуКомерційне використання дозволено

Озвучує ваші субтитри англійською та китайською (мандаринською) за допомогою VoxMel від VoxDance Lab: власним голосом кожного мовця, точно клонованим з відео та його субтитрів, або одним із восьми готових голосів. Працює на вашому комп’ютері, а додаток, модель і голоси мають ліцензію Apache-2.0.

Встановіть його з Subtitld

Налаштування Додатки VoxMel (offline, voice clone, 2 languages) Встановити

Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.

Джерело на GitHub
Мови
2
Моделі
1
Голоси
9
Завантаження додатка
15–19 MB
ОЗП, щонайменше
2 GB

Послухати

Що це робить

Точні клони

Subtitld вирізає з відео кілька секунд кожного мовця й передає їх разом із субтитрами, які в них вимовлено. VoxMel точно клонує цей голос англійською або китайською.

Вісім готових голосів

Дві жінки й двоє чоловіків для кожної мови — для мовців, яких ви не хочете клонувати. VoxMel створила їх сама: для них не записували голос жодної людини.

Швидка як для моделі клонування

Клонована репліка займає від двох до чотирьох секунд на кожну секунду мовлення на сучасному процесорі ноутбука.

Безкоштовно для комерційної роботи

Додаток, рушій audio.cpp, ваги VoxMel і готові голоси мають ліцензію Apache-2.0.

Перед встановленням

  • Диск: близько 1,2 ГБ, переважно модель на 1,04 ГБ, яка завантажується під час озвучування першої репліки.
  • Пам’ять: близько 2 ГБ вільної.
  • Час: на Intel Core i7-13700T репліка власним голосом мовця займала від двох до чотирьох секунд на кожну секунду мовлення. На Mac з Apple Silicon він працює на GPU.
  • Мови: лише англійська та китайська (мандаринська). Для інших мов VoxCPM2 клонує голоси 30 мовами, а OmniVoice — 646.

Голоси

На вкладці Мовці оберіть VoxMel як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру: сама VoxMel темпом мовлення не керує.

9 голосів у 2 мовах.

  • en 4
  • zh 4

Клонований голос

З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту — з одного його субтитру тривалістю від 3 до 12 секунд або з кількох коротких, з’єднаних разом, — і передає разом із ним текст субтитру. VoxMel потрібні і зразок, і його слова. Fallback reference clip у налаштуваннях додатка разом із його транскриптом використовується лише тоді, коли зразок вирізати не вдалося.

Найкраще VoxMel клонує в межах однієї мови. Англійський дубляж мовця, який говорить китайською, вдається добре; у китайському дубляжі англомовного мовця деякі слова можуть звучати нечітко.

Clone the timbre only із цим додатком не працює, бо VoxMel не може клонувати без слів зразка. Залиште цей параметр вимкненим для мовців, які використовують VoxMel.

Готові голоси

Кожен готовий голос — це короткий кліп, який VoxMel створила без жодного еталонного запису, збережений разом із точними словами. Кожна репліка мовця з готовим голосом клонує цей кліп, тож голос не змінюється впродовж відео. Англійські готові голоси пасують до англійських реплік, а китайські — до китайських.

Моделі

Модель одна — VoxMel 0.6B з вокодером Vocos, з вагами, збереженими у 8 бітах, як їх конвертував проєкт audio.cpp. Вона не входить до додатка: під час першого озвучування вона завантажується до спільного кешу моделей Subtitld з Hugging Face, із закріпленою ревізією, і перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка модель зберігає.

Модель ЗавантаженняДобре для
VoxMel 0.6B (8-bit) За замовчуванням voxmel
992 MB
Будь-який голос, англійською та китайською (мандаринською)

Перша репліка ще й завантажує модель, тож триває довше за наступні. На Mac з Apple Silicon у найперший раз додаток також промовляє одну коротку тестову репліку на GPU, а якщо це не вдається, використовує ЦП. Скасування зупиняє репліку між двома кроками або зупиняє завантаження.

Параметри

У Налаштуваннях › Додатки › VoxMel (offline, voice clone, 2 languages) › Налаштувати.

Quality steps
За замовчуванням: 32

Наскільки детально VoxMel вимальовує кожну мить мовлення. 32 — власне налаштування VoxMel; менше — швидше, але з меншою деталізацією.

Text guidance
За замовчуванням: 3.5

Наскільки точно мовлення слідує за текстом. 3,5 — власне налаштування VoxMel.

Voice guidance
За замовчуванням: 3

Наскільки точно клонований голос слідує за кліпом. 3,0 — власне налаштування VoxMel; більше значення може звучати ближче або напружено.

CPU threads
За замовчуванням: 0

0 обирає продуктивні ядра на ЦП, які мають і енергоефективні. Менше потоків — комп’ютер чутливіший під час озвучування.

Fallback reference clip
За замовчуванням: порожньо

Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: від 3 до 15 секунд мовлення однієї людини.

Fallback reference transcript
За замовчуванням: порожньо

Точно те, що сказано в резервному кліпі, слово в слово. VoxMel клонує за кліпом і його словами, тож без цього тексту резервний кліп відхиляється.

Мови

Англійська та китайська (мандаринська). VoxMel визначає мову за текстом.

  • en
  • zh

Платформи

Система ЗавантаженняПеревірено
Linux x86-64 18.8 MBОзвучено справжньою моделлю на справжньому комп’ютері, а також на AlmaLinux 8; у CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку
macOS (Apple silicon) 18.1 MBУ CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку (Apple Silicon)
Windows x86-64 15.4 MBУ CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку

Linux x86-64 (будь-який дистрибутив від 2018 року, glibc 2.28 або новіша), macOS 13.3 або новіша на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній CI встановлює додаток, завантажує модель і змушує її говорити, клонувати голос і скасовувати репліку.

Усунення несправностей

  • network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.
  • disk_fullНедостатньо місця на диску для моделі. Потрібно близько 1,2 ГБ вільного місця.
  • oomНедостатньо пам’яті. Закрийте інші програми; VoxMel потребує близько 2 ГБ вільної пам’яті.
  • bad_paramsУ репліці немає тексту, або голос-клон не отримав зразка чи слів до нього. Повідомлення вказує, що саме. Для клонованого голосу відкрийте відео й залиште Clone the timbre only вимкненим.
  • unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.
  • internalУсередині додатка стався збій; подробиці в повідомленні.

Ліцензія

Додаток
Apache-2.0
разом із вісьмома готовими голосами
Рушій
Apache-2.0
audio.cpp, з ggml (MIT)
Модель
Apache-2.0
Ваги VoxMel 0.6B, від VoxDance Lab; вокодер Vocos — MIT

Підходить для комерційної роботи: додаток, його готові голоси, рушій audio.cpp і ваги VoxMel мають ліцензію Apache-2.0, а вокодер Vocos і ggml — MIT. Створений дубляж належить вам. Клонований голос звучить як справжня людина: клонуйте голоси, які ви маєте право використовувати, і зазначайте, що дубляж синтетичний, там, де це важливо.

Версії

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Інші додатки групи «Голоси»