VoxMel офлайн, клонирование голоса, 2 языка

ГолосаОфлайнGPU необязательноКлонирование голосаКоммерческое использование разрешено

Озвучивает ваши субтитры на английском и китайском (путунхуа) с помощью VoxMel от VoxDance Lab: собственным голосом каждого говорящего, точно клонированным из видео и его субтитров, или одним из восьми готовых голосов. Работает на вашем компьютере, а дополнение, модель и голоса лицензированы по Apache-2.0.

Установите из Subtitld

Настройки Дополнения VoxMel (offline, voice clone, 2 languages) Установка

Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.

Исходный код на GitHub
Языки
2
Модели
1
Голоса
9
Загрузка дополнения
15–19 MB
ОЗУ, не меньше
2 GB

Послушать

Что он делает

Точные клоны

Subtitld вырезает из видео несколько секунд каждого говорящего и передаёт их вместе с субтитрами, которые в них произносятся. VoxMel точно клонирует этот голос, на английском или китайском.

Восемь готовых голосов

Две женщины и двое мужчин для каждого языка — для говорящих, которых вы не хотите клонировать. VoxMel создал их сам: ничей голос для них не записывался.

Быстрый для модели клонирования

Клонированная реплика занимает от двух до четырёх секунд на секунду речи на современном процессоре ноутбука.

Бесплатно для коммерческой работы

Дополнение, движок audio.cpp, веса VoxMel и готовые голоса лицензированы по Apache-2.0.

Перед установкой

  • Диск: около 1,2 ГБ, в основном модель на 1,04 ГБ, которая загружается при озвучивании первой реплики.
  • Память: около 2 ГБ свободной.
  • Время: на Intel Core i7-13700T реплика собственным голосом говорящего занимала от двух до четырёх секунд на секунду речи. На Mac с Apple Silicon она работает на GPU.
  • Языки: только английский и китайский (путунхуа). Для других языков VoxCPM2 клонирует голоса на 30 языках, а OmniVoice — на 646.

Голоса

На вкладке Говорящие выберите VoxMel как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр: сам VoxMel темпом управлять не умеет.

Голосов: 9 на языках: 2.

  • en 4
  • zh 4

Клонированный голос

С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра длиной от 3 до 12 секунд или из нескольких коротких, склеенных вместе, — и передаёт вместе с ним текст субтитра. VoxMel нужны и образец, и его слова. Fallback reference clip в настройках дополнения вместе с его транскриптом используется, только когда образец вырезать нельзя.

Лучше всего VoxMel клонирует в пределах одного языка. Английский дубляж говорящего на китайском получается хорошо; китайский дубляж говорящего на английском может смазать некоторые слова.

Clone the timbre only не работает с этим дополнением, потому что VoxMel не умеет клонировать без слов образца. Оставьте эту настройку выключенной для говорящих, которые используют VoxMel.

Готовые голоса

Каждый готовый голос — это короткий клип, который VoxMel создал без какой-либо эталонной записи, хранящийся вместе с точным текстом. Все реплики говорящего с готовым голосом клонируют этот клип, поэтому голос не меняется на протяжении видео. Английские голоса подходят для английских реплик, а китайские — для китайских.

Модели

Модель одна — VoxMel 0.6B с вокодером Vocos, её веса хранятся в 8 битах, в том виде, в каком её преобразовал проект audio.cpp. Она не входит в дополнение: при первом озвучивании она загружается в общий кэш моделей Subtitld с Hugging Face, с закреплённой ревизией, и проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения модель сохраняет.

Модель ЗагрузкаПодходит для
VoxMel 0.6B (8-bit) По умолчанию voxmel
992 MB
Любой голос, на английском и китайском (путунхуа)

Первая реплика ещё и загружает модель, поэтому занимает больше времени, чем следующие. На Mac с Apple Silicon в самый первый раз дополнение также произносит одну короткую тестовую реплику на GPU, а если это не получается, использует процессор. Отмена останавливает реплику между двумя шагами или останавливает загрузку.

Настройки

В разделе «Настройки › Дополнения › VoxMel (offline, voice clone, 2 languages)» нажмите «Настроить».

Quality steps
По умолчанию: 32

Насколько тонко VoxMel прорисовывает каждый момент речи. 32 — собственная настройка VoxMel; меньше — быстрее, но с меньшей детализацией.

Text guidance
По умолчанию: 3.5

Насколько точно речь следует тексту. 3,5 — собственная настройка VoxMel.

Voice guidance
По умолчанию: 3

Насколько точно клонированный голос следует клипу. 3,0 — собственная настройка VoxMel; выше — может звучать ближе или натянуто.

CPU threads
По умолчанию: 0

0 выбирает производительные ядра на процессорах, где есть и энергоэффективные. Меньше потоков — компьютер отзывчивее во время озвучивания.

Fallback reference clip
По умолчанию: пусто

Клип для голоса-клона, когда Subtitld не может вырезать его из видео, например если видео не открыто: от 3 до 15 секунд речи одного человека.

Fallback reference transcript
По умолчанию: пусто

Точно то, что говорится в резервном клипе, слово в слово. VoxMel клонирует по клипу и его словам, поэтому без этого текста резервный клип отклоняется.

Языки

Английский и китайский (путунхуа). VoxMel определяет язык по тексту.

  • en
  • zh

Платформы

Система ЗагрузкаПроверено
Linux x86-64 18.8 MBОзвучено реальной моделью на реальной машине и на AlmaLinux 8; в CI установленное дополнение загружает модель, говорит, клонирует голос и отменяет реплику
macOS (Apple silicon) 18.1 MBВ CI установленное дополнение загружает модель, говорит, клонирует голос и отменяет реплику (Apple Silicon)
Windows x86-64 15.4 MBВ CI установленное дополнение загружает модель, говорит, клонирует голос и отменяет реплику

Linux x86-64 (любой дистрибутив с 2018 года, glibc 2.28 или новее), macOS 13.3 или новее на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение, загружает модель и заставляет её говорить, клонировать голос и отменять реплику.

Устранение неполадок

  • network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.
  • disk_fullНедостаточно места на диске для модели. Нужно около 1,2 ГБ свободного места.
  • oomНе хватает памяти. Закройте другие программы; VoxMel нужно около 2 ГБ свободной памяти.
  • bad_paramsВ реплике нет текста, или голос-клон не получил образца или его слов. В сообщении сказано, что именно. Для клонированного голоса откройте видео и оставьте Clone the timbre only выключенным.
  • unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.
  • internalВнутри дополнения произошёл сбой; подробности в сообщении.

Лицензия

Дополнение
Apache-2.0
вместе с восемью готовыми голосами
Движок
Apache-2.0
audio.cpp, с ggml (MIT)
Модель
Apache-2.0
Веса VoxMel 0.6B, от VoxDance Lab; вокодер Vocos — MIT

Подходит для коммерческой работы: дополнение, его готовые голоса, движок audio.cpp и веса VoxMel лицензированы по Apache-2.0, а вокодер Vocos и ggml — по MIT. Созданный дубляж принадлежит вам. Клонированный голос звучит как реальный человек: клонируйте голоса, которые вы вправе использовать, и указывайте, что дубляж синтетический, там, где это важно.

Версии

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Другие дополнения группы «Голоса»