VoxCPM2 (offline, voice clone, 30 languages)

Что он делает

Перед установкой

VoxCPM2 — большая модель, 2,4 миллиарда параметров. Она даёт самый естественный дубляж среди офлайн-дополнений и больше всех нагружает компьютер:

• Диск: около 5,6 ГБ, в основном модель на 4,96 ГБ, которая загружается при озвучивании первой реплики.
• Память: около 7 ГБ свободной. С меньшим объёмом она работает, но намного медленнее.
• Время: на процессоре каждая секунда речи создаётся несколько секунд: 5–6 секунд на Intel Core i7-13700T. Десятиминутное видео может занять около часа. На Mac с Apple Silicon она работает на GPU.

Для быстрого дубляжа на скромных компьютерах Piper или Kokoro гораздо легче.

Голоса

На вкладке Говорящие выберите VoxCPM2 как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.

Голосов: 9.

Клонированный голос

С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра длиной от 3 до 12 секунд или из нескольких коротких, склеенных вместе. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Fallback reference clip в настройках дополнения используется, только когда образец вырезать нельзя.

Subtitld передаёт текст субтитра вместе с образцом, и VoxCPM2 продолжает его — так получается ближе всего к говорящему, включая манеру речи. Если в дубляже на другой язык остаётся акцент говорящего, включите Clone the timbre only.

Голоса по описанию

VoxCPM2 создаёт новый голос каждый раз, когда читает описание. Поэтому дополнение создаёт голос каждого говорящего один раз, и все его реплики используют этот голос: голос не меняется на протяжении видео, а два говорящих с одинаковым описанием всё равно звучат как два разных человека.

Модели

Модель одна — VoxCPM2. Она не входит в дополнение: при первом озвучивании она загружается в общий кэш моделей Subtitld с Hugging Face, с закреплённой ревизией, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения модель сохраняет.

Первая реплика ещё и загружает модель, поэтому занимает больше времени, чем следующие. Отмена останавливает реплику между двумя шагами или останавливает загрузку.

Настройки

В разделе «Настройки › Дополнения › VoxCPM2 (offline, voice clone, 30 languages)» нажмите «Настроить».

Языки

Арабский, бирманский, китайский, датский, нидерландский, английский, финский, французский, немецкий, греческий, иврит, хинди, индонезийский, итальянский, японский, кхмерский, корейский, лаосский, малайский, норвежский, польский, португальский, русский, испанский, суахили, шведский, тагальский, тайский, турецкий и вьетнамский. VoxCPM2 определяет язык по самому тексту, поэтому каждый голос говорит на каждом языке.

• ar
• my
• zh
• da
• nl
• en
• fi
• fr
• de
• el
• he
• hi
• id
• it
• ja
• km
• ko
• lo
• ms
• no
• pl
• pt
• ru
• es
• sw
• sv
• tl
• th
• tr
• vi

Платформы

Linux x86-64, macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, а CI проверяет, что в сборке есть всё нужное для синтеза речи. Саму модель CI не запускает.

Устранение неполадок

• network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.
• disk_fullНедостаточно места на диске для модели. Нужно около 5 ГБ свободного места.
• oomНе хватает памяти. Закройте другие программы; VoxCPM2 нужно около 7 ГБ свободной памяти, 11 ГБ во float32.
• bad_paramsВ реплике нет текста, или клон не получил образца: откройте видео или задайте Fallback reference clip. В сообщении сказано, что именно.
• unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.
• internalВнутри дополнения произошёл сбой; подробности в сообщении. Если вы меняли Inference device, верните автоматический режим.

Лицензия

Подходит для коммерческой работы: дополнение, VoxCPM и веса VoxCPM2 лицензированы по Apache-2.0. Созданный дубляж принадлежит вам. Клонированный голос звучит как реальный человек: клонируйте голоса, которые вы вправе использовать, и указывайте, что дубляж синтетический, там, где это важно.