VoxCPM2 (offline, voice clone, 30 languages)

Що це робить

Перед встановленням

VoxCPM2 — велика модель, 2,4 мільярда параметрів. Вона дає найприродніший дубляж серед офлайн-додатків і найбільше навантажує комп’ютер:

• Диск: близько 5,6 ГБ, переважно модель на 4,96 ГБ, яка завантажується під час озвучування першої репліки.
• Пам’ять: близько 7 ГБ вільної. З меншим обсягом вона працює, але значно повільніше.
• Час: на ЦП кожна секунда мовлення створюється кілька секунд: 5–6 секунд на Intel Core i7-13700T. Десятихвилинне відео може зайняти близько години. На Mac з Apple Silicon вона працює на GPU.

Для швидкого дублювання на скромних комп’ютерах Piper або Kokoro набагато легші.

Голоси

На вкладці Мовці оберіть VoxCPM2 як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.

9 голосів.

Клонований голос

З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту: з одного його субтитру тривалістю від 3 до 12 секунд або з кількох коротких, з’єднаних разом. Якщо ви відокремили музику від голосу для цього відео, зразок береться лише з голосу. Fallback reference clip у налаштуваннях додатка використовується лише тоді, коли зразок вирізати не вдалося.

Subtitld передає текст субтитру разом зі зразком, і VoxCPM2 продовжує його — так виходить найближче до мовця, включно з манерою мовлення. Якщо в дубляжі іншою мовою залишається акцент мовця, увімкніть Clone the timbre only.

Голоси за описом

VoxCPM2 створює новий голос щоразу, коли читає опис. Тому додаток створює голос кожного мовця один раз, і всі його репліки використовують цей голос: голос не змінюється впродовж відео, а два мовці з однаковим описом усе одно звучать як дві різні людини.

Моделі

Модель одна — VoxCPM2. Вона не входить до додатка: під час першого озвучування вона завантажується до спільного кешу моделей Subtitld з Hugging Face, із закріпленою ревізією, і кожен файл перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка модель зберігає.

Перша репліка ще й завантажує модель, тож триває довше за наступні. Скасування зупиняє репліку між двома кроками або зупиняє завантаження.

Параметри

У Налаштуваннях › Додатки › VoxCPM2 (offline, voice clone, 30 languages) › Налаштувати.

Мови

Арабська, бірманська, китайська, данська, нідерландська, англійська, фінська, французька, німецька, грецька, іврит, гінді, індонезійська, італійська, японська, кхмерська, корейська, лаоська, малайська, норвезька, польська, португальська, російська, іспанська, суахілі, шведська, тагальська, тайська, турецька та в’єтнамська. VoxCPM2 визначає мову за самим текстом, тож кожен голос говорить кожною мовою.

• ar
• my
• zh
• da
• nl
• en
• fi
• fr
• de
• el
• he
• hi
• id
• it
• ja
• km
• ko
• lo
• ms
• no
• pl
• pt
• ru
• es
• sw
• sv
• tl
• th
• tr
• vi

Платформи

Linux x86-64, macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, а CI перевіряє, що в збірці є все потрібне для синтезу мовлення. Саму модель CI не запускає.

Усунення несправностей

• network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.
• disk_fullНедостатньо місця на диску для моделі. Потрібно близько 5 ГБ вільного місця.
• oomНедостатньо пам’яті. Закрийте інші програми; VoxCPM2 потребує близько 7 ГБ вільної пам’яті, 11 ГБ у float32.
• bad_paramsУ репліці немає тексту, або клон не отримав зразка: відкрийте відео або встановіть Fallback reference clip. Повідомлення вказує, що саме.
• unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.
• internalУсередині додатка стався збій; подробиці в повідомленні. Якщо ви змінювали Inference device, поверніть автоматичний режим.

Ліцензія

Підходить для комерційної роботи: додаток, VoxCPM і ваги VoxCPM2 мають ліцензію Apache-2.0. Створений дубляж належить вам. Клонований голос звучить як справжня людина: клонуйте голоси, які ви маєте право використовувати, і зазначайте, що дубляж синтетичний, там, де це важливо.