Ming-3.0-tts (offline, voice clone, 7 languages)

Що це робить

Перед встановленням

Ming-3.0-tts — велика модель, близько 1,5 мільярда параметрів разом з аудіокодеком. Вона суттєво навантажує комп’ютер:

• Диск: близько 3,4 ГБ, переважно модель на 2,99 ГБ, яка завантажується під час озвучування першої репліки.
• Пам’ять: близько 5 ГБ вільної. З меншим обсягом вона працює, але значно повільніше.
• Час: на ЦП кожна секунда мовлення створюється приблизно чотири-п’ять секунд, на Intel Core i7-13700T. Десятихвилинне відео може зайняти близько трьох чвертей години.

Для швидкого дублювання на скромних комп’ютерах Piper або Kokoro набагато легші.

Голоси

На вкладці Мовці оберіть Ming-3.0-tts як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.

12 голосів.

Клонований голос

З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту: з одного його субтитру тривалістю від 3 до 12 секунд або з кількох коротких, з’єднаних разом. Якщо ви відокремили музику від голосу для цього відео, зразок береться лише з голосу. Fallback reference clip у налаштуваннях додатка використовується лише тоді, коли зразок вирізати не вдалося.

Subtitld передає текст субтитру разом зі зразком, і Ming-3.0-tts продовжує його — так виходить найближче до мовця, включно з манерою мовлення. Якщо в дубляжі іншою мовою залишається акцент мовця, увімкніть Clone the timbre only.

Вбудовані голоси

Emma (американка), George і Charlotte (британці), Ling Xiaorou і Ling Kai (китайці) — диктори, на яких навчалася модель. Кожен звучить однаково в кожній репліці, і кожен говорить усіма сімома мовами.

Голоси за описом

Ming-3.0-tts створює новий голос щоразу, коли читає опис. Тому додаток створює голос кожного мовця один раз, і всі його репліки використовують цей голос: голос не змінюється впродовж відео, а два мовці з однаковим описом усе одно звучать як дві різні людини.

Емоція, швидкість, висота й гучність

Це налаштування додатка, тож вони застосовуються до всіх мовців, озвучених клонованим або описаним голосом. Це власні регулятори моделі: вони беруть звучання голосу мовця, але не його манеру мовлення, і діють по одному: емоція, якщо її задано, скасовує швидкість, висоту й гучність. Вбудовані голоси їх ігнорують.

У китайських та англійських репліках модель також відтворює звуки, записані в тексті: [Laughter], [Sigh], [Breathing], [Cough], [Uhm] і ще кілька.

Моделі

Модель одна — Ming-3.0-tts-0.5B. Вона не входить до додатка: під час першого озвучування вона завантажується до спільного кешу моделей Subtitld з Hugging Face, із закріпленою ревізією, і кожен файл перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка модель зберігає.

Перша репліка ще й завантажує модель, тож триває довше за наступні. Скасування зупиняє репліку між двома кроками або зупиняє завантаження.

Параметри

У Налаштуваннях › Додатки › Ming-3.0-tts (offline, voice clone, 7 languages) › Налаштувати.

Мови

Китайська, англійська, японська, корейська, німецька, французька та іспанська. Кожен голос говорить кожною з них.

• zh
• en
• ja
• ko
• de
• fr
• es

Платформи

Linux x86-64, macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, а CI перевіряє, що в збірці є все потрібне для синтезу мовлення. Саму модель CI не запускає.

Усунення несправностей

• network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.
• disk_fullНедостатньо місця на диску для моделі. Потрібно близько 3,4 ГБ вільного місця.
• oomНедостатньо пам’яті. Закрийте інші програми; Ming-3.0-tts потребує близько 5 ГБ вільної пам’яті.
• bad_paramsУ репліці немає тексту, клон не отримав зразка або Voice you describe не має опису. Повідомлення вказує, що саме: відкрийте відео, встановіть Fallback reference clip або напишіть Voice description.
• unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.
• internalУсередині додатка стався збій; подробиці в повідомленні. Якщо ви змінювали Inference device, поверніть автоматичний режим.

Ліцензія

Підходить для комерційної роботи: додаток має ліцензію Apache-2.0, а код Ming-3.0-tts і ваги Ming-3.0-tts-0.5B — MIT. Створений дубляж належить вам. Клонований голос звучить як справжня людина: клонуйте голоси, які ви маєте право використовувати, і зазначайте, що дубляж синтетичний, там, де це важливо.