Ming-3.0-tts (offline, voice clone, 7 languages)

Что он делает

Перед установкой

Ming-3.0-tts — большая модель, около 1,5 миллиарда параметров вместе с аудиокодеком. Она сильно нагружает компьютер:

• Диск: около 3,4 ГБ, в основном модель на 2,99 ГБ, которая загружается при озвучивании первой реплики.
• Память: около 5 ГБ свободной. С меньшим объёмом она работает, но намного медленнее.
• Время: на процессоре каждая секунда речи создаётся примерно четыре-пять секунд, на Intel Core i7-13700T. Десятиминутное видео может занять около трёх четвертей часа.

Для быстрого дубляжа на скромных компьютерах Piper или Kokoro гораздо легче.

Голоса

На вкладке Говорящие выберите Ming-3.0-tts как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.

Голосов: 12.

Клонированный голос

С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра длиной от 3 до 12 секунд или из нескольких коротких, склеенных вместе. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Fallback reference clip в настройках дополнения используется, только когда образец вырезать нельзя.

Subtitld передаёт текст субтитра вместе с образцом, и Ming-3.0-tts продолжает его — так получается ближе всего к говорящему, включая манеру речи. Если в дубляже на другой язык остаётся акцент говорящего, включите Clone the timbre only.

Встроенные голоса

Emma (американка), George и Charlotte (британцы), Ling Xiaorou и Ling Kai (китайцы) — дикторы, на которых училась модель. Каждый звучит одинаково в каждой реплике, и каждый говорит на всех семи языках.

Голоса по описанию

Ming-3.0-tts создаёт новый голос каждый раз, когда читает описание. Поэтому дополнение создаёт голос каждого говорящего один раз, и все его реплики используют этот голос: голос не меняется на протяжении видео, а два говорящих с одинаковым описанием всё равно звучат как два разных человека.

Эмоция, скорость, высота и громкость

Это настройки дополнения, поэтому они применяются ко всем говорящим, озвученным клонированным или описанным голосом. Это собственные регуляторы модели: они берут звучание голоса говорящего, но не его манеру речи, и работают по одному: эмоция, если задана, отменяет скорость, высоту и громкость. Встроенные голоса их игнорируют.

В китайских и английских репликах модель также воспроизводит звуки, записанные в тексте: [Laughter], [Sigh], [Breathing], [Cough], [Uhm] и ещё несколько.

Модели

Модель одна — Ming-3.0-tts-0.5B. Она не входит в дополнение: при первом озвучивании она загружается в общий кэш моделей Subtitld с Hugging Face, с закреплённой ревизией, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения модель сохраняет.

Первая реплика ещё и загружает модель, поэтому занимает больше времени, чем следующие. Отмена останавливает реплику между двумя шагами или останавливает загрузку.

Настройки

В разделе «Настройки › Дополнения › Ming-3.0-tts (offline, voice clone, 7 languages)» нажмите «Настроить».

Языки

Китайский, английский, японский, корейский, немецкий, французский и испанский. Каждый голос говорит на каждом из них.

• zh
• en
• ja
• ko
• de
• fr
• es

Платформы

Linux x86-64, macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, а CI проверяет, что в сборке есть всё нужное для синтеза речи. Саму модель CI не запускает.

Устранение неполадок

• network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.
• disk_fullНедостаточно места на диске для модели. Нужно около 3,4 ГБ свободного места.
• oomНе хватает памяти. Закройте другие программы; Ming-3.0-tts нужно около 5 ГБ свободной памяти.
• bad_paramsВ реплике нет текста, клон не получил образца или у Voice you describe нет описания. В сообщении сказано, что именно: откройте видео, задайте Fallback reference clip или напишите Voice description.
• unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.
• internalВнутри дополнения произошёл сбой; подробности в сообщении. Если вы меняли Inference device, верните автоматический режим.

Лицензия

Подходит для коммерческой работы: дополнение лицензировано по Apache-2.0, а код Ming-3.0-tts и веса Ming-3.0-tts-0.5B — по MIT. Созданный дубляж принадлежит вам. Клонированный голос звучит как реальный человек: клонируйте голоса, которые вы вправе использовать, и указывайте, что дубляж синтетический, там, где это важно.