Перерисовывает рот говорящего в видео или на неподвижном изображении, чтобы он следовал новой звуковой дорожке, с помощью MuseTalk. Нужна видеокарта NVIDIA с CUDA. Загрузка небольшая: при первом использовании он устанавливает собственную среду выполнения PyTorch и несколько ГБ моделей.

Что он делает

Видео, изображение или кадры

Он начинает с видео, одного неподвижного изображения или папки кадров и записывает видео в H.264 с новым звуком в AAC.

Короткий клип, длинный звук

Когда звук длиннее видео, кадры проигрываются вперёд, затем назад, и так далее, пока звук не закончится.

Настраивает себя сам

Дополнение, которое вы скачиваете, — небольшой запускатель. Его первая задача устанавливает PyTorch и остальное для MuseTalk в собственную среду Python, затем загружает модели. Последующие задания это пропускают.

Две версии

MuseTalk 1.5, по умолчанию, даёт более чёткие рты; 1.0 это оригинал. Обе загружаются при первом запуске, так что вы можете переключаться без ожидания.

Ничто в Subtitld пока его не запускает. Вы можете установить его, но пока ни одна команда в приложении не отправляет ему видео для синхронизации губ.

Модели

Выбирать ничего не нужно. Первое задание загружает всё, что нужно MuseTalk, один раз:

Собственная среда Python с PyTorch для CUDA и остальными библиотеками MuseTalk: несколько ГБ. Вся установка показывается как первые 5% полосы прогресса.
Исходный код MuseTalk, клонируемый через git.
Модели: MuseTalk 1.5 и 1.0, SD-VAE, Whisper tiny, DWPose, face parser BiSeNet и SyncNet, ещё несколько ГБ.

Сборки PyTorch для CUDA берутся с https://download.pytorch.org/whl/cu121. Для другой версии CUDA или зеркала задайте в SUBTITLD_MUSETALK_TORCH_INDEX его адрес. Новая версия дополнения запускает установку ещё раз, в ту же среду.

Что нужно для первого запуска

Карта NVIDIA с CUDA. Дополнение проверяет её только после установки среды выполнения, поэтому убедитесь заранее.
Python 3.10 или новее в PATH, с модулем venv, либо задайте в SUBTITLD_MUSETALK_PYTHON путь к нему. Дополнение строит среду на его основе.
git в PATH, чтобы получить исходный код MuseTalk.
Подключение к сети и несколько ГБ свободного места.
Библиотеки лиц и поз MuseTalk: mmcv, mmpose и mmdet. Дополнение их не устанавливает. Пока в его среде не установлен набор, совместимый с PyTorch и CUDA среды выполнения, задание завершается ошибкой internal с указанием, какая библиотека не импортировалась.

В Windows выход из Subtitld во время первой установки может оставить загрузку работать в фоне до её завершения.

Где всё хранится

Внутри находятся runtime (среда Python), models и MuseTalk (исходный код). Удаление дополнения эту папку оставляет; удалите её, чтобы освободить место.

Система	Папка
Linux	`~/.cache/subtitld/musetalk`
Windows	`%USERPROFILE%\.cache\subtitld\musetalk`

Настройки

В разделе «Настройки › Дополнения › MuseTalk (GPU lip-sync)» нажмите «Настроить».

MuseTalk version

По умолчанию: v15

MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.

Bbox shift

По умолчанию: 0

Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.

Extra margin

По умолчанию: 10

Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.

Batch size

По умолчанию: 8

Сколько кадров видеокарта обрабатывает одновременно. Больше значит быстрее, но нужно больше видеопамяти; уменьшите после ошибки нехватки памяти.

Output FPS

По умолчанию: 25

Частота кадров результата. MuseTalk обучен на 25 к/с и лучше всего работает с видео 25 к/с; оставьте 25.

Use float16

По умолчанию: вкл.

Половинная точность, которая использует меньше видеопамяти. Выключайте, только если видите визуальные артефакты.

Платформы

Система	Загрузка
Linux x86-64	17.7 MB
Windows x86-64	8.6 MB

Сборки для macOS нет: MuseTalk нужен CUDA. Обе сборки создаются в CI без запуска синхронизации губ.

Устранение неполадок

gpu_unavailableУстройство CUDA не найдено. MuseTalk не может работать на процессоре; нужна карта NVIDIA с исправно работающими драйверами.
oomВидеокарте не хватило памяти. Уменьшите Batch size и оставьте Use float16 включённым.
model_missingМодель или исходный код MuseTalk не удалось получить. Установите git, если его нет. Если веса face-parsing не загружаются с Google Drive, скачайте 79999_iter.pth сами и положите в models/face-parse-bisent/.
network_unavailableЗагрузка, клонирование исходного кода или установка среды выполнения не удались из-за сети. Попробуйте снова: уже загруженные модели сохранены, но прерванная установка среды начинается заново.
internalСообщение скажет что. Чаще всего не найден Python 3.10 или новее, установка среды выполнения не удалась (сообщение заканчивается выводом pip) или библиотека MuseTalk не импортировалась, обычно mmcv, mmpose или mmdet. Если среда остановилась посреди задания, уменьшите Batch size.
bad_paramsФайл отсутствует, ffmpeg не найден или из видео не удалось прочитать ни одного кадра. Subtitld обычно предоставляет ffmpeg сам.

Лицензия

Дополнение

MIT

Движок

MIT

MuseTalk

Модели

По модели

SD-VAE, Whisper, DWPose, BiSeNet и SyncNet сохраняют собственные лицензии

Дополнение и MuseTalk лицензированы по MIT, и дополнение описывает их как подходящие для коммерческого использования. Остальные модели, которые оно загружает, сохраняют собственные лицензии, которые оно не перечисляет; проверьте их перед коммерческой работой.

MuseTalk (GPU lip-sync)

Что он делает

Модели

Что нужно для первого запуска

Где всё хранится

Настройки

Платформы

Устранение неполадок

Лицензия

Версии

Другие дополнения группы «Синхронизация губ»