Перерисовывает рот в видео с говорящей головой, чтобы он следовал новой звуковой дорожке, например вашему дубляжу. Работает на процессоре, без PyTorch, и офлайн, как только загружены два файла модели. Веса предназначены только для исследований и некоммерческого использования.

Что он делает

Рот следует за звуком

В каждом кадре находит самое большое лицо, перерисовывает его рот под звук и накладывает фрагмент обратно с мягким краем.

Лицо в каждом кадре

Ему нужно лицо в каждом кадре. Один кадр, где лицо не найдено, например врезка, останавливает задание.

Столько же, сколько звук

Он записывает новое видео, H.264 со звуком AAC, той же длины, что и звук: более короткая дорожка обрезает видео, а более длинная проигрывает его заново с первого кадра.

Весь клип в памяти

Перед запуском он читает каждый кадр в память, поэтому длинные или высококачественные клипы требуют много RAM. Resize factor её уменьшает.

Не для коммерческой работы. Веса Wav2Lip обучены на LRS2 и лицензированы только для исследований и некоммерческого использования, как и веса детектора лиц SCRFD. Лицензия MIT дополнения покрывает его собственный код, но не эти веса.

Ничто в Subtitld пока его не запускает. Вы можете установить его, но пока ни одна команда в приложении не отправляет ему видео для синхронизации губ.

Модели

Выбирать ничего не нужно. Два файла загружаются при первом запуске, после чего всё остаётся на вашем компьютере: wav2lip_256.onnx, модель синхронизации губ (около 200 МБ), и scrfd_2.5g_bnkps.onnx, детектор лиц (около 3 МБ).

Файл, уже лежащий в папке, используется как есть. Если у вас нет подключения к сети, загрузите оба сами и положите их туда:

Где хранятся модели

Вне дополнения, поэтому обновление или удаление дополнения их сохраняет; удалите папку, чтобы освободить место.

Система	Папка
Linux	`~/.cache/subtitld/wav2lip`
macOS	`~/.cache/subtitld/wav2lip`
Windows	`%USERPROFILE%\.cache\subtitld\wav2lip`

Настройки

В разделе «Настройки › Дополнения › Wav2Lip (offline lip-sync)» нажмите «Настроить».

Mouth box padding (top bottom left right)

По умолчанию: 0 10 0 0

Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.

Resize factor

По умолчанию: 1

Сначала уменьшает каждый кадр в это число раз, и результат сохраняет меньший размер. 2 уменьшает ширину и высоту вдвое: быстрее, меньше памяти, ниже разрешение.

Face detection threshold

По умолчанию: 0.3

Насколько уверен детектор лиц, прежде чем принять лицо. Понизьте, если задание останавливается на кадре, где лицо не найдено.

Платформы

Система	Загрузка
Linux x86-64	273.6 MB
macOS (Apple silicon)	202.4 MB
Windows x86-64	175.9 MB

Сборки создаются в CI без запуска синхронизации губ.

Устранение неполадок

bad_paramsЧто-то во входных данных остановило задание; сообщение скажет что. Чаще всего это кадр, в котором не найдено лицо: понизьте Face detection threshold или используйте клип, где лицо всегда в кадре. Тихий или очень короткий звук тоже останавливает задание.
model_missingМодель не удалось загрузить по её адресу. Сообщение указывает файл, папку и адрес: загрузите его сами и положите туда.
network_unavailableНе было подключения во время загрузки моделей. Попробуйте снова в сети; когда оба файла на месте, сеть больше не нужна.
internalВсё остальное, включая отменённое задание. На длинном или высококачественном видео увеличьте Resize factor: весь клип хранится в памяти.

Лицензия

Дополнение

MIT

Модель синхронизации

Некоммерческая

Веса Wav2Lip, обучены на LRS2; только для исследований

Детектор лиц

Некоммерческая

Веса InsightFace SCRFD; только для исследований

Только для некоммерческого использования. Код дополнения лицензирован по MIT, но веса Wav2Lip и SCRFD, которые оно загружает, предназначены для исследований и некоммерческого использования, и соблюдать их лицензии вы должны сами.

Wav2Lip (offline lip-sync)