Перемальовує рот у відео з говорячою головою, щоб він відповідав новій звуковій доріжці, наприклад вашому дубляжу. Працює на ЦП, без PyTorch, і офлайн після того, як завантажено два його файли моделей. Ваги призначені лише для дослідницького та некомерційного використання.

Що це робить

Рот слідує за звуком

У кожному кадрі він знаходить найбільше обличчя, перемальовує його рот відповідно до звуку та вплітає фрагмент назад із м’яким краєм.

Обличчя в кожному кадрі

Йому потрібне обличчя в кожному кадрі. Один кадр, де його не знайдено, наприклад вставка, зупиняє завдання.

Стільки, скільки аудіо

Він записує нове відео, H.264 зі звуком AAC, стільки ж, скільки аудіо: коротша доріжка обрізає відео, довша відтворює його знову з першого кадру.

Увесь кліп у пам’яті

Перед стартом він читає кожен кадр у пам’ять, тож довгі або високої роздільності кліпи потребують багато оперативної пам’яті. Коефіцієнт зменшення її зменшує.

Не для комерційної роботи. Ваги Wav2Lip навчено на LRS2, і їх ліцензовано лише для досліджень і некомерційного використання; так само і ваги детектора облич SCRFD. Ліцензія MIT додатка покриває його власний код, а не ці ваги.

Subtitld поки що його не запускає. Ви можете встановити його, але жодна команда в програмі поки що не надсилає йому відео для синхронізації губ.

Моделі

Вибирати нічого не потрібно. Два файли завантажуються під час першого запуску, а далі все лишається на вашому комп’ютері: wav2lip_256.onnx, модель синхронізації губ (близько 200 МБ), і scrfd_2.5g_bnkps.onnx, детектор облич (близько 3 МБ).

Файл, який уже є в теці, використовується як є. Без з’єднання завантажте обидва самостійно й покладіть їх туди:

Де зберігаються моделі

Поза додатком, тож оновлення або видалення його їх зберігає; видаліть теку, щоб звільнити місце.

Система	Тека
Linux	`~/.cache/subtitld/wav2lip`
macOS	`~/.cache/subtitld/wav2lip`
Windows	`%USERPROFILE%\.cache\subtitld\wav2lip`

Параметри

У Налаштуваннях › Додатки › Wav2Lip (offline lip-sync) › Налаштувати.

Mouth box padding (top bottom left right)

За замовчуванням: 0 10 0 0

Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.

Resize factor

За замовчуванням: 1

Спочатку зменшує кожен кадр у цьому співвідношенні, і результат зберігає менший розмір. 2 зменшує ширину й висоту вдвічі: швидше, менше пам’яті, нижча роздільна здатність.

Face detection threshold

За замовчуванням: 0.3

Наскільки впевненим має бути детектор облич, щоб прийняти обличчя. Знизьте, якщо завдання зупиняється на кадрі, де обличчя не знайдено.

Платформи

Система	Завантаження
Linux x86-64	273.6 MB
macOS (Apple silicon)	202.4 MB
Windows x86-64	175.9 MB

Збірки створюються в CI, без виконання синхронізації губ.

Усунення несправностей

bad_paramsЩось у вхідних даних зупинило його, а повідомлення каже що. Найчастіше це кадр без знайденого обличчя: знизьте Поріг виявлення облич або використайте кліп, де обличчя завжди видно. Тиша або дуже короткий звук теж його зупиняють.
model_missingМодель не вдалося завантажити з її адреси. Повідомлення називає файл, теку та адресу: завантажте його самостійно й покладіть туди.
network_unavailableПід час завантаження моделей не було з’єднання. Спробуйте знову онлайн; коли обидва файли на місці, мережа більше не потрібна.
internalУсе інше, зокрема скасоване завдання. На довгому або високої роздільності відео збільште Коефіцієнт зменшення: увесь кліп утримується в пам’яті.

Ліцензія

Додаток

MIT

Модель синхронізації губ

Некомерційна

Ваги Wav2Lip, навчені на LRS2; лише для досліджень

Детектор облич

Некомерційна

Ваги InsightFace SCRFD; лише для досліджень

Лише некомерційне використання. Код додатка має ліцензію MIT, але ваги Wav2Lip і SCRFD, які він завантажує, призначені для досліджень і некомерційного використання; дотримання їхніх ліцензій лежить на вас.

Wav2Lip (offline lip-sync)