Завантажити

MuseTalk (GPU lip-sync)

Синхронізація губОфлайнПотрібен GPUКомерційне використання дозволено

Перемальовує рот мовця у відео або на нерухомому зображенні, щоб він відповідав новій звуковій доріжці, за допомогою MuseTalk. Потрібна відеокарта NVIDIA з CUDA. Завантаження невелике: під час першого використання він встановлює власне середовище PyTorch і кілька ГБ моделей.

Встановіть його з Subtitld

Налаштування Додатки MuseTalk (GPU lip-sync) Встановити

Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.

Джерело на GitHub
Завантаження додатка
9–18 MB

Що це робить

Відео, зображення або кадри

Він починається з відео, одного нерухомого зображення або теки кадрів і записує відео H.264 з новим звуком AAC.

Короткий кліп, довге аудіо

Коли аудіо довше за відео, кадри відтворюються вперед, потім назад, і так далі, доки не закінчиться звук.

Налаштовується сам

Додаток, який ви завантажуєте, — це невеликий запускач. Його перше завдання встановлює PyTorch і решту MuseTalk у приватне середовище Python, а потім завантажує моделі. Наступні завдання цього не повторюють.

Дві версії

MuseTalk 1.5, типова, дає чіткіші рти; 1.0 — оригінальна. Обидві завантажуються під час першого запуску, тож ви можете перемикатися без очікування.

Subtitld поки що його не запускає. Ви можете встановити його, але жодна команда в програмі поки що не надсилає йому відео для синхронізації губ.

Моделі

Вибирати нічого не потрібно. Перше завдання завантажує все, що потрібно MuseTalk, один раз:

  1. Приватне середовище Python з PyTorch для CUDA та іншими бібліотеками MuseTalk: кілька ГБ. Уся установка відображається як перші 5% смуги прогресу.
  2. Вихідний код MuseTalk, клонований через git.
  3. Моделі: MuseTalk 1.5 і 1.0, SD-VAE, Whisper tiny, DWPose, парсер облич BiSeNet і SyncNet, ще кілька ГБ.

Збірки PyTorch для CUDA беруться з https://download.pytorch.org/whl/cu121. Для іншої версії CUDA або дзеркала встановіть SUBTITLD_MUSETALK_TORCH_INDEX на їхню адресу. Нова версія додатка виконує установку ще раз, у те саме середовище.

Що потрібно для першого запуску

  • Карта NVIDIA з CUDA. Додаток перевіряє її лише після встановлення середовища виконання, тож переконайтеся заздалегідь.
  • Python 3.10 або новіший у вашому PATH, із модулем venv, або встановіть SUBTITLD_MUSETALK_PYTHON на нього. Додаток будує своє середовище з нього.
  • git у вашому PATH, щоб отримати вихідний код MuseTalk.
  • З’єднання й кілька ГБ вільного місця.
  • Бібліотеки облич і пози MuseTalk: mmcv, mmpose і mmdet. Додаток їх не встановлює. Доки в його середовищі не буде набору, що відповідає PyTorch і CUDA середовища виконання, завдання завершується помилкою internal з назвою бібліотеки, яку не вдалося імпортувати.

У Windows, якщо закрити Subtitld під час першої установки, завантаження може тривати у фоні, доки не завершиться.

Де зберігається все

Усередині: runtime (середовище Python), models і MuseTalk (вихідний код). Видалення додатка цю теку залишає; видаліть її, щоб звільнити місце.

Система Тека
Linux ~/.cache/subtitld/musetalk
Windows %USERPROFILE%\.cache\subtitld\musetalk

Параметри

У Налаштуваннях › Додатки › MuseTalk (GPU lip-sync) › Налаштувати.

MuseTalk version
За замовчуванням: v15

MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.

Bbox shift
За замовчуванням: 0

Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.

Extra margin
За замовчуванням: 10

Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.

Batch size
За замовчуванням: 8

Скільки кадрів відеокарта обробляє одночасно. Більше — швидше, але потребує більше пам’яті відеокарти; знизьте після помилки нестачі пам’яті.

Output FPS
За замовчуванням: 25

Частота кадрів результату. MuseTalk навчено на 25 fps і він найкраще працює з відео 25 fps; залиште 25.

Use float16
За замовчуванням: увімк.

Half-precision, яка використовує менше пам’яті відеокарти. Вимикайте, лише якщо бачите візуальні артефакти.

Платформи

Система Завантаження
Linux x86-64 17.7 MB
Windows x86-64 8.6 MB

Збірки для macOS немає: MuseTalk потребує CUDA. Обидві збірки створюються в CI, без виконання синхронізації губ.

Усунення несправностей

  • gpu_unavailableПристрій CUDA не знайдено. MuseTalk не працює на ЦП; потрібна карта NVIDIA з робочими драйверами.
  • oomВідеокарта вичерпала пам’ять. Знизьте Розмір пакета і залиште Використовувати float16 увімкненим.
  • model_missingМодель або вихідний код MuseTalk не вдалося отримати. Встановіть git, якщо його немає. Якщо ваги парсингу облич не завантажуються з Google Drive, завантажте 79999_iter.pth самостійно в models/face-parse-bisent/.
  • network_unavailableЗавантаження, клонування вихідного коду або встановлення середовища виконання не вдалося через мережу. Спробуйте знову: уже завантажені моделі зберігаються, але перервана установка середовища починається заново.
  • internalПовідомлення вказує причину. Найчастіше не знайдено Python 3.10 або новішого, установка середовища виконання не вдалася (повідомлення закінчується виводом pip) або не імпортувалася бібліотека MuseTalk, зазвичай mmcv, mmpose чи mmdet. Якщо середовище зупинилося посеред завдання, знизьте Розмір пакета.
  • bad_paramsФайл відсутній, ffmpeg не знайдено або з відео не вдалося прочитати жодного кадру. Subtitld зазвичай сам постачає ffmpeg.

Ліцензія

Додаток
MIT
Рушій
MIT
MuseTalk
Моделі
Для кожної моделі
SD-VAE, Whisper, DWPose, BiSeNet і SyncNet мають власні ліцензії

Додаток і MuseTalk мають ліцензію MIT, а додаток описує їх як придатні для комерційного використання. Інші моделі, які він завантажує, зберігають свої ліцензії, які він не перелічує; перевірте їх перед комерційною роботою.

Версії

  • 0.2.0

Інші додатки групи «Синхронізація губ»

Оновлено · З каталогу додатків Повідомити про проблему з цим додатком