Pobierz

MuseTalk (GPU lip-sync)

Synchronizacja ustOfflineWymaga GPUUżycie komercyjne dozwolone

Przerysowuje usta mówiącej osoby w filmie lub na nieruchomym obrazie tak, by podążały za nową ścieżką dźwiękową, za pomocą MuseTalk. Wymaga karty graficznej NVIDIA z CUDA. Pobranie jest małe: przy pierwszym użyciu instaluje własne środowisko PyTorch i kilka GB modeli.

Zainstaluj z poziomu Subtitld

Ustawienia Dodatki MuseTalk (GPU lip-sync) Zainstaluj

Subtitld pobiera dodatek, sprawdza jego SHA-256 i utrzymuje go w aktualności.

Źródło na GitHub
Pobranie dodatku
9–18 MB

Co robi

Wideo, obraz lub klatki

Zaczyna od wideo, pojedynczego nieruchomego obrazu lub folderu klatek i zapisuje wideo w H.264 z nowym dźwiękiem w AAC.

Krótki klip, długie audio

Gdy audio jest dłuższe niż wideo, klatki odtwarzają się najpierw do przodu, potem do tyłu, i tak dalej, aż skończy się dźwięk.

Sam się konfiguruje

Pobrany dodatek to mały launcher. Jego pierwsze zadanie instaluje PyTorch i resztę MuseTalk do prywatnego środowiska Pythona, a potem pobiera modele. Kolejne zadania to pomijają.

Dwie wersje

MuseTalk 1.5, domyślny, daje ostrzejsze usta; 1.0 to oryginał. Obie pobierają się przy pierwszym uruchomieniu, więc możesz przełączać bez czekania.

Nic w Subtitld jeszcze tego nie uruchamia. Możesz go zainstalować, ale żadne polecenie w aplikacji dotąd nie wysyła do niego wideo do synchronizacji ust.

Modele

Nie ma czego wybierać. Pierwsze zadanie pobiera wszystko, czego MuseTalk potrzebuje, jednorazowo:

  1. Prywatne środowisko Pythona z PyTorch dla CUDA i resztą bibliotek MuseTalk: kilka GB. Cała instalacja pokazuje się jako pierwsze 5% paska postępu.
  2. Kod źródłowy MuseTalk, pobrany przez git.
  3. Modele: MuseTalk 1.5 i 1.0, SD-VAE, Whisper tiny, DWPose, parser twarzy BiSeNet i SyncNet, kilka GB więcej.

Wydania PyTorch z CUDA pochodzą z https://download.pytorch.org/whl/cu121. Dla innej wersji CUDA lub lustra ustaw SUBTITLD_MUSETALK_TORCH_INDEX na ich adres. Nowa wersja dodatku uruchamia instalację jeszcze raz, w to samo środowisko.

Czego potrzebuje pierwsze uruchomienie

  • Karta NVIDIA z CUDA. Dodatek sprawdza ją dopiero po zainstalowaniu środowiska, więc upewnij się wcześniej.
  • Python 3.10 lub nowszy w PATH, z modułem venv, albo ustaw SUBTITLD_MUSETALK_PYTHON na taki. Dodatek buduje z niego swoje środowisko.
  • git w PATH, aby pobrać kod źródłowy MuseTalk.
  • Połączenie i kilka GB wolnego miejsca.
  • Biblioteki MuseTalk do twarzy i pozy, mmcv, mmpose i mmdet. Dodatek ich nie instaluje. Dopóki w jego środowisku nie będzie zestawu pasującego do PyTorch i CUDA z środowiska, zadanie kończy się błędem internal, który nazywa to, co się nie zaimportowało.

Na Windows zamknięcie Subtitld podczas pierwszej instalacji może zostawić pobieranie działające w tle, aż się skończy.

Gdzie trzymane jest wszystko

Wewnątrz są runtime (środowisko Pythona), models i MuseTalk (kod źródłowy). Odinstalowanie dodatku zostawia ten folder; aby zwolnić miejsce, usuń go.

System Folder
Linux ~/.cache/subtitld/musetalk
Windows %USERPROFILE%\.cache\subtitld\musetalk

Opcje

W Ustawieniach › Dodatki › MuseTalk (GPU lip-sync) › Konfiguruj.

MuseTalk version
Domyślnie: v15

MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.

Bbox shift
Domyślnie: 0

Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.

Extra margin
Domyślnie: 10

Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.

Batch size
Domyślnie: 8

Ile klatek karta graficzna liczy naraz. Wyższa wartość jest szybsza, ale potrzebuje więcej pamięci karty; obniż ją po błędzie braku pamięci.

Output FPS
Domyślnie: 25

Liczba klatek na sekundę wyniku. MuseTalk jest trenowany na 25 fps i działa najlepiej z wideo 25 fps; zostaw 25.

Use float16
Domyślnie: wł.

Połowiczna precyzja, która zużywa mniej pamięci karty. Wyłącz tylko wtedy, gdy widzisz błędy obrazu.

Platformy

System Pobranie
Linux x86-64 17.7 MB
Windows x86-64 8.6 MB

Nie ma pakietu dla macOS: MuseTalk wymaga CUDA. Oba pakiety są budowane w CI, bez uruchamiania synchronizacji ust.

Rozwiązywanie problemów

  • gpu_unavailableNie znaleziono urządzenia CUDA. MuseTalk nie może działać na procesorze; potrzebuje karty NVIDIA z działającymi sterownikami.
  • oomKarta graficzna zabrakło pamięci. Obniż Rozmiar partii i zostaw Użyj float16 włączone.
  • model_missingModelu albo kodu źródłowego MuseTalk nie udało się pobrać. Zainstaluj git, jeśli go brakuje. Jeśli wagi parsera twarzy nie pobierają się z Google Drive, pobierz 79999_iter.pth samodzielnie do models/face-parse-bisent/.
  • network_unavailablePobieranie, klonowanie kodu lub instalacja środowiska nie powiodły się z powodu sieci. Spróbuj ponownie: modele, które już są pobrane, zostają, ale przerwana instalacja środowiska zaczyna się od nowa.
  • internalKomunikat mówi co. Najczęściej nie znaleziono Pythona 3.10 lub nowszego, instalacja środowiska się nie powiodła (komunikat kończy się wyjściem pip), albo biblioteka MuseTalk się nie zaimportowała, zwykle mmcv, mmpose lub mmdet. Jeśli środowisko przerwało się w trakcie zadania, obniż Rozmiar partii.
  • bad_paramsBrakuje pliku, nie znaleziono ffmpeg albo z wideo nie dało się odczytać klatek. Subtitld zwykle dostarcza ffmpeg sam.

Licencja

Dodatek
MIT
Silnik
MIT
MuseTalk
Modele
Zależnie od modelu
SD-VAE, Whisper, DWPose, BiSeNet i SyncNet mają własne licencje

Dodatek i MuseTalk są na licencji MIT, a dodatek opisuje je jako nadające się do użytku komercyjnego. Pozostałe modele, które pobiera, zachowują własne licencje, których nie podaje; sprawdź je przed pracą komercyjną.

Wersje

  • 0.2.0

Inne dodatki: Synchronizacja ust

Zaktualizowano · Z katalogu dodatków Zgłoś problem z tym dodatkiem