Przerysowuje usta w filmie z mówiącą głową tak, by podążały za nową ścieżką dźwiękową, na przykład twoim dubbingiem. Działa na procesorze, bez PyTorch, i offline, gdy jego dwa pliki modeli się pobiorą. Wagi są tylko do badań i użytku niekomercyjnego.

Co robi

Usta podążają za dźwiękiem

W każdej klatce znajduje największą twarz, przerysowuje jej usta, by pasowały do dźwięku, i wtapia łatkę z powrotem miękką krawędzią.

Twarz w każdej klatce

Potrzebuje twarzy w każdej klatce. Jedna klatka, w której jej nie znajdzie, na przykład wstawka, zatrzymuje zadanie.

Tyle co dźwięk

Zapisuje nowe wideo, H.264 z dźwiękiem AAC, o długości audio: krótsza ścieżka obcina wideo, dłuższa odtwarza je od pierwszej klatki.

Cały klip w pamięci

Przed startem wczytuje każdą klatkę do pamięci, więc długie lub wysokiej rozdzielczości klipy potrzebują dużo RAM. Współczynnik zmniejszenia to zmniejsza.

Nie do pracy komercyjnej. Wagi Wav2Lip zostały wytrenowane na LRS2 i są licencjonowane tylko do badań i użytku niekomercyjnego, podobnie jak wagi detektora twarzy SCRFD. Licencja MIT dodatku obejmuje jego własny kod, a nie je.

Nic w Subtitld jeszcze tego nie uruchamia. Możesz go zainstalować, ale żadne polecenie w aplikacji dotąd nie wysyła do niego wideo do synchronizacji ust.

Modele

Nie ma czego wybierać. Dwa pliki pobierają się przy pierwszym uruchomieniu, a potem wszystko zostaje na twoim komputerze: wav2lip_256.onnx, model synchronizacji ust (około 200 MB), oraz scrfd_2.5g_bnkps.onnx, detektor twarzy (około 3 MB).

Plik, który już jest w folderze, jest używany takim, jaki jest. Na komputerze bez połączenia pobierz oba samodzielnie i umieść je tam:

Gdzie są przechowywane modele

Poza dodatkiem, więc jego aktualizacja lub odinstalowanie je zachowuje; aby zwolnić miejsce, usuń folder.

System	Folder
Linux	`~/.cache/subtitld/wav2lip`
macOS	`~/.cache/subtitld/wav2lip`
Windows	`%USERPROFILE%\.cache\subtitld\wav2lip`

Opcje

W Ustawieniach › Dodatki › Wav2Lip (offline lip-sync) › Konfiguruj.

Mouth box padding (top bottom left right)

Domyślnie: 0 10 0 0

Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.

Resize factor

Domyślnie: 1

Najpierw zmniejsza każdą klatkę o ten współczynnik, a wynik zachowuje mniejszy rozmiar. 2 zmniejsza szerokość i wysokość o połowę: szybciej, mniej pamięci, niższa rozdzielczość.

Face detection threshold

Domyślnie: 0.3

Jak pewny musi być detektor twarzy, zanim zaakceptuje twarz. Obniż, jeśli zadanie zatrzymuje się na klatce, w której nie znaleziono twarzy.

Platformy

System	Pobranie
Linux x86-64	273.6 MB
macOS (Apple silicon)	202.4 MB
Windows x86-64	175.9 MB

Pakiety są budowane w CI, bez uruchamiania synchronizacji ust.

Rozwiązywanie problemów

bad_paramsCoś w wejściu go zatrzymało; komunikat mówi co. Najczęściej to klatka bez znalezionej twarzy: obniż Próg wykrywania twarzy albo użyj klipu, w którym twarz jest zawsze widoczna. Ciche lub bardzo krótkie audio też go zatrzymuje.
model_missingNie udało się pobrać modelu z jego adresu. Komunikat podaje plik, folder i adres: pobierz go samodzielnie i umieść tam.
network_unavailableBrak połączenia podczas pobierania modeli. Spróbuj ponownie online; gdy oba pliki są na miejscu, nigdy nie potrzebuje sieci.
internalCokolwiek innego, także anulowane zadanie. Przy długim lub wysokiej rozdzielczości wideo podnieś Współczynnik zmniejszenia: cały klip jest trzymany w pamięci.

Licencja

Dodatek

MIT

Model synchronizacji ust

Niekomercyjna

Wagi Wav2Lip, trenowane na LRS2; tylko do badań

Detektor twarzy

Niekomercyjna

Wagi InsightFace SCRFD; tylko do badań

Tylko do użytku niekomercyjnego. Kod dodatku jest na licencji MIT, ale pobierane przez niego wagi Wav2Lip i SCRFD są przeznaczone do badań i użytku niekomercyjnego; przestrzeganie ich licencji należy do ciebie.

Wav2Lip (offline lip-sync)

Co robi

Modele

Gdzie są przechowywane modele

Opcje

Platformy

Rozwiązywanie problemów

Licencja

Wersje

Inne dodatki: Synchronizacja ust