Wav2Lip (offline lip-sync)
Zeichnet den Mund in einem Video mit sprechendem Kopf neu, sodass er einer neuen Tonspur folgt, etwa Ihrer Synchronisation. Es läuft auf der CPU, ohne PyTorch, und funktioniert offline, sobald seine zwei Modelldateien heruntergeladen sind. Die Gewichte sind nur für Forschung und nicht-kommerzielle Nutzung bestimmt.
Einstellungen Erweiterungen Wav2Lip (offline lip-sync) Installieren
Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.
- Download der Erweiterung
- 176–274 MB
Was es tut
In jedem Bild findet es das größte Gesicht, zeichnet dessen Mund passend zum Klang neu und blendet den Ausschnitt mit weichem Rand wieder ein.
Es braucht in jedem Bild ein Gesicht. Ein Bild ohne Gesicht, etwa ein Schnitt auf etwas anderes, stoppt den Auftrag.
Es schreibt ein neues Video, H.264 mit AAC-Ton, so lang wie der Ton: Eine kürzere Tonspur kürzt das Video, eine längere spielt es ab dem ersten Bild erneut.
Vor dem Start liest es jedes Bild in den Speicher. Lange oder hochaufgelöste Clips brauchen daher viel RAM. Resize factor verringert den Bedarf.
Nicht für kommerzielle Arbeit. Die Wav2Lip-Gewichte wurden auf LRS2 trainiert und sind nur für Forschung und nicht-kommerzielle Nutzung lizenziert, ebenso die Gewichte des SCRFD-Gesichtsdetektors. Die MIT-Lizenz der Erweiterung gilt für ihren eigenen Code, nicht für diese Gewichte.
In Subtitld läuft es noch nicht. Sie können es installieren, aber bisher sendet kein Befehl der App ein Video zur Lippensynchronisation.
Modelle
Hier gibt es nichts auszuwählen. Zwei Dateien werden beim ersten Lauf heruntergeladen, danach bleibt alles auf Ihrem Computer: wav2lip_256.onnx, das Lippensynchronisations-Modell (etwa 200 MB), und scrfd_2.5g_bnkps.onnx, der Gesichtsdetektor (etwa 3 MB).
Eine Datei, die bereits im Ordner liegt, wird unverändert verwendet. Haben Sie keine Verbindung, laden Sie beide selbst herunter und legen Sie sie dort ab:
Wo die Modelle liegen
Außerhalb der Erweiterung, daher behalten Aktualisieren oder Deinstallieren sie. Löschen Sie den Ordner, um Platz freizugeben.
| System | Ordner |
|---|---|
| Linux | ~/.cache/subtitld/wav2lip |
| macOS | ~/.cache/subtitld/wav2lip |
| Windows | %USERPROFILE%\.cache\subtitld\wav2lip |
Optionen
In Einstellungen › Erweiterungen › Wav2Lip (offline lip-sync) › Konfigurieren.
0 10 0 0Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.
1Verkleinert zuerst jedes Bild um diesen Faktor, und das Ergebnis behält die kleinere Größe. 2 halbiert Breite und Höhe: schneller, weniger Speicher, geringere Auflösung.
0.3Wie sicher der Gesichtsdetektor sein muss, bevor er ein Gesicht akzeptiert. Senken Sie den Wert, wenn ein Auftrag an einem Bild stehen bleibt, in dem kein Gesicht gefunden wurde.
Plattformen
| System | Download |
|---|---|
| Linux x86-64 | 273.6 MB |
| macOS (Apple Silicon) | 202.4 MB |
| Windows x86-64 | 175.9 MB |
Die Builds werden in der CI erstellt, ohne eine Lippensynchronisation auszuführen.
Fehlerbehebung
bad_paramsEtwas in der Eingabe hat den Auftrag gestoppt; die Meldung sagt, was. Meist ist es ein Bild, in dem kein Gesicht gefunden wurde: Senken Sie Face detection threshold oder verwenden Sie einen Clip, in dem das Gesicht immer zu sehen ist. Stumme oder sehr kurze Tonspuren stoppen den Auftrag ebenfalls.model_missingEin Modell konnte von seiner Adresse nicht heruntergeladen werden. Die Meldung nennt die Datei, den Ordner und die Adresse: Laden Sie die Datei selbst herunter und legen Sie sie dort ab.network_unavailableBeim Herunterladen der Modelle gab es keine Verbindung. Versuchen Sie es online erneut; sobald beide Dateien vorhanden sind, braucht es das Netzwerk nie mehr.internalAlles andere, auch ein abgebrochener Auftrag. Bei einem langen oder hochaufgelösten Video erhöhen Sie Resize factor, denn der ganze Clip wird im Speicher gehalten.
Lizenz
Nur für nicht-kommerzielle Nutzung. Der Code der Erweiterung ist MIT, die Gewichte von Wav2Lip und SCRFD, die sie herunterlädt, sind aber für Forschung und nicht-kommerzielle Nutzung bestimmt. Die Einhaltung ihrer Lizenzen liegt bei Ihnen.
Versionen
- 0.1.0