MuseTalk (GPU lip-sync)
Zeichnet den Mund der sprechenden Person in einem Video oder einem Standbild neu, sodass er einer neuen Tonspur folgt, mit MuseTalk. Es braucht eine NVIDIA-Grafikkarte mit CUDA. Der Download ist klein: Beim ersten Einsatz installiert er seine eigene PyTorch-Laufzeit und mehrere GB Modelle.
Einstellungen Erweiterungen MuseTalk (GPU lip-sync) Installieren
Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.
- Download der Erweiterung
- 9–18 MB
Was es tut
Es startet mit einem Video, einem einzelnen Standbild oder einem Ordner mit Einzelbildern und schreibt ein Video in H.264 mit dem neuen Ton in AAC.
Ist der Ton länger als das Video, laufen die Bilder vorwärts, dann rückwärts, und so weiter, bis der Ton endet.
Die Erweiterung, die Sie herunterladen, ist ein kleiner Starter. Ihr erster Auftrag installiert PyTorch und den Rest von MuseTalk in eine private Python-Umgebung und lädt danach die Modelle. Spätere Aufträge überspringen das alles.
MuseTalk 1.5, der Standard, liefert schärfere Münder; 1.0 ist das Original. Beide werden beim ersten Lauf geladen, sodass Sie wechseln können, ohne zu warten.
In Subtitld läuft es noch nicht. Sie können es installieren, aber bisher sendet kein Befehl der App ein Video zur Lippensynchronisation.
Modelle
Hier gibt es nichts auszuwählen. Der erste Auftrag holt einmalig alles, was MuseTalk braucht:
- Eine private Python-Umgebung mit PyTorch für CUDA und MuseTalks übrige Bibliotheken: mehrere GB. Die gesamte Installation erscheint als die ersten 5 % der Fortschrittsanzeige.
- Der Quellcode von MuseTalk, geklont mit
git. - Die Modelle: MuseTalk 1.5 und 1.0, der SD-VAE, Whisper tiny, DWPose, der BiSeNet-Gesichtsparser und SyncNet, nochmals mehrere GB.
Die CUDA-Builds von PyTorch kommen von https://download.pytorch.org/whl/cu121. Für eine andere CUDA-Version oder einen Spiegel setzen Sie SUBTITLD_MUSETALK_TORCH_INDEX auf dessen Adresse. Eine neue Version der Erweiterung führt die Installation erneut aus, in dieselbe Umgebung.
Was der erste Lauf braucht
- Eine NVIDIA-Karte mit CUDA. Die Erweiterung prüft das erst, nachdem sie die Laufzeit installiert hat. Vergewissern Sie sich daher vorher.
- Python 3.10 oder neuer im PATH, mit dem Modul
venv, oder setzen SieSUBTITLD_MUSETALK_PYTHONauf eine solche Installation. Die Erweiterung baut ihre Umgebung daraus. gitim PATH, um den Quellcode von MuseTalk zu holen.- Eine Verbindung und mehrere GB freier Speicherplatz.
- Die Gesichts- und Posenbibliotheken von MuseTalk: mmcv, mmpose und mmdet. Die Erweiterung installiert sie nicht. Bis eine zur PyTorch- und CUDA-Version der Laufzeit passende Auswahl in ihrer Umgebung installiert ist, endet ein Auftrag mit einem
internal-Fehler, der nennt, was nicht importiert werden konnte.
Unter Windows kann das Beenden von Subtitld während der ersten Installation dazu führen, dass der Download im Hintergrund weiterläuft, bis er fertig ist.
Wo alles liegt
Darin liegen runtime (die Python-Umgebung), models und MuseTalk (der Quellcode). Das Deinstallieren der Erweiterung lässt diesen Ordner. Löschen Sie ihn, um Platz freizugeben.
| System | Ordner |
|---|---|
| Linux | ~/.cache/subtitld/musetalk |
| Windows | %USERPROFILE%\.cache\subtitld\musetalk |
Optionen
In Einstellungen › Erweiterungen › MuseTalk (GPU lip-sync) › Konfigurieren.
v15MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.
0Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.
10Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.
8Wie viele Bilder die Grafikkarte gleichzeitig berechnet. Höher ist schneller, braucht aber mehr Grafikspeicher. Senken Sie den Wert nach einem Speicherfehler.
25Bildrate des Ergebnisses. MuseTalk ist auf 25 fps trainiert und arbeitet am besten mit Video mit 25 fps; belassen Sie es bei 25.
Halbe Genauigkeit, die weniger Grafikspeicher braucht. Schalten Sie sie nur aus, wenn Sie Bildfehler sehen.
Plattformen
| System | Download |
|---|---|
| Linux x86-64 | 17.7 MB |
| Windows x86-64 | 8.6 MB |
Es gibt keinen macOS-Build: MuseTalk braucht CUDA. Beide Builds werden in der CI erstellt, ohne eine Lippensynchronisation auszuführen.
Fehlerbehebung
gpu_unavailableKein CUDA-Gerät gefunden. MuseTalk kann nicht auf der CPU laufen; es braucht eine NVIDIA-Karte mit funktionierenden Treibern.oomDer Grafikspeicher ist voll. Senken Sie Batch size und lassen Sie Use float16 eingeschaltet.model_missingEin Modell oder der Quellcode von MuseTalk konnte nicht geladen werden. Installieren Siegit, falls es fehlt. Lässt sich das Gesichts-Parsing-Gewicht nicht von Google Drive laden, laden Sie79999_iter.pthselbst inmodels/face-parse-bisent/herunter.network_unavailableEin Download, das Klonen des Quellcodes oder die Installation der Laufzeit ist aus Netzwerkgründen fehlgeschlagen. Versuchen Sie es erneut: Bereits geladene Modelle bleiben erhalten, aber eine unterbrochene Laufzeitinstallation beginnt von vorn.internalDie Meldung sagt, was. Meist wurde kein Python 3.10 oder neuer gefunden, die Installation der Laufzeit ist fehlgeschlagen (die Meldung endet mit der Ausgabe von pip), oder eine MuseTalk-Bibliothek ließ sich nicht importieren, meist mmcv, mmpose oder mmdet. Stoppte die Laufzeit mitten im Auftrag, senken Sie Batch size.bad_paramsEine Datei fehlt, ffmpeg wurde nicht gefunden oder aus dem Video konnten keine Bilder gelesen werden. Subtitld stellt ffmpeg normalerweise selbst bereit.
Lizenz
Die Erweiterung und MuseTalk sind MIT, und die Erweiterung beschreibt beides als geeignet für kommerzielle Nutzung. Die anderen Modelle, die sie herunterlädt, behalten ihre eigenen Lizenzen, die sie nicht auflistet. Prüfen Sie diese vor kommerzieller Arbeit.
Versionen
- 0.2.0