MuseTalk (GPU lip-sync)
Tekent de mond van de spreker opnieuw in een video of een stilstaand beeld, zodat die het nieuwe geluidsspoor volgt, met MuseTalk. Het heeft een NVIDIA-videokaart met CUDA nodig. De download is klein: bij het eerste gebruik installeert het zijn eigen PyTorch-runtime en verschillende GB aan modellen.
Instellingen Add-ons MuseTalk (GPU lip-sync) Installeren
Subtitld downloadt hem, controleert de SHA-256 en houdt hem up-to-date.
- Download van de add-on
- 9–18 MB
Wat het doet
Het start met een video, één stilstaand beeld of een map met frames, en schrijft een video in H.264 met het nieuwe geluid in AAC.
Wanneer de audio langer is dan de video, spelen de frames vooruit, dan achteruit, enzovoort tot de audio eindigt.
De add-on die u downloadt is een kleine launcher. Zijn eerste taak installeert PyTorch en de rest van MuseTalk in een eigen Python-omgeving, en downloadt daarna de modellen. Latere taken slaan dat over.
MuseTalk 1.5, de standaard, geeft scherpere monden; 1.0 is het origineel. Beide worden bij de eerste run gedownload, dus u kunt wisselen zonder te wachten.
Niets in Subtitld draait het nog. U kunt het installeren, maar geen enkele opdracht in de app stuurt het tot nu toe een video om van lipsync te voorzien.
Modellen
Er valt niets te kiezen. De eerste taak haalt eenmaal alles op wat MuseTalk nodig heeft:
- Een eigen Python-omgeving met PyTorch voor CUDA en de overige bibliotheken van MuseTalk: meerdere GB. De hele installatie telt mee als de eerste 5% van de voortgangsbalk.
- De broncode van MuseTalk, gekloond met
git. - De modellen: MuseTalk 1.5 en 1.0, de SD-VAE, Whisper tiny, DWPose, de BiSeNet-gezichtsparser en SyncNet, nog eens verschillende GB.
De CUDA-builds van PyTorch komen van https://download.pytorch.org/whl/cu121. Voor een andere CUDA-versie of een spiegel zet u SUBTITLD_MUSETALK_TORCH_INDEX op het adres ervan. Een nieuwe versie van de add-on voert de installatie nog eens uit, in dezelfde omgeving.
Wat de eerste run nodig heeft
- Een NVIDIA-kaart met CUDA. De add-on controleert er pas op nadat hij de runtime heeft geïnstalleerd, dus zorg er vooraf voor.
- Python 3.10 of nieuwer op uw PATH, met de module
venv, of zetSUBTITLD_MUSETALK_PYTHONop een exemplaar ervan. De add-on bouwt zijn omgeving daarmee. gitop uw PATH, om de broncode van MuseTalk op te halen.- Een verbinding en verschillende GB vrije schijfruimte.
- De gezichts- en houdingsbibliotheken van MuseTalk, mmcv, mmpose en mmdet. De add-on installeert ze niet. Totdat een set die past bij de PyTorch en CUDA van de runtime in zijn omgeving staat, eindigt een taak met een
internal-fout die noemt wat er niet kon worden geïmporteerd.
Op Windows kan het afsluiten van Subtitld tijdens de eerste installatie ertoe leiden dat de download op de achtergrond blijft draaien tot hij klaar is.
Waar het alles bewaart
Daarbinnen staan runtime (de Python-omgeving), models en MuseTalk (de broncode). Het verwijderen van de add-on laat deze map staan; verwijder hem om de ruimte vrij te maken.
| Systeem | Map |
|---|---|
| Linux | ~/.cache/subtitld/musetalk |
| Windows | %USERPROFILE%\.cache\subtitld\musetalk |
Opties
In Instellingen › Add-ons › MuseTalk (GPU lip-sync) › Configureren.
v15MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.
0Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.
10Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.
8Hoeveel beelden de videokaart tegelijk maakt. Hoger is sneller maar heeft meer grafisch geheugen nodig; verlaag het na een fout door tekort aan geheugen.
25Beeldfrequentie van het resultaat. MuseTalk is getraind op 25 fps en werkt het best met video van 25 fps; laat het op 25 staan.
Halve precisie, die minder grafisch geheugen gebruikt. Zet het alleen uit als u visuele haperingen ziet.
Platforms
| Systeem | Download |
|---|---|
| Linux x86-64 | 17.7 MB |
| Windows x86-64 | 8.6 MB |
Er is geen macOS-build: MuseTalk heeft CUDA nodig. Beide builds worden in CI gemaakt, zonder een lipsync uit te voeren.
Problemen oplossen
gpu_unavailableEr is geen CUDA-apparaat gevonden. MuseTalk kan niet op de CPU draaien; het heeft een NVIDIA-kaart met werkende drivers nodig.oomDe videokaart heeft geen geheugen meer. Verlaag Batch size en houd Use float16 aan.model_missingEen model of de broncode van MuseTalk kon niet worden opgehaald. Installeergitals het ontbreekt. Als de gewichten voor de gezichtsparser niet van Google Drive komen, download dan79999_iter.pthzelf naarmodels/face-parse-bisent/.network_unavailableEen download, het klonen van de broncode of de installatie van de runtime is om netwerkredenen mislukt. Probeer het opnieuw: al gedownloade modellen blijven bewaard, maar een onderbroken installatie van de runtime begint opnieuw.internalHet bericht zegt wat. Meestal is er geen Python 3.10 of nieuwer gevonden, is de installatie van de runtime mislukt (het bericht eindigt met de uitvoer van pip), of kon een bibliotheek van MuseTalk niet worden geïmporteerd, meestal mmcv, mmpose of mmdet. Als de runtime midden in een taak stopte, verlaag dan Batch size.bad_paramsEen bestand ontbreekt, ffmpeg is niet gevonden, of er konden geen frames uit de video worden gelezen. Subtitld levert ffmpeg normaal zelf.
Licentie
De add-on en MuseTalk zijn MIT, en de add-on beschrijft ze als geschikt voor commercieel gebruik. De andere modellen die het downloadt houden hun eigen licenties, die het niet opsomt; controleer ze voor commercieel werk.
Versies
- 0.2.0