Wav2Lip (offline lip-sync)
Tekent de mond opnieuw in een video van een pratend hoofd, zodat die het nieuwe geluidsspoor volgt, zoals uw nasynchronisatie. Het draait op de CPU, zonder PyTorch, en werkt offline zodra de twee modelbestanden zijn gedownload. De gewichten zijn alleen voor onderzoek en niet-commercieel gebruik.
Instellingen Add-ons Wav2Lip (offline lip-sync) Installeren
Subtitld downloadt hem, controleert de SHA-256 en houdt hem up-to-date.
- Download van de add-on
- 176–274 MB
Wat het doet
In elk beeld zoekt het het grootste gezicht, tekent de mond opnieuw in lijn met het geluid en blendt het stuk terug met een zachte rand.
Het heeft in elk beeld een gezicht nodig. Eén beeld waarin het geen gezicht vindt, zoals een inlasser, stopt de taak.
Het schrijft een nieuwe video, H.264 met AAC-geluid, zo lang als de audio: een kortere track snijdt de video af, een langere speelt hem opnieuw af vanaf het eerste beeld.
Het leest elk beeld in het geheugen voordat het start, dus lange of hoge-resolutieclips hebben veel RAM nodig. Resize factor verkleint dat.
Niet voor commercieel werk. De Wav2Lip-gewichten zijn getraind op LRS2 en zijn alleen gelicentieerd voor onderzoek en niet-commercieel gebruik, net als de SCRFD-gewichten van de gezichtsdetector. De MIT-licentie van de add-on dekt zijn eigen code, niet die gewichten.
Niets in Subtitld draait het nog. U kunt het installeren, maar geen enkele opdracht in de app stuurt het tot nu toe een video om van lipsync te voorzien.
Modellen
Er valt niets te kiezen. Twee bestanden worden de eerste keer dat het draait gedownload, daarna blijft alles op uw computer: wav2lip_256.onnx, het lipsync-model (ongeveer 200 MB), en scrfd_2.5g_bnkps.onnx, de gezichtsdetector (ongeveer 3 MB).
Een bestand dat al in de map staat, wordt zoals het is gebruikt. Heeft een computer geen verbinding, download dan beide zelf en zet ze daar:
Waar modellen worden bewaard
Buiten de add-on, dus bij updaten of verwijderen blijven ze bewaard; verwijder de map om de ruimte vrij te maken.
| Systeem | Map |
|---|---|
| Linux | ~/.cache/subtitld/wav2lip |
| macOS | ~/.cache/subtitld/wav2lip |
| Windows | %USERPROFILE%\.cache\subtitld\wav2lip |
Opties
In Instellingen › Add-ons › Wav2Lip (offline lip-sync) › Configureren.
0 10 0 0Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.
1Verkleint eerst elk beeld met deze factor, en het resultaat houdt de kleinere grootte. 2 halveert de breedte en hoogte: sneller, minder geheugen, lagere resolutie.
0.3Hoe zeker de gezichtsdetector moet zijn voordat hij een gezicht accepteert. Verlaag het als een taak stopt bij een beeld waar geen gezicht werd gevonden.
Platforms
| Systeem | Download |
|---|---|
| Linux x86-64 | 273.6 MB |
| macOS (Apple silicon) | 202.4 MB |
| Windows x86-64 | 175.9 MB |
De builds worden in CI gemaakt, zonder een lipsync uit te voeren.
Problemen oplossen
bad_paramsIets in de invoer heeft het gestopt, en het bericht zegt wat. Meestal is het een beeld waarin geen gezicht is gevonden: verlaag Face detection threshold, of gebruik een clip waarin het gezicht altijd in beeld is. Stille of zeer korte audio stopt het ook.model_missingEen model kon niet van zijn adres worden gedownload. Het bericht geeft het bestand, de map en het adres: download het zelf en zet het daar.network_unavailableEr was geen verbinding terwijl de modellen werden gedownload. Probeer het opnieuw online; zodra beide bestanden er staan, heeft het nooit meer het netwerk nodig.internalAl het andere, ook een geannuleerde taak. Bij een lange of hoge-resolutievideo verhoogt u Resize factor: de hele clip wordt in het geheugen gehouden.
Licentie
Alleen niet-commercieel gebruik. De code van de add-on is MIT, maar de Wav2Lip- en SCRFD-gewichten die hij downloadt, zijn voor onderzoek en niet-commercieel gebruik, en het naleven van hun licenties is uw verantwoordelijkheid.
Versies
- 0.1.0