Wav2Lip (offline lip-sync)
Ridisegna la bocca in un video con una testa parlante in modo che segua una nuova traccia audio, come il suo doppiaggio. Gira sulla CPU, senza PyTorch, e funziona offline una volta scaricati i suoi due file di modello. I pesi sono solo per ricerca e uso non commerciale.
Impostazioni Componenti aggiuntivi Wav2Lip (offline lip-sync) Installa
Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.
- Download del componente
- 176–274 MB
Cosa fa
In ogni fotogramma trova il volto più grande, ridisegna la sua bocca per combaciare con il suono e fonde la porzione di nuovo con un bordo morbido.
Serve un volto in ogni fotogramma. Un fotogramma in cui non lo trova, per esempio uno stacco, ferma il lavoro.
Scrive un nuovo video, H.264 con audio AAC, lungo quanto l'audio: una traccia più corta taglia il video, una più lunga lo riproduce di nuovo dal primo fotogramma.
Legge ogni fotogramma in memoria prima di iniziare, quindi clip lunghe o ad alta risoluzione richiedono molta RAM. Resize factor la riduce.
Non per lavoro commerciale. I pesi Wav2Lip sono stati addestrati su LRS2 e sono concessi solo per ricerca e uso non commerciale, come anche i pesi del rilevatore di volti SCRFD. La licenza MIT del componente copre il suo codice, non questi pesi.
Nulla in Subtitld lo esegue ancora. Può installarlo, ma finora nessun comando dell'app gli invia un video da sincronizzare.
Modelli
Non c'è nulla da scegliere. Due file si scaricano la prima volta che viene eseguito, poi tutto resta sul suo computer: wav2lip_256.onnx, il modello lip-sync (circa 200 MB), e scrfd_2.5g_bnkps.onnx, il rilevatore di volti (circa 3 MB).
Un file già presente nella cartella viene usato così com'è. Su un computer senza connessione, li scarichi lei stesso e li metta lì:
Dove vengono conservati i modelli
Fuori dal componente, quindi aggiornandolo o disinstallandolo restano; elimini la cartella per liberare lo spazio.
| Sistema | Cartella |
|---|---|
| Linux | ~/.cache/subtitld/wav2lip |
| macOS | ~/.cache/subtitld/wav2lip |
| Windows | %USERPROFILE%\.cache\subtitld\wav2lip |
Opzioni
In Impostazioni › Componenti aggiuntivi › Wav2Lip (offline lip-sync) › Configuri.
0 10 0 0Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.
1Riduce prima ogni fotogramma di questo fattore, e il risultato mantiene la dimensione più piccola. 2 dimezza larghezza e altezza: più veloce, meno memoria, risoluzione più bassa.
0.3Quanto deve essere sicuro il rilevatore di volti prima di accettare un volto. Abbassi il valore se un lavoro si ferma su un fotogramma in cui non è stato trovato alcun volto.
Piattaforme
| Sistema | Download |
|---|---|
| Linux x86-64 | 273.6 MB |
| macOS (Apple silicon) | 202.4 MB |
| Windows x86-64 | 175.9 MB |
Le build vengono compilate in CI, senza eseguire un lip-sync.
Risoluzione dei problemi
bad_paramsQualcosa nell'input lo ha fermato, e il messaggio dice cosa. Più spesso è un fotogramma senza volto rilevato: abbassi Face detection threshold, oppure usi una clip in cui il volto è sempre inquadrato. Anche audio silenzioso o molto breve lo ferma.model_missingUn modello non si è potuto scaricare dal suo indirizzo. Il messaggio indica il file, la cartella e l'indirizzo: lo scarichi lei stesso e lo metta lì.network_unavailableNon c'era connessione mentre i modelli si scaricavano. Riprovi online; una volta presenti entrambi i file, non serve più la rete.internalQualsiasi altra cosa, anche un lavoro annullato. Su un video lungo o ad alta risoluzione, alzi Resize factor: l'intera clip è tenuta in memoria.
Licenza
Solo uso non commerciale. Il codice del componente è MIT, ma i pesi Wav2Lip e SCRFD che scarica sono per ricerca e uso non commerciale, e rispettarne le licenze spetta a lei.
Versioni
- 0.1.0