Wav2Lip (offline lip-sync)
Redibuja la boca en un vídeo de persona hablando para que siga una nueva pista de audio, como tu doblaje. Funciona en la CPU, sin PyTorch, y sin conexión una vez descargados sus dos archivos de modelo. Los pesos son solo para investigación y uso no comercial.
Ajustes Complementos Wav2Lip (offline lip-sync) Instalar
Subtitld lo descarga, comprueba su SHA-256 y lo mantiene actualizado.
- Descarga del complemento
- 176–274 MB
Qué hace
En cada fotograma encuentra la cara más grande, redibuja su boca para que coincida con el sonido y funde el parche de vuelta con un borde suave.
Necesita una cara en cada fotograma. Un fotograma en el que no encuentra ninguna, como un plano de corte, detiene el trabajo.
Escribe un vídeo nuevo, H.264 con sonido AAC, tan largo como el audio: una pista más corta corta el vídeo, y una más larga lo repite desde el primer fotograma.
Lee cada fotograma en memoria antes de empezar, así que los clips largos o de alta resolución necesitan mucha RAM. Resize factor la reduce.
No apto para trabajo comercial. Los pesos de Wav2Lip se entrenaron con LRS2 y tienen licencia solo para investigación y uso no comercial, igual que los pesos del detector de caras SCRFD. La licencia MIT del complemento cubre su propio código, no esos pesos.
Nada en Subtitld lo ejecuta todavía. Puedes instalarlo, pero ningún comando de la aplicación le envía un vídeo para sincronizar labialmente, por ahora.
Modelos
No hay nada que elegir. Dos archivos se descargan la primera vez que se ejecuta, y después todo se queda en tu ordenador: wav2lip_256.onnx, el modelo de sincronización labial (unos 200 MB), y scrfd_2.5g_bnkps.onnx, el detector de caras (unos 3 MB).
Un archivo que ya esté en la carpeta se usa tal cual. Sin conexión, descárgalos tú y ponlos ahí:
Dónde se guardan los modelos
Fuera del complemento, así que actualizarlo o desinstalarlo los conserva; borra la carpeta para liberar el espacio.
| Sistema | Carpeta |
|---|---|
| Linux | ~/.cache/subtitld/wav2lip |
| macOS | ~/.cache/subtitld/wav2lip |
| Windows | %USERPROFILE%\.cache\subtitld\wav2lip |
Opciones
En Ajustes › Complementos › Wav2Lip (offline lip-sync) › Configurar.
0 10 0 0Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.
1Reduce cada fotograma por este factor primero, y el resultado conserva el tamaño menor. 2 reduce a la mitad el ancho y el alto: más rápido, menos memoria, menor resolución.
0.3Qué tan seguro debe estar el detector de caras antes de aceptar una cara. Bájalo si un trabajo se detiene en un fotograma donde no se encontró ninguna cara.
Plataformas
| Sistema | Descarga |
|---|---|
| Linux x86-64 | 273.6 MB |
| macOS (Apple silicon) | 202.4 MB |
| Windows x86-64 | 175.9 MB |
Las compilaciones se hacen en CI, sin ejecutar ninguna sincronización labial.
Solución de problemas
bad_paramsAlgo de la entrada lo detuvo, y el mensaje indica qué. Lo más común es un fotograma sin cara encontrada: baja Face detection threshold, o usa un clip donde la cara esté siempre a la vista. El audio en silencio o muy corto también lo detiene.model_missingNo se pudo descargar un modelo desde su dirección. El mensaje indica el archivo, la carpeta y la dirección: descárgalo tú y ponlo ahí.network_unavailableNo había conexión mientras se descargaban los modelos. Inténtalo de nuevo en línea; una vez que están los dos archivos, nunca necesita la red.internalCualquier otra cosa, incluido un trabajo cancelado. En un vídeo largo o de alta resolución, sube Resize factor: todo el clip se guarda en memoria.
Licencia
Solo uso no comercial. El código del complemento es MIT, pero los pesos de Wav2Lip y SCRFD que descarga son para investigación y uso no comercial, y cumplir sus licencias depende de ti.
Versiones
- 0.1.0