MuseTalk (GPU lip-sync)
Redibuja la boca del hablante en un vídeo o en una imagen fija para que siga una nueva pista de audio, con MuseTalk. Necesita una tarjeta gráfica NVIDIA con CUDA. La descarga es pequeña: en el primer uso instala su propio entorno de ejecución de PyTorch y varios GB de modelos.
Ajustes Complementos MuseTalk (GPU lip-sync) Instalar
Subtitld lo descarga, comprueba su SHA-256 y lo mantiene actualizado.
- Descarga del complemento
- 9–18 MB
Qué hace
Parte de un vídeo, una sola imagen fija o una carpeta de fotogramas, y escribe un vídeo en H.264 con el nuevo audio en AAC.
Cuando el audio dura más que el vídeo, los fotogramas se reproducen hacia delante, luego hacia atrás, y así hasta que termina el audio.
El complemento que descargas es un pequeño lanzador. Su primer trabajo instala PyTorch y el resto de MuseTalk en un entorno de Python privado, y luego descarga los modelos. Los trabajos siguientes se saltan todo eso.
MuseTalk 1.5, el predeterminado, da bocas más nítidas; 1.0 es el original. Ambos se descargan en la primera ejecución, así que puedes cambiar sin esperar.
Nada en Subtitld lo ejecuta todavía. Puedes instalarlo, pero ningún comando de la aplicación le envía un vídeo para sincronizar labialmente, por ahora.
Modelos
No hay nada que elegir. El primer trabajo descarga todo lo que MuseTalk necesita, una sola vez:
- Un entorno de Python privado con PyTorch para CUDA y las demás bibliotecas de MuseTalk: varios GB. La instalación completa aparece como el primer 5% de la barra de progreso.
- El código fuente de MuseTalk, clonado con
git. - Los modelos: MuseTalk 1.5 y 1.0, el SD-VAE, Whisper tiny, DWPose, el analizador facial BiSeNet y SyncNet, varios GB más.
Las compilaciones CUDA de PyTorch vienen de https://download.pytorch.org/whl/cu121. Para otra versión de CUDA, o un espejo, define SUBTITLD_MUSETALK_TORCH_INDEX con su dirección. Una nueva versión del complemento vuelve a ejecutar la instalación, en el mismo entorno.
Lo que necesita la primera ejecución
- Una tarjeta NVIDIA con CUDA. El complemento lo comprueba solo después de instalar el entorno de ejecución, así que asegúrate antes de iniciar.
- Python 3.10 o más reciente en tu PATH, con su módulo
venv, o defineSUBTITLD_MUSETALK_PYTHONcon uno. El complemento construye su entorno a partir de él. giten tu PATH, para descargar el código fuente de MuseTalk.- Una conexión y varios GB de espacio libre.
- Las bibliotecas de caras y pose de MuseTalk, mmcv, mmpose y mmdet. El complemento no las instala. Hasta que un conjunto compatible con el PyTorch y CUDA del entorno esté instalado, un trabajo termina con un error
internalque nombra lo que no se pudo importar.
En Windows, cerrar Subtitld durante la primera instalación puede dejar la descarga ejecutándose en segundo plano hasta que termine.
Dónde guarda todo
Dentro están runtime (el entorno de Python), models y MuseTalk (el código fuente). Desinstalar el complemento deja esta carpeta; bórrala para liberar el espacio.
| Sistema | Carpeta |
|---|---|
| Linux | ~/.cache/subtitld/musetalk |
| Windows | %USERPROFILE%\.cache\subtitld\musetalk |
Opciones
En Ajustes › Complementos › MuseTalk (GPU lip-sync) › Configurar.
v15MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.
0Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.
10Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.
8Cuántos fotogramas procesa la tarjeta gráfica a la vez. Más alto es más rápido, pero necesita más memoria gráfica; bájalo después de un error de memoria insuficiente.
25Frecuencia de fotogramas del resultado. MuseTalk se entrenó a 25 fps y funciona mejor con vídeo de 25 fps; déjalo en 25.
Media precisión, que usa menos memoria gráfica. Desactívala solo si ves fallos visuales.
Plataformas
| Sistema | Descarga |
|---|---|
| Linux x86-64 | 17.7 MB |
| Windows x86-64 | 8.6 MB |
No hay compilación para macOS: MuseTalk necesita CUDA. Ambas compilaciones se hacen en CI, sin ejecutar ninguna sincronización labial.
Solución de problemas
gpu_unavailableNo se encontró ningún dispositivo CUDA. MuseTalk no puede ejecutarse en la CPU; necesita una tarjeta NVIDIA con drivers funcionando.oomLa tarjeta gráfica se quedó sin memoria. Baja Batch size y deja Use float16 activado.model_missingNo se pudo obtener un modelo o el código fuente de MuseTalk. Instalagitsi falta. Si los pesos de análisis facial no se descargan de Google Drive, descarga79999_iter.pthtú mismo enmodels/face-parse-bisent/.network_unavailableUna descarga, la clonación del código o la instalación del entorno fallaron por motivos de red. Inténtalo de nuevo: los modelos ya descargados se conservan, pero una instalación interrumpida del entorno empieza de cero.internalEl mensaje indica qué. Lo más común es que no se encontró Python 3.10 o más reciente, que falló la instalación del entorno (el mensaje termina con la salida de pip), o que una biblioteca de MuseTalk no se importó, normalmente mmcv, mmpose o mmdet. Si el entorno se detuvo a mitad de un trabajo, baja Batch size.bad_paramsFalta un archivo, no se encontró ffmpeg, o no se pudo leer ningún fotograma del vídeo. Subtitld normalmente proporciona ffmpeg por sí mismo.
Licencia
El complemento y MuseTalk son MIT, y el complemento los describe como aptos para uso comercial. Los otros modelos que descarga conservan sus propias licencias, que no lista; revísalas antes de un trabajo comercial.
Versiones
- 0.2.0