MuseTalk (GPU lip-sync)
Redessine la bouche de la personne dans une vidéo ou une image fixe pour qu'elle suive une nouvelle piste audio, avec MuseTalk. Il lui faut une carte graphique NVIDIA avec CUDA. Le téléchargement est petit : au premier usage, il installe son propre runtime PyTorch et plusieurs Go de modèles.
Paramètres Extensions MuseTalk (GPU lip-sync) Installer
Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.
- Téléchargement de l'extension
- 9–18 MB
Ce qu'elle fait
Elle part d'une vidéo, d'une seule image fixe ou d'un dossier d'images, et écrit une vidéo en H.264 avec le nouvel audio en AAC.
Quand l'audio dépasse la vidéo, les images se jouent en avant, puis en arrière, et ainsi de suite jusqu'à la fin de l'audio.
L'extension que vous téléchargez est un petit lanceur. Son premier travail installe PyTorch et le reste de MuseTalk dans un environnement Python privé, puis télécharge les modèles. Les tâches suivantes sautent tout cela.
MuseTalk 1.5, par défaut, donne des bouches plus nettes ; la 1.0 est l'originale. Les deux se téléchargent au premier lancement, si bien que vous pouvez changer sans attendre.
Rien dans Subtitld ne la lance encore. Vous pouvez l'installer, mais aucune commande de l'application ne lui envoie encore une vidéo à synchroniser.
Modèles
Il n'y a rien à choisir. La première tâche récupère tout ce dont MuseTalk a besoin, une seule fois :
- Un environnement Python privé avec PyTorch pour CUDA et les autres bibliothèques de MuseTalk : plusieurs Go. L'installation complète apparaît dans les premiers 5 % de la barre de progression.
- Le code source de MuseTalk, cloné avec
git. - Les modèles : MuseTalk 1.5 et 1.0, le SD-VAE, Whisper tiny, DWPose, l'analyseur de visage BiSeNet et SyncNet, plusieurs Go de plus.
Les builds CUDA de PyTorch viennent de https://download.pytorch.org/whl/cu121. Pour une autre version de CUDA, ou un miroir, définissez SUBTITLD_MUSETALK_TORCH_INDEX avec son adresse. Une nouvelle version de l'extension relance l'installation une fois, dans le même environnement.
Ce que demande le premier lancement
- Une carte NVIDIA avec CUDA. L'extension n'en cherche une qu'après avoir installé le runtime ; assurez-vous-en avant de démarrer.
- Python 3.10 ou plus récent dans votre PATH, avec son module
venv, ou définissezSUBTITLD_MUSETALK_PYTHONvers l'un d'eux. L'extension construit son environnement à partir de celui-ci. gitdans votre PATH, pour récupérer le code source de MuseTalk.- Une connexion et plusieurs Go d'espace libre.
- Les bibliothèques de visage et de pose de MuseTalk, mmcv, mmpose et mmdet. L'extension ne les installe pas. Tant qu'un jeu compatible avec le PyTorch et le CUDA du runtime n'est pas installé dans son environnement, une tâche se termine par une erreur
internalqui nomme ce qui n'a pas pu être importé.
Sous Windows, quitter Subtitld pendant la première installation peut laisser le téléchargement tourner en arrière-plan jusqu'à son terme.
Où tout est conservé
Il y a dedans runtime (l'environnement Python), models et MuseTalk (le code source). La désinstallation de l'extension laisse ce dossier ; supprimez-le pour libérer l'espace.
| Système | Dossier |
|---|---|
| Linux | ~/.cache/subtitld/musetalk |
| Windows | %USERPROFILE%\.cache\subtitld\musetalk |
Options
Dans Paramètres › Extensions › MuseTalk (GPU lip-sync) › Configurer.
v15MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.
0Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.
10Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.
8Le nombre d'images que la carte graphique traite à la fois. Plus haut est plus rapide mais demande plus de mémoire graphique ; baissez-le après une erreur de mémoire insuffisante.
25Fréquence d'images du résultat. MuseTalk est entraîné à 25 i/s et fonctionne mieux à partir d'une vidéo à 25 i/s ; laissez 25.
Demi-précision, qui consomme moins de mémoire graphique. Désactivez-la seulement si vous voyez des défauts visuels.
Plateformes
| Système | Téléchargement |
|---|---|
| Linux x86-64 | 17.7 MB |
| Windows x86-64 | 8.6 MB |
Il n'existe pas de build macOS : MuseTalk demande CUDA. Les deux builds sont faits en CI, sans lancer de synchronisation labiale.
Dépannage
gpu_unavailableAucun périphérique CUDA n'a été trouvé. MuseTalk ne peut pas tourner sur le processeur ; il lui faut une carte NVIDIA avec des pilotes fonctionnels.oomLa carte graphique a manqué de mémoire. Baissez Batch size et gardez Use float16 activé.model_missingUn modèle, ou le code source de MuseTalk, n'a pas pu être récupéré. Installezgits'il manque. Si les poids de l'analyse du visage ne se téléchargent pas depuis Google Drive, téléchargez79999_iter.pthvous-même dansmodels/face-parse-bisent/.network_unavailableUn téléchargement, le clonage du code source ou l'installation du runtime a échoué pour cause de réseau. Réessayez : les modèles déjà téléchargés sont conservés, mais une installation de runtime interrompue recommence à zéro.internalLe message indique quoi. Le plus souvent, aucun Python 3.10 ou plus récent n'a été trouvé, l'installation du runtime a échoué (le message se termine par la sortie de pip), ou une bibliothèque de MuseTalk n'a pas pu être importée, en général mmcv, mmpose ou mmdet. Si le runtime s'est arrêté au milieu d'une tâche, baissez Batch size.bad_paramsUn fichier manque, ffmpeg est introuvable, ou aucune image n'a pu être lue dans la vidéo. Subtitld fournit normalement ffmpeg lui-même.
Licence
L'extension et MuseTalk sont sous MIT, et l'extension les décrit comme utilisables commercialement. Les autres modèles qu'elle télécharge gardent leurs propres licences, qu'elle ne liste pas : vérifiez-les avant un travail commercial.
Versions
- 0.2.0