MuseTalk (GPU lip-sync)
Ridisegna la bocca del parlante in un video o in un'immagine fissa in modo che segua una nuova traccia audio, con MuseTalk. Richiede una scheda grafica NVIDIA con CUDA. Il download è piccolo: al primo utilizzo installa il proprio runtime PyTorch e diversi GB di modelli.
Impostazioni Componenti aggiuntivi MuseTalk (GPU lip-sync) Installa
Subtitld lo scarica, ne verifica lo SHA-256 e lo tiene aggiornato.
- Download del componente
- 9–18 MB
Cosa fa
Parte da un video, da una singola immagine fissa o da una cartella di fotogrammi, e scrive un video in H.264 con il nuovo audio in AAC.
Quando l'audio è più lungo del video, i fotogrammi si riproducono in avanti, poi indietro, e così via fino alla fine dell'audio.
Il componente che scarica è un piccolo avviatore. Il suo primo compito installa PyTorch e il resto di MuseTalk in un ambiente Python privato, poi scarica i modelli. I lavori successivi saltano tutto questo.
MuseTalk 1.5, il predefinito, dà bocche più nitide; la 1.0 è l'originale. Entrambe si scaricano alla prima esecuzione, così può cambiare senza attendere.
Nulla in Subtitld lo esegue ancora. Può installarlo, ma finora nessun comando dell'app gli invia un video da sincronizzare.
Modelli
Non c'è nulla da scegliere. Il primo lavoro scarica tutto ciò che MuseTalk richiede, una sola volta:
- Un ambiente Python privato con PyTorch per CUDA e le altre librerie di MuseTalk: diversi GB. L'intera installazione occupa il primo 5% della barra di avanzamento.
- Il codice sorgente di MuseTalk, clonato con
git. - I modelli: MuseTalk 1.5 e 1.0, SD-VAE, Whisper tiny, DWPose, il parser dei volti BiSeNet e SyncNet, altri diversi GB.
Le build CUDA di PyTorch provengono da https://download.pytorch.org/whl/cu121. Per un'altra versione di CUDA, o per un mirror, imposti SUBTITLD_MUSETALK_TORCH_INDEX sul suo indirizzo. Una nuova versione del componente esegue di nuovo l'installazione, nello stesso ambiente.
Cosa serve al primo avvio
- Una scheda NVIDIA con CUDA. Il componente la verifica solo dopo aver installato il runtime, quindi si assicuri prima.
- Python 3.10 o più recente nel suo PATH, con il modulo
venv, oppure impostiSUBTITLD_MUSETALK_PYTHONsu uno di essi. Il componente costruisce il suo ambiente a partire da esso. gitnel PATH, per prelevare il codice sorgente di MuseTalk.- Una connessione e diversi GB di spazio libero.
- Le librerie di volti e pose di MuseTalk, mmcv, mmpose e mmdet. Il componente non le installa. Finché nel suo ambiente non è installato un insieme compatibile con PyTorch e CUDA del runtime, un lavoro termina con un errore
internalche indica cosa non è stato importato.
Su Windows, chiudere Subtitld durante la prima installazione può lasciare il download in esecuzione in background fino al termine.
Dove viene conservato tutto
Dentro ci sono runtime (l'ambiente Python), models e MuseTalk (il codice sorgente). Disinstallando il componente questa cartella resta; la elimini per liberare lo spazio.
| Sistema | Cartella |
|---|---|
| Linux | ~/.cache/subtitld/musetalk |
| Windows | %USERPROFILE%\.cache\subtitld\musetalk |
Opzioni
In Impostazioni › Componenti aggiuntivi › MuseTalk (GPU lip-sync) › Configuri.
v15MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.
0Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.
10Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.
8Quanti fotogrammi la scheda grafica elabora insieme. Un valore più alto è più veloce ma richiede più memoria grafica; lo abbassi dopo un errore di memoria esaurita.
25Frequenza di fotogrammi del risultato. MuseTalk è addestrato a 25 fps e funziona meglio con video a 25 fps; lo lasci a 25.
Mezza precisione, che usa meno memoria grafica. La disattivi solo se vede difetti visivi.
Piattaforme
| Sistema | Download |
|---|---|
| Linux x86-64 | 17.7 MB |
| Windows x86-64 | 8.6 MB |
Non c'è una build per macOS: MuseTalk richiede CUDA. Entrambe le build vengono compilate in CI, senza eseguire un lip-sync.
Risoluzione dei problemi
gpu_unavailableNessun dispositivo CUDA trovato. MuseTalk non può girare sulla CPU; richiede una scheda NVIDIA con driver funzionanti.oomLa scheda grafica ha esaurito la memoria. Abbassi Batch size e tenga attivo Use float16.model_missingUn modello o il codice sorgente di MuseTalk non si sono potuti prelevare. Installigitse manca. Se i pesi di parsing dei volti non arrivano da Google Drive, scarichi lei stesso79999_iter.pthinmodels/face-parse-bisent/.network_unavailableUn download, il clone del codice sorgente o l'installazione del runtime sono falliti per problemi di rete. Riprovi: i modelli già scaricati vengono conservati, ma un'installazione del runtime interrotta ricomincia da capo.internalIl messaggio dice cosa. Più spesso non è stato trovato Python 3.10 o più recente, l'installazione del runtime è fallita (il messaggio termina con l'output di pip), oppure una libreria di MuseTalk non si è importata, di solito mmcv, mmpose o mmdet. Se il runtime si è interrotto a metà lavoro, abbassi Batch size.bad_paramsUn file manca, ffmpeg non è stato trovato, oppure dal video non si è potuto leggere alcun fotogramma. Subtitld fornisce normalmente ffmpeg da sé.
Licenza
Il componente e MuseTalk sono MIT, e il componente li descrive come adatti all'uso commerciale. Gli altri modelli che scarica mantengono le proprie licenze, che non elenca; le verifichi prima di un lavoro commerciale.
Versioni
- 0.2.0