MuseTalk (GPU lip-sync)
Redesenha a boca do locutor em um vídeo ou em uma imagem fixa para que ela siga uma nova faixa de áudio, com o MuseTalk. Precisa de uma placa de vídeo NVIDIA com CUDA. O download é pequeno: no primeiro uso, ele instala o próprio runtime do PyTorch e vários GB de modelos.
Configurações Complementos MuseTalk (GPU lip-sync) Instalar
O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.
- Download do complemento
- 9–18 MB
O que faz
Ele parte de um vídeo, de uma única imagem fixa ou de uma pasta de quadros, e gera um vídeo em H.264 com o novo áudio em AAC.
Quando o áudio é mais longo que o vídeo, os quadros tocam para a frente, depois para trás, e assim por diante até o áudio terminar.
O complemento que você baixa é um pequeno iniciador. Seu primeiro trabalho instala o PyTorch e o restante do MuseTalk em um ambiente Python privado, e depois baixa os modelos. Os trabalhos seguintes pulam tudo isso.
O MuseTalk 1.5, o padrão, dá bocas mais nítidas; a 1.0 é a original. As duas são baixadas na primeira execução, então você pode trocar sem esperar.
Nada no Subtitld o executa ainda. Você pode instalá-lo, mas nenhum comando do aplicativo envia a ele um vídeo para sincronização labial até agora.
Modelos
Não há o que escolher. O primeiro trabalho busca tudo o que o MuseTalk precisa, uma única vez:
- Um ambiente Python privado com o PyTorch para CUDA e as outras bibliotecas do MuseTalk: vários GB. A instalação inteira aparece como os primeiros 5% da barra de progresso.
- O código-fonte do MuseTalk, clonado com
git. - Os modelos: MuseTalk 1.5 e 1.0, o SD-VAE, o Whisper tiny, o DWPose, o analisador facial BiSeNet e o SyncNet, mais vários GB.
As versões CUDA do PyTorch vêm de https://download.pytorch.org/whl/cu121. Para outra versão do CUDA, ou um espelho, defina SUBTITLD_MUSETALK_TORCH_INDEX com o endereço dele. Uma nova versão do complemento roda a instalação de novo, no mesmo ambiente.
O que a primeira execução precisa
- Uma placa NVIDIA com CUDA. O complemento só verifica uma depois de instalar o runtime, então confirme antes de iniciar.
- Python 3.10 ou mais novo no seu PATH, com o módulo
venv, ou definaSUBTITLD_MUSETALK_PYTHONcom um deles. O complemento constrói o ambiente a partir dele. gitno seu PATH, para buscar o código-fonte do MuseTalk.- Uma conexão e vários GB de espaço livre.
- As bibliotecas de rosto e pose do MuseTalk, mmcv, mmpose e mmdet. O complemento não as instala. Até que um conjunto compatível com o PyTorch e o CUDA do runtime esteja instalado no ambiente dele, um trabalho termina com um erro
internalque nomeia o que não importou.
No Windows, fechar o Subtitld durante a primeira instalação pode deixar o download rodando em segundo plano até terminar.
Onde guarda tudo
Dentro ficam runtime (o ambiente Python), models e MuseTalk (o código-fonte). Desinstalar o complemento deixa esta pasta; apague-a para liberar o espaço.
| Sistema | Pasta |
|---|---|
| Linux | ~/.cache/subtitld/musetalk |
| Windows | %USERPROFILE%\.cache\subtitld\musetalk |
Opções
Em Configurações › Complementos › MuseTalk (GPU lip-sync) › Configurar.
v15MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.
0Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.
10Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.
8Quantos quadros a placa de vídeo processa de uma vez. Mais alto é mais rápido, mas precisa de mais memória de vídeo; reduza após um erro de falta de memória.
25Taxa de quadros do resultado. O MuseTalk é treinado em 25 fps e funciona melhor com vídeo de 25 fps; deixe em 25.
Meia precisão, que usa menos memória de vídeo. Desligue só se você vir falhas visuais.
Plataformas
| Sistema | Download |
|---|---|
| Linux x86-64 | 17.7 MB |
| Windows x86-64 | 8.6 MB |
Não há compilação para macOS: o MuseTalk precisa de CUDA. As duas compilações são feitas no CI, sem executar uma sincronização labial.
Solução de problemas
gpu_unavailableNenhum dispositivo CUDA foi encontrado. O MuseTalk não roda na CPU; ele precisa de uma placa NVIDIA com drivers funcionando.oomA placa de vídeo ficou sem memória. Reduza Batch size e mantenha Use float16 ligado.model_missingUm modelo ou o código-fonte do MuseTalk não pôde ser obtido. Instale ogitse ele estiver faltando. Se os pesos do analisador facial não vierem do Google Drive, baixe79999_iter.pthvocê mesmo emmodels/face-parse-bisent/.network_unavailableUm download, a clonagem do código-fonte ou a instalação do runtime falhou por motivos de rede. Tente de novo: os modelos já baixados são mantidos, mas uma instalação de runtime interrompida recomeça do zero.internalA mensagem diz o quê. Na maioria das vezes não foi encontrado Python 3.10 ou mais novo, a instalação do runtime falhou (a mensagem termina com a saída do pip), ou uma biblioteca do MuseTalk não importou, geralmente mmcv, mmpose ou mmdet. Se o runtime parou no meio de um trabalho, reduza Batch size.bad_paramsUm arquivo está ausente, o ffmpeg não foi encontrado, ou nenhum quadro pôde ser lido do vídeo. O Subtitld normalmente fornece o próprio ffmpeg.
Licença
O complemento e o MuseTalk são MIT, e o complemento os descreve como adequados para uso comercial. Os outros modelos que ele baixa mantêm suas próprias licenças, que ele não lista; confira-as antes de trabalho comercial.
Versões
- 0.2.0