Wav2Lip (offline lip-sync)
Redesenha a boca em um vídeo de pessoa falando para que ela siga uma nova faixa de áudio, como sua dublagem. Roda na CPU, sem PyTorch, e funciona offline depois que seus dois arquivos de modelo foram baixados. Os pesos são apenas para pesquisa e uso não comercial.
Configurações Complementos Wav2Lip (offline lip-sync) Instalar
O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.
- Download do complemento
- 176–274 MB
O que faz
Em cada quadro, ele encontra o maior rosto, redesenha a boca para combinar com o som e funde o trecho de volta com uma borda suave.
Ele precisa de um rosto em cada quadro. Um quadro em que não encontra nenhum, como um corte de plano, para o trabalho.
Ele gera um novo vídeo, H.264 com som AAC, com a duração do áudio: uma faixa mais curta corta o vídeo, uma mais longa o repete desde o primeiro quadro.
Ele lê todos os quadros na memória antes de começar, então clipes longos ou de alta resolução precisam de muita RAM. Resize factor reduz esse uso.
Não é para trabalho comercial. Os pesos do Wav2Lip foram treinados no LRS2 e são licenciados apenas para pesquisa e uso não comercial, e os pesos do detector de rosto SCRFD também. A licença MIT do complemento cobre o código dele, não esses pesos.
Nada no Subtitld o executa ainda. Você pode instalá-lo, mas nenhum comando do aplicativo envia a ele um vídeo para sincronização labial até agora.
Modelos
Não há o que escolher. Dois arquivos são baixados na primeira execução, e depois tudo fica no seu computador: wav2lip_256.onnx, o modelo de sincronização labial (cerca de 200 MB), e scrfd_2.5g_bnkps.onnx, o detector de rosto (cerca de 3 MB).
Um arquivo que já está na pasta é usado como está. Em um computador sem conexão, baixe os dois você mesmo e coloque-os ali:
Onde os modelos ficam
Fora do complemento, então atualizá-lo ou desinstalá-lo os mantém; apague a pasta para liberar o espaço.
| Sistema | Pasta |
|---|---|
| Linux | ~/.cache/subtitld/wav2lip |
| macOS | ~/.cache/subtitld/wav2lip |
| Windows | %USERPROFILE%\.cache\subtitld\wav2lip |
Opções
Em Configurações › Complementos › Wav2Lip (offline lip-sync) › Configurar.
0 10 0 0Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.
1Reduz cada quadro por este fator antes, e o resultado mantém o tamanho menor. 2 reduz a largura e a altura à metade: mais rápido, menos memória, resolução menor.
0.3O quanto o detector de rosto precisa ter certeza antes de aceitar um rosto. Reduza se um trabalho parar em um quadro onde nenhum rosto foi encontrado.
Plataformas
| Sistema | Download |
|---|---|
| Linux x86-64 | 273.6 MB |
| macOS (Apple silicon) | 202.4 MB |
| Windows x86-64 | 175.9 MB |
As compilações são feitas no CI, sem executar uma sincronização labial.
Solução de problemas
bad_paramsAlgo na entrada o parou, e a mensagem diz o quê. Na maioria das vezes é um quadro sem rosto encontrado: reduza Face detection threshold, ou use um clipe em que o rosto esteja sempre à vista. Áudio mudo ou muito curto também o para.model_missingUm modelo não pôde ser baixado do seu endereço. A mensagem informa o arquivo, a pasta e o endereço: baixe-o você mesmo e coloque-o ali.network_unavailableNão havia conexão enquanto os modelos eram baixados. Tente de novo online; quando os dois arquivos estiverem no lugar, ele nunca mais precisa da rede.internalQualquer outra coisa, inclusive um trabalho cancelado. Em um vídeo longo ou de alta resolução, aumente Resize factor: o clipe inteiro fica guardado na memória.
Licença
Somente uso não comercial. O código do complemento é MIT, mas os pesos do Wav2Lip e do SCRFD que ele baixa são para pesquisa e uso não comercial, e seguir as licenças deles é com você.
Versões
- 0.1.0