다운로드

Wav2Lip (offline lip-sync)

립싱크오프라인CPU 전용비상업용

대화하는 얼굴 영상에서 입 모양을 새 오디오 트랙(예: 더빙)에 맞춰 다시 그립니다. PyTorch 없이 CPU에서 실행되며, 두 모델 파일을 내려받은 뒤에는 오프라인으로 작동합니다. 가중치는 연구 및 비상업적 용도로만 사용할 수 있습니다.

Subtitld에서 설치하세요

설정 애드온 Wav2Lip (offline lip-sync) 설치

Subtitld가 내려받고, SHA-256을 확인하고, 최신 상태로 유지합니다.

GitHub의 소스
애드온 다운로드
176–274 MB

기능

입 모양이 소리를 따라감

모든 프레임에서 가장 큰 얼굴을 찾고, 소리에 맞춰 입을 다시 그린 뒤, 부드러운 가장자리로 그 부분을 원래 영상에 다시 합칩니다.

모든 프레임에 얼굴이 필요

각 프레임에 얼굴이 있어야 합니다. 얼굴을 찾지 못하는 프레임 하나, 예를 들어 컷어웨이가 있으면 작업이 멈춥니다.

오디오 길이만큼

오디오와 같은 길이의 새 영상을 H.264 영상과 AAC 소리로 씁니다. 오디오가 짧으면 영상이 잘리고, 길면 첫 프레임부터 다시 재생합니다.

클립 전체를 메모리에

시작하기 전에 모든 프레임을 메모리로 읽으므로, 길거나 고해상도 클립은 많은 RAM이 필요합니다. Resize factor로 이를 줄일 수 있습니다.

상업적 작업에는 사용할 수 없습니다. Wav2Lip 가중치는 LRS2로 학습되었고 연구 및 비상업적 용도로만 허가되어 있으며, SCRFD 얼굴 탐지기 가중치도 마찬가지입니다. 애드온의 MIT 라이선스는 애드온 자체 코드에만 적용되며, 이 가중치에는 적용되지 않습니다.

Subtitld에서는 아직 실행할 수 없습니다. 설치는 할 수 있지만, 지금까지는 앱의 어떤 명령도 립싱크할 영상을 이 애드온에 보내지 않습니다.

모델

고를 것은 없습니다. 실행할 때 두 파일을 내려받고, 그 뒤로는 모든 것이 여러분의 컴퓨터에 남습니다. wav2lip_256.onnx는 립싱크 모델(약 200 MB)이고, scrfd_2.5g_bnkps.onnx는 얼굴 탐지기(약 3 MB)입니다.

폴더에 이미 있는 파일은 그대로 사용됩니다. 연결이 없는 컴퓨터에서는 두 파일을 직접 내려받아 그 폴더에 넣으세요.

모델이 저장되는 위치

애드온 밖에 있으므로 업데이트하거나 제거해도 유지됩니다. 공간을 확보하려면 폴더를 삭제하세요.

시스템 폴더
Linux ~/.cache/subtitld/wav2lip
macOS ~/.cache/subtitld/wav2lip
Windows %USERPROFILE%\.cache\subtitld\wav2lip

옵션

설정 › 애드온 › Wav2Lip (offline lip-sync) › 구성에서 설정할 수 있습니다.

Mouth box padding (top bottom left right)
기본값: 0 10 0 0

Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.

Resize factor
기본값: 1

각 프레임을 이 배율로 먼저 줄입니다. 결과도 더 작은 크기를 유지합니다. 2는 가로와 세로를 절반으로 줄여, 더 빠르고 메모리를 덜 쓰지만 해상도는 낮아집니다.

Face detection threshold
기본값: 0.3

얼굴 탐지기가 얼굴을 받아들이기 위해 얼마나 확신해야 하는지입니다. 얼굴이 없는 프레임에서 작업이 멈추면 낮추세요.

플랫폼

시스템 다운로드
Linux x86-64 273.6 MB
macOS (Apple 실리콘) 202.4 MB
Windows x86-64 175.9 MB

빌드는 CI에서 만들어지며, 립싱크는 실행하지 않습니다.

문제 해결

  • bad_params입력 중 무언가가 작업을 멈췄으며, 메시지에 무엇인지 나옵니다. 대부분은 얼굴을 찾지 못한 프레임입니다. Face detection threshold를 낮추거나, 얼굴이 항상 보이는 클립을 사용하세요. 소리가 없거나 매우 짧은 오디오도 작업을 멈춥니다.
  • model_missing주소에서 모델을 내려받지 못했습니다. 메시지에 파일, 폴더, 주소가 나옵니다. 직접 내려받아 그 폴더에 넣으세요.
  • network_unavailable모델을 내려받는 동안 연결이 없었습니다. 온라인에서 다시 시도하세요. 두 파일이 모두 있으면 이후에는 네트워크가 필요 없습니다.
  • internal그 밖의 모든 실패. 취소된 작업도 포함합니다. 길거나 고해상도인 영상에서는 Resize factor를 올리세요. 클립 전체가 메모리에 보관됩니다.

라이선스

애드온
MIT
립싱크 모델
비상업적
Wav2Lip 가중치, LRS2로 학습; 연구 용도만
얼굴 탐지기
비상업적
InsightFace SCRFD 가중치; 연구 용도만

비상업적 용도로만 사용하세요. 애드온의 코드는 MIT이지만, 이 애드온이 내려받는 Wav2Lip과 SCRFD 가중치는 연구 및 비상업적 용도이며, 그 라이선스를 따르는 것은 여러분의 몫입니다.

버전

  • 0.1.0

다른 립싱크 애드온

업데이트됨 · 애드온 카탈로그 기준 이 애드온의 문제 신고