다운로드

MuseTalk (GPU lip-sync)

립싱크오프라인GPU 필요상업적 사용 가능

MuseTalk으로 영상이나 정지 이미지 속 화자의 입 모양을 새 오디오 트랙에 맞춰 다시 그립니다. CUDA를 지원하는 NVIDIA 그래픽 카드가 필요합니다. 다운로드 자체는 작지만, 처음 사용할 때 자체 PyTorch 런타임과 여러 GB의 모델을 설치합니다.

Subtitld에서 설치하세요

설정 애드온 MuseTalk (GPU lip-sync) 설치

Subtitld가 내려받고, SHA-256을 확인하고, 최신 상태로 유지합니다.

GitHub의 소스
애드온 다운로드
9–18 MB

기능

영상, 이미지 또는 프레임

영상, 정지 이미지 하나, 또는 프레임 폴더에서 시작하며, 새 소리를 AAC로 담은 H.264 영상을 씁니다.

짧은 클립, 긴 오디오

오디오가 영상보다 길면 프레임이 앞으로, 그다음 뒤로 번갈아 재생되며 오디오가 끝날 때까지 이어집니다.

스스로 설치

내려받는 애드온은 작은 실행기입니다. 첫 작업은 PyTorch와 MuseTalk의 나머지를 전용 Python 환경에 설치한 뒤 모델을 내려받습니다. 이후 작업은 그 과정을 건너뜁니다.

두 가지 버전

기본값인 MuseTalk 1.5는 입 모양이 더 선명하며, 1.0은 원래 버전입니다. 둘 다 첫 실행 때 내려받으므로, 기다리지 않고 전환할 수 있습니다.

Subtitld에서는 아직 실행할 수 없습니다. 설치는 할 수 있지만, 지금까지는 앱의 어떤 명령도 립싱크할 영상을 이 애드온에 보내지 않습니다.

모델

고를 것은 없습니다. 첫 작업이 MuseTalk에 필요한 모든 것을 한 번 가져옵니다.

  1. PyTorch for CUDA와 MuseTalk의 다른 라이브러리가 들어 있는 전용 Python 환경. 여러 GB입니다. 설치 전체가 진행 막대의 처음 5%로 표시됩니다.
  2. MuseTalk의 소스, git으로 복제합니다.
  3. 모델: MuseTalk 1.5와 1.0, SD-VAE, Whisper tiny, DWPose, BiSeNet 얼굴 파서, SyncNet. 여러 GB가 더 필요합니다.

CUDA 빌드의 PyTorch는 https://download.pytorch.org/whl/cu121에서 옵니다. 다른 CUDA 버전이나 미러를 쓰려면 SUBTITLD_MUSETALK_TORCH_INDEX를 그 주소로 설정하세요. 애드온의 새 버전은 같은 환경에 설치를 한 번 더 실행합니다.

첫 실행에 필요한 것

  • CUDA를 지원하는 NVIDIA 카드. 애드온은 런타임을 설치한 뒤에야 카드를 확인하므로, 시작하기 전에 미리 확인하세요.
  • PATH에 있는 Python 3.10 이상과 그 venv 모듈. 또는 SUBTITLD_MUSETALK_PYTHON을 그 Python으로 설정하세요. 애드온은 이것으로 환경을 만듭니다.
  • PATH에 있는 git. MuseTalk 소스를 가져오는 데 씁니다.
  • 연결과 여러 GB의 여유 공간.
  • MuseTalk의 얼굴 및 자세 라이브러리, mmcv, mmpose, mmdet. 애드온은 이를 설치하지 않습니다. 런타임의 PyTorch와 CUDA에 맞는 세트가 환경에 설치되기 전까지는, 작업이 가져오기에 실패한 항목을 밝히는 internal 오류로 끝납니다.

Windows에서 첫 설치 중에 Subtitld를 종료하면, 다운로드가 끝날 때까지 백그라운드에서 계속될 수 있습니다.

모든 것이 저장되는 위치

이 폴더 안에 runtime(Python 환경), models, MuseTalk(소스)이 있습니다. 애드온을 제거해도 이 폴더는 남으니, 공간을 확보하려면 삭제하세요.

시스템 폴더
Linux ~/.cache/subtitld/musetalk
Windows %USERPROFILE%\.cache\subtitld\musetalk

옵션

설정 › 애드온 › MuseTalk (GPU lip-sync) › 구성에서 설정할 수 있습니다.

MuseTalk version
기본값: v15

MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.

Bbox shift
기본값: 0

Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.

Extra margin
기본값: 10

Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.

Batch size
기본값: 8

그래픽 카드가 한 번에 만드는 프레임 수입니다. 높으면 빠르지만 그래픽 메모리가 더 필요하며, 메모리 부족 오류가 나면 낮추세요.

Output FPS
기본값: 25

결과의 프레임 속도입니다. MuseTalk은 25 fps로 학습되었고 25 fps 영상에서 가장 잘 작동하므로, 25로 두세요.

Use float16
기본값: 켜기

반정밀도로, 그래픽 메모리를 덜 씁니다. 화면에 깨짐이 보일 때만 끄세요.

플랫폼

시스템 다운로드
Linux x86-64 17.7 MB
Windows x86-64 8.6 MB

macOS 빌드는 없습니다. MuseTalk에는 CUDA가 필요하기 때문입니다. 두 빌드는 CI에서 만들어지며, 립싱크는 실행하지 않습니다.

문제 해결

  • gpu_unavailableCUDA 장치를 찾지 못했습니다. MuseTalk은 CPU에서 실행할 수 없으며, 정상적으로 동작하는 드라이버가 있는 NVIDIA 카드가 필요합니다.
  • oom그래픽 카드의 메모리가 부족합니다. Batch size를 낮추고 Use float16을 켜 두세요.
  • model_missing모델이나 MuseTalk 소스를 가져오지 못했습니다. git이 없다면 설치하세요. 얼굴 파싱 가중치를 Google Drive에서 가져오지 못하면, 79999_iter.pth를 직접 내려받아 models/face-parse-bisent/에 넣으세요.
  • network_unavailable다운로드, 소스 복제 또는 런타임 설치가 네트워크 문제로 실패했습니다. 다시 시도하세요. 이미 내려받은 모델은 남지만, 중단된 런타임 설치는 처음부터 다시 시작합니다.
  • internal메시지에 무엇인지 나옵니다. 대부분 Python 3.10 이상을 찾지 못했거나, 런타임 설치가 실패했거나(메시지 끝에 pip의 출력이 나옴), MuseTalk 라이브러리 가져오기가 실패한 경우입니다. 보통 mmcv, mmpose, mmdet입니다. 작업 도중 런타임이 멈췄다면 Batch size를 낮추세요.
  • bad_params파일이 없거나, ffmpeg를 찾지 못했거나, 영상에서 프레임을 읽을 수 없습니다. 보통 Subtitld가 ffmpeg를 직접 제공합니다.

라이선스

애드온
MIT
엔진
MIT
MuseTalk
모델
모델마다 다름
SD-VAE, Whisper, DWPose, BiSeNet, SyncNet은 각자 라이선스를 유지

애드온과 MuseTalk은 MIT이며, 애드온은 상업적 사용에 문제없다고 설명합니다. 이 애드온이 내려받는 다른 모델은 자체 라이선스를 유지하며, 애드온은 이를 나열하지 않습니다. 상업적 작업 전에 확인하세요.

버전

  • 0.2.0

다른 립싱크 애드온

업데이트됨 · 애드온 카탈로그 기준 이 애드온의 문제 신고