Tải về

MuseTalk (GPU lip-sync)

Đồng bộ môiNgoại tuyếnCần GPUĐược dùng thương mại

Vẽ lại miệng của người nói trong một video hoặc một ảnh tĩnh để nó theo một track âm thanh mới, với MuseTalk. Nó cần card đồ họa NVIDIA có CUDA. Bản tải nhỏ: khi dùng lần đầu, nó cài runtime PyTorch riêng và vài GB mô hình.

Cài đặt từ Subtitld

Cài đặt Tiện ích bổ sung MuseTalk (GPU lip-sync) Cài đặt

Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.

Mã nguồn trên GitHub
Tải tiện ích bổ sung
9–18 MB

Nó làm gì

Video, ảnh hoặc các khung hình

Nó bắt đầu từ một video, một ảnh tĩnh đơn lẻ hoặc một thư mục khung hình, và ghi một video H.264 với âm thanh mới ở dạng AAC.

Clip ngắn, âm thanh dài

Khi âm thanh dài hơn video, các khung hình phát tiến, rồi lùi, và cứ thế cho đến khi âm thanh kết thúc.

Tự thiết lập

Tiện ích bạn tải về là một trình khởi chạy nhỏ. Công việc đầu tiên của nó cài PyTorch và phần còn lại của MuseTalk vào một môi trường Python riêng, rồi tải các mô hình. Các công việc sau bỏ qua tất cả những bước đó.

Hai phiên bản

MuseTalk 1.5, mặc định, cho miệng sắc nét hơn; 1.0 là bản gốc. Cả hai được tải ở lần chạy đầu, nên bạn có thể chuyển mà không phải chờ.

Hiện chưa có gì trong Subtitld chạy nó. Bạn có thể cài đặt nó, nhưng cho đến nay không có lệnh nào trong ứng dụng gửi một video đến để đồng bộ môi.

Mô hình

Không có gì để chọn. Công việc đầu tiên tải mọi thứ MuseTalk cần, một lần:

  1. Một môi trường Python riêng với PyTorch cho CUDA và các thư viện khác của MuseTalk: vài GB. Toàn bộ phần cài đặt hiển thị là 5% đầu của thanh tiến trình.
  2. Mã nguồn của MuseTalk, được clone bằng git.
  3. Các mô hình: MuseTalk 1.5 và 1.0, SD-VAE, Whisper tiny, DWPose, bộ phân tích khuôn mặt BiSeNet và SyncNet, thêm vài GB nữa.

Các bản PyTorch cho CUDA được lấy từ https://download.pytorch.org/whl/cu121. Với một phiên bản CUDA khác, hoặc một máy chủ gương, đặt SUBTITLD_MUSETALK_TORCH_INDEX thành địa chỉ của nó. Một phiên bản mới của tiện ích sẽ chạy lại phần cài đặt một lần nữa, vào cùng môi trường.

Lần chạy đầu cần gì

  • Card NVIDIA có CUDA. Tiện ích chỉ kiểm tra điều này sau khi đã cài runtime, nên hãy chắc chắn trước khi khởi động.
  • Python 3.10 trở lên trên PATH của bạn, kèm mô-đun venv, hoặc đặt SUBTITLD_MUSETALK_PYTHON trỏ đến một bản như vậy. Tiện ích xây môi trường từ đó.
  • git trên PATH của bạn, để lấy mã nguồn MuseTalk.
  • Kết nối và vài GB dung lượng trống.
  • Các thư viện khuôn mặt và tư thế của MuseTalk, mmcv, mmpose và mmdet. Tiện ích không cài chúng. Cho đến khi một bộ khớp với PyTorch và CUDA của runtime được cài trong môi trường của nó, một công việc sẽ kết thúc với lỗi internal nêu tên thứ không import được.

Trên Windows, thoát Subtitld trong lúc cài đặt lần đầu có thể để việc tải tiếp tục chạy nền cho đến khi xong.

Nơi lưu mọi thứ

Bên trong có runtime (môi trường Python), models và MuseTalk (mã nguồn). Gỡ cài đặt tiện ích sẽ để lại thư mục này; xóa nó để giải phóng dung lượng.

Hệ thống Thư mục
Linux ~/.cache/subtitld/musetalk
Windows %USERPROFILE%\.cache\subtitld\musetalk

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › MuseTalk (GPU lip-sync) › Cấu hình.

MuseTalk version
Mặc định: v15

MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.

Bbox shift
Mặc định: 0

Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.

Extra margin
Mặc định: 10

Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.

Batch size
Mặc định: 8

Card đồ họa xử lý cùng lúc bao nhiêu khung hình. Cao hơn thì nhanh hơn nhưng cần nhiều bộ nhớ đồ họa hơn; hạ thấp sau một lỗi hết bộ nhớ.

Output FPS
Mặc định: 25

Tốc độ khung hình của kết quả. MuseTalk được huấn luyện ở 25 fps và hoạt động tốt nhất với video 25 fps; hãy để là 25.

Use float16
Mặc định: bật

Nửa độ chính xác, dùng ít bộ nhớ đồ họa hơn. Chỉ tắt khi bạn thấy lỗi hình ảnh.

Nền tảng

Hệ thống Tải về
Linux x86-64 17.7 MB
Windows x86-64 8.6 MB

Không có bản dựng macOS: MuseTalk cần CUDA. Cả hai bản dựng đều được làm trong CI, không chạy đồng bộ môi nào.

Khắc phục sự cố

  • gpu_unavailableKhông tìm thấy thiết bị CUDA. MuseTalk không chạy được trên CPU; nó cần card NVIDIA với driver hoạt động.
  • oomCard đồ họa hết bộ nhớ. Hạ Batch size và giữ Use float16 bật.
  • model_missingKhông lấy được một mô hình hoặc mã nguồn MuseTalk. Cài git nếu nó thiếu. Nếu trọng số phân tích khuôn mặt không tải được từ Google Drive, hãy tự tải 79999_iter.pth vào models/face-parse-bisent/.
  • network_unavailableMột lần tải, việc clone mã nguồn hoặc cài runtime thất bại vì lý do mạng. Thử lại: các mô hình đã tải được giữ lại, nhưng một lần cài runtime bị gián đoạn sẽ bắt đầu lại từ đầu.
  • internalThông báo cho biết cụ thể. Thường nhất là không tìm thấy Python 3.10 trở lên, việc cài runtime thất bại (thông báo kết thúc bằng đầu ra của pip), hoặc một thư viện MuseTalk không import được, thường là mmcv, mmpose hoặc mmdet. Nếu runtime dừng giữa công việc, hạ Batch size.
  • bad_paramsThiếu một tệp, không tìm thấy ffmpeg, hoặc không đọc được khung hình nào từ video. Subtitld thường tự cung cấp ffmpeg.

Giấy phép

Tiện ích bổ sung
MIT
Công cụ
MIT
MuseTalk
Mô hình
Theo từng mô hình
SD-VAE, Whisper, DWPose, BiSeNet và SyncNet giữ giấy phép riêng

Tiện ích và MuseTalk đều là MIT, và tiện ích mô tả chúng là phù hợp cho sử dụng thương mại. Các mô hình khác mà nó tải giữ giấy phép riêng, mà nó không liệt kê; hãy kiểm tra chúng trước khi làm việc thương mại.

Phiên bản

  • 0.2.0

Các tiện ích bổ sung Đồng bộ môi khác

Cập nhật · Từ danh mục tiện ích bổ sung Báo cáo sự cố với tiện ích bổ sung này