Wav2Lip (offline lip-sync)
Vẽ lại miệng trong một video người nói để nó theo một track âm thanh mới, chẳng hạn bản lồng tiếng của bạn. Nó chạy trên CPU, không cần PyTorch, và hoạt động ngoại tuyến khi hai tệp mô hình đã được tải xong. Trọng số chỉ dành cho nghiên cứu và sử dụng phi thương mại.
Cài đặt Tiện ích bổ sung Wav2Lip (offline lip-sync) Cài đặt
Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.
- Tải tiện ích bổ sung
- 176–274 MB
Nó làm gì
Trong mỗi khung hình, nó tìm khuôn mặt lớn nhất, vẽ lại miệng để khớp với âm thanh và hòa mảng vẽ trở lại với viền mềm.
Nó cần có khuôn mặt ở mỗi khung hình. Một khung hình không tìm thấy mặt, chẳng hạn một cảnh chèn, sẽ làm dừng công việc.
Nó ghi một video mới, H.264 với âm thanh AAC, dài bằng âm thanh: một track ngắn hơn sẽ cắt video, một track dài hơn sẽ phát lại từ khung hình đầu tiên.
Nó đọc mọi khung hình vào bộ nhớ trước khi bắt đầu, nên các clip dài hoặc độ phân giải cao cần nhiều RAM. Resize factor giúp giảm điều này.
Không dùng cho công việc thương mại. Trọng số Wav2Lip được huấn luyện trên LRS2 và chỉ được cấp phép cho nghiên cứu và sử dụng phi thương mại, và trọng số bộ dò khuôn mặt SCRFD cũng vậy. Giấy phép MIT của tiện ích chỉ bao phủ mã của nó, không bao phủ các trọng số này.
Hiện chưa có gì trong Subtitld chạy nó. Bạn có thể cài đặt nó, nhưng cho đến nay không có lệnh nào trong ứng dụng gửi một video đến để đồng bộ môi.
Mô hình
Không có gì để chọn. Hai tệp được tải lần đầu nó chạy, rồi mọi thứ ở lại trên máy tính của bạn: wav2lip_256.onnx, mô hình đồng bộ môi (khoảng 200 MB), và scrfd_2.5g_bnkps.onnx, bộ dò khuôn mặt (khoảng 3 MB).
Một tệp đã có sẵn trong thư mục sẽ được dùng nguyên trạng. Trên một máy tính không có kết nối, hãy tự tải cả hai và đặt chúng vào đó:
Nơi lưu mô hình
Nằm ngoài tiện ích, nên cập nhật hoặc gỡ cài đặt tiện ích vẫn giữ chúng; xóa thư mục để giải phóng dung lượng.
| Hệ thống | Thư mục |
|---|---|
| Linux | ~/.cache/subtitld/wav2lip |
| macOS | ~/.cache/subtitld/wav2lip |
| Windows | %USERPROFILE%\.cache\subtitld\wav2lip |
Tùy chọn
Trong Cài đặt › Tiện ích bổ sung › Wav2Lip (offline lip-sync) › Cấu hình.
0 10 0 0Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.
1Thu nhỏ mọi khung hình theo hệ số này trước, và kết quả giữ kích thước nhỏ hơn. 2 giảm một nửa chiều rộng và chiều cao: nhanh hơn, ít bộ nhớ hơn, độ phân giải thấp hơn.
0.3Bộ dò khuôn mặt phải chắc chắn đến mức nào trước khi chấp nhận một khuôn mặt. Hạ thấp nếu một công việc dừng ở khung hình mà không tìm thấy mặt nào.
Nền tảng
| Hệ thống | Tải về |
|---|---|
| Linux x86-64 | 273.6 MB |
| macOS (Apple silicon) | 202.4 MB |
| Windows x86-64 | 175.9 MB |
Các bản dựng được làm trong CI, không chạy đồng bộ môi nào.
Khắc phục sự cố
bad_paramsMột thứ trong đầu vào đã làm nó dừng, và thông báo cho biết cụ thể. Thường nhất là một khung hình không tìm thấy mặt: hạ thấp Face detection threshold, hoặc dùng một clip mà khuôn mặt luôn hiện trong khung. Âm thanh im lặng hoặc rất ngắn cũng làm nó dừng.model_missingKhông tải được một mô hình từ địa chỉ của nó. Thông báo cho biết tệp, thư mục và địa chỉ: hãy tự tải và đặt vào đó.network_unavailableKhông có kết nối khi các mô hình được tải. Thử lại khi trực tuyến; khi cả hai tệp đã có, nó không bao giờ cần mạng nữa.internalMọi lỗi khác, kể cả khi một công việc bị hủy. Với video dài hoặc độ phân giải cao, tăng Resize factor: toàn bộ clip được giữ trong bộ nhớ.
Giấy phép
Chỉ sử dụng phi thương mại. Mã của tiện ích là MIT, nhưng các trọng số Wav2Lip và SCRFD mà nó tải về được cấp phép cho nghiên cứu và sử dụng phi thương mại, và việc tuân thủ giấy phép của chúng thuộc về bạn.
Phiên bản
- 0.1.0