Wav2Lip (offline lip-sync)
重绘会说话的人像视频中的嘴部,使其跟随新的音轨,例如你的配音。它在 CPU 上运行,不需要 PyTorch,两个模型文件下载后即可离线工作。这些权重仅可用于研究和非商业用途。
设置 插件 Wav2Lip (offline lip-sync) 安装
Subtitld 会下载它、校验其 SHA-256,并保持更新。
- 插件下载量
- 176–274 MB
功能说明
每一帧中,它都会找到最大的人脸,按声音重绘其嘴部,并以柔和的边缘把补丁融合回去。
它需要每一帧都有人脸。若有一帧找不到人脸,例如切入的镜头,任务就会停止。
它会生成一个新视频,为 H.264 编码、AAC 声音,长度与音频相同:音轨较短则视频被截短,音轨较长则从第一帧起重复播放。
开始之前它会把每一帧都读入内存,因此长视频或高分辨率片段需要大量内存。Resize factor 可以降低内存占用。
不可用于商业工作。 Wav2Lip 权重基于 LRS2 训练,仅限研究和非商业用途,SCRFD 人脸检测器的权重同样如此。插件的 MIT 许可只涵盖它自己的代码,不涵盖这些权重。
Subtitld 中目前还没有任何功能会运行它。 你可以安装它,但目前应用中没有任何命令会把视频发送给它进行口型同步。
模型
无需选择。两个文件在首次运行时下载,之后一切都保存在你的电脑上:wav2lip_256.onnx 是口型同步模型(约 200 MB),scrfd_2.5g_bnkps.onnx 是人脸检测器(约 3 MB)。
文件夹中已有的文件会被直接使用。如果你的电脑没有网络连接,请自己下载这两个文件并放到该文件夹中:
模型保存位置
保存在插件之外,因此更新或卸载插件会保留它们;如需释放空间,请删除该文件夹。
| 系统 | 文件夹 |
|---|---|
| Linux | ~/.cache/subtitld/wav2lip |
| macOS | ~/.cache/subtitld/wav2lip |
| Windows | %USERPROFILE%\.cache\subtitld\wav2lip |
选项
在 设置 › 插件 › Wav2Lip (offline lip-sync) › 配置 中。
0 10 0 0Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.
1先把每一帧按此倍数缩小,结果也保持较小的尺寸。2 会把宽和高各减半:更快,占用内存更少,分辨率更低。
0.3人脸检测器必须有多大把握才会接受一张人脸。如果任务停在某一帧、找不到人脸,可以把它调低。
平台
| 系统 | 下载 |
|---|---|
| Linux x86-64 | 273.6 MB |
| macOS (Apple 芯片) | 202.4 MB |
| Windows x86-64 | 175.9 MB |
这些构建版本在 CI 中生成,但不会运行口型同步。
故障排除
bad_params输入中有某项内容导致它停止,错误信息会说明是什么。最常见的是某一帧找不到人脸:请降低 Face detection threshold,或使用人脸始终在画面中的片段。静音或时长极短的音频同样会导致它停止。model_missing无法从其地址下载某个模型。错误信息会给出文件、文件夹和地址:请自己下载并放到该位置。network_unavailable模型下载期间没有网络连接。请在联网后重试;两个文件都就位之后,它就永远不再需要网络。internal其他情况,包括被取消的任务。对于长视频或高分辨率视频,请调高 Resize factor:整段片段都保存在内存中。
许可
仅限非商业用途。插件的代码为 MIT 许可,但它下载的 Wav2Lip 和 SCRFD 权重仅供研究和非商业用途使用,遵守其许可是你自己的责任。
版本
- 0.1.0