Wav2Lip (offline lip-sync)

口型同步离线仅 CPU非商用

重绘会说话的人像视频中的嘴部,使其跟随新的音轨,例如你的配音。它在 CPU 上运行,不需要 PyTorch,两个模型文件下载后即可离线工作。这些权重仅可用于研究和非商业用途。

在 Subtitld 中安装

设置 插件 Wav2Lip (offline lip-sync) 安装

Subtitld 会下载它、校验其 SHA-256,并保持更新。

GitHub 上的源代码
插件下载量
176–274 MB

功能说明

嘴部跟随声音

每一帧中,它都会找到最大的人脸,按声音重绘其嘴部,并以柔和的边缘把补丁融合回去。

每一帧都要有人脸

它需要每一帧都有人脸。若有一帧找不到人脸,例如切入的镜头,任务就会停止。

与音频等长

它会生成一个新视频,为 H.264 编码、AAC 声音,长度与音频相同:音轨较短则视频被截短,音轨较长则从第一帧起重复播放。

整段片段都在内存中

开始之前它会把每一帧都读入内存,因此长视频或高分辨率片段需要大量内存。Resize factor 可以降低内存占用。

不可用于商业工作。 Wav2Lip 权重基于 LRS2 训练,仅限研究和非商业用途,SCRFD 人脸检测器的权重同样如此。插件的 MIT 许可只涵盖它自己的代码,不涵盖这些权重。

Subtitld 中目前还没有任何功能会运行它。 你可以安装它,但目前应用中没有任何命令会把视频发送给它进行口型同步。

模型

无需选择。两个文件在首次运行时下载,之后一切都保存在你的电脑上:wav2lip_256.onnx 是口型同步模型(约 200 MB),scrfd_2.5g_bnkps.onnx 是人脸检测器(约 3 MB)。

文件夹中已有的文件会被直接使用。如果你的电脑没有网络连接,请自己下载这两个文件并放到该文件夹中:

模型保存位置

保存在插件之外,因此更新或卸载插件会保留它们;如需释放空间,请删除该文件夹。

系统 文件夹
Linux ~/.cache/subtitld/wav2lip
macOS ~/.cache/subtitld/wav2lip
Windows %USERPROFILE%\.cache\subtitld\wav2lip

选项

在 设置 › 插件 › Wav2Lip (offline lip-sync) › 配置 中。

Mouth box padding (top bottom left right)
默认: 0 10 0 0

Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.

Resize factor
默认: 1

先把每一帧按此倍数缩小,结果也保持较小的尺寸。2 会把宽和高各减半:更快,占用内存更少,分辨率更低。

Face detection threshold
默认: 0.3

人脸检测器必须有多大把握才会接受一张人脸。如果任务停在某一帧、找不到人脸,可以把它调低。

平台

系统 下载
Linux x86-64 273.6 MB
macOS (Apple 芯片) 202.4 MB
Windows x86-64 175.9 MB

这些构建版本在 CI 中生成,但不会运行口型同步。

故障排除

  • bad_params输入中有某项内容导致它停止,错误信息会说明是什么。最常见的是某一帧找不到人脸:请降低 Face detection threshold,或使用人脸始终在画面中的片段。静音或时长极短的音频同样会导致它停止。
  • model_missing无法从其地址下载某个模型。错误信息会给出文件、文件夹和地址:请自己下载并放到该位置。
  • network_unavailable模型下载期间没有网络连接。请在联网后重试;两个文件都就位之后,它就永远不再需要网络。
  • internal其他情况,包括被取消的任务。对于长视频或高分辨率视频,请调高 Resize factor:整段片段都保存在内存中。

许可

插件
MIT
口型同步模型
非商业
Wav2Lip 权重,基于 LRS2 训练;仅限研究用途
人脸检测器
非商业
InsightFace SCRFD 权重;仅限研究用途

仅限非商业用途。插件的代码为 MIT 许可,但它下载的 Wav2Lip 和 SCRFD 权重仅供研究和非商业用途使用,遵守其许可是你自己的责任。

版本

  • 0.1.0

其他口型同步插件

更新于 · 来自插件目录 报告此插件的问题