Wav2Lip (offline lip-sync)
Menggambar ulang mulut dalam video orang berbicara agar mengikuti trek audio baru, misalnya dubbing Anda. Berjalan di CPU, tanpa PyTorch, dan berfungsi offline setelah dua berkas modelnya terunduh. Bobotnya hanya untuk penelitian dan penggunaan nonkomersial.
Pengaturan Pengaya Wav2Lip (offline lip-sync) Pasang
Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.
- Unduhan pengaya
- 176–274 MB
Fungsinya
Di setiap frame ia menemukan wajah terbesar, menggambar ulang mulutnya agar sesuai dengan suara, dan memadukan potongannya kembali dengan tepi yang lembut.
Ia memerlukan wajah di setiap frame. Satu frame yang tidak menemukan wajah, misalnya potongan adegan, akan menghentikan pekerjaan.
Ia menulis video baru, H.264 dengan suara AAC, sepanjang audionya: trek yang lebih pendek memotong video, trek yang lebih panjang memutarnya ulang dari frame pertama.
Ia membaca setiap frame ke dalam memori sebelum mulai, sehingga klip yang panjang atau beresolusi tinggi membutuhkan RAM yang besar. Resize factor menguranginya.
Tidak untuk pekerjaan komersial. Bobot Wav2Lip dilatih pada LRS2 dan hanya dilisensikan untuk penelitian dan penggunaan nonkomersial, begitu pula bobot detektor wajah SCRFD. Lisensi MIT add-on mencakup kodenya sendiri, bukan bobot tersebut.
Belum ada yang menjalankannya di Subtitld. Anda bisa memasangnya, tetapi sejauh ini tidak ada perintah di aplikasi yang mengirim video untuk di-lip-sync.
Model
Tidak ada yang perlu dipilih. Dua berkas diunduh pada pertama kali dijalankan, lalu semuanya tetap berada di komputer Anda: wav2lip_256.onnx, model lip-sync (sekitar 200 MB), dan scrfd_2.5g_bnkps.onnx, detektor wajah (sekitar 3 MB).
Berkas yang sudah ada di folder dipakai apa adanya. Pada komputer tanpa koneksi, unduh keduanya sendiri dan letakkan di sana:
Tempat model disimpan
Di luar add-on, sehingga memperbarui atau mencopotnya tidak menghapus model; hapus folder untuk membebaskan ruang.
| Sistem | Folder |
|---|---|
| Linux | ~/.cache/subtitld/wav2lip |
| macOS | ~/.cache/subtitld/wav2lip |
| Windows | %USERPROFILE%\.cache\subtitld\wav2lip |
Opsi
Di Pengaturan › Pengaya › Wav2Lip (offline lip-sync) › Atur.
0 10 0 0Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.
1Memperkecil setiap frame dengan faktor ini terlebih dahulu, dan hasilnya tetap berukuran lebih kecil. 2 memangkas lebar dan tinggi menjadi setengah: lebih cepat, lebih sedikit memori, resolusi lebih rendah.
0.3Seberapa yakin detektor wajah harus sebelum menerima sebuah wajah. Turunkan jika sebuah pekerjaan berhenti pada frame yang tidak ditemukan wajah.
Platform
| Sistem | Unduhan |
|---|---|
| Linux x86-64 | 273.6 MB |
| macOS (Apple silicon) | 202.4 MB |
| Windows x86-64 | 175.9 MB |
Build dibuat di CI, tanpa menjalankan lip-sync.
Pemecahan masalah
bad_paramsSesuatu pada masukan menghentikannya, dan pesannya menyebutkan apa. Paling sering berupa frame tanpa wajah yang ditemukan: turunkan Face detection threshold, atau gunakan klip yang wajahnya selalu terlihat. Audio yang senyap atau sangat pendek juga menghentikannya.model_missingSebuah model tidak dapat diunduh dari alamatnya. Pesannya menyebutkan berkas, folder, dan alamatnya: unduh sendiri dan letakkan di sana.network_unavailableTidak ada koneksi saat model diunduh. Coba lagi saat online; setelah kedua berkas ada, add-on tidak pernah memerlukan jaringan.internalHal lain, termasuk pekerjaan yang dibatalkan. Pada video yang panjang atau beresolusi tinggi, naikkan Resize factor: seluruh klip disimpan di memori.
Lisensi
Hanya untuk penggunaan nonkomersial. Kode add-on berlisensi MIT, tetapi bobot Wav2Lip dan SCRFD yang diunduhnya hanya untuk penelitian dan penggunaan nonkomersial, dan mematuhi lisensinya adalah tanggung jawab Anda.
Versi
- 0.1.0