Wav2Lip (offline lip-sync)
Konuşan bir kafa videosundaki ağzı, dublajınız gibi yeni bir ses parçasını takip edecek şekilde yeniden çizer. CPU üzerinde çalışır, PyTorch gerekmez ve iki model dosyası indikten sonra çevrimdışı çalışır. Ağırlıklar yalnızca araştırma ve ticari olmayan kullanım içindir.
Ayarlar Eklentiler Wav2Lip (offline lip-sync) Yükle
Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.
- Eklenti indirmesi
- 176–274 MB
Ne yapar
Her karede en büyük yüzü bulur, sesle eşleşecek şekilde ağzını yeniden çizer ve yamayı yumuşak bir kenarla geri karıştırır.
Her karede bir yüz gerektirir. Bir kesit gibi yüzün bulunamadığı tek bir kare, işi durdurur.
H.264 ve AAC sesle yeni bir video yazar; sesle aynı uzunlukta. Kısa bir parça videoyu keser, uzun bir parça ilk kareden tekrar oynatır.
Başlamadan önce her kareyi belleğe okur; bu yüzden uzun ya da yüksek çözünürlüklü klipler çok RAM ister. Resize factor bunu azaltır.
Ticari işler için değil. Wav2Lip ağırlıkları LRS2 üzerinde eğitildi ve yalnızca araştırma ve ticari olmayan kullanım için lisanslıdır; SCRFD yüz algılayıcı ağırlıkları da öyle. Eklentinin MIT lisansı kendi kodunu kapsar, onları değil.
Subtitld henüz onu çalıştırmaz. Kurabilirsiniz, ama bugüne kadar uygulamadaki hiçbir komut ona dudak senkronizasyonu için bir video göndermez.
Modeller
Seçilecek bir şey yok. İlk çalıştırmada iki dosya iner, sonra her şey bilgisayarınızda kalır: wav2lip_256.onnx, dudak senkronizasyonu modeli (yaklaşık 200 MB) ve scrfd_2.5g_bnkps.onnx, yüz algılayıcı (yaklaşık 3 MB).
Klasörde zaten bulunan bir dosya olduğu gibi kullanılır. Bağlantısı olmayan bir bilgisayarda, ikisini kendiniz indirip oraya koyun:
Modellerin saklandığı yer
Eklentinin dışında; bu yüzden onu güncellemek ya da kaldırmak onları tutar. Yer açmak için klasörü silin.
| Sistem | Klasör |
|---|---|
| Linux | ~/.cache/subtitld/wav2lip |
| macOS | ~/.cache/subtitld/wav2lip |
| Windows | %USERPROFILE%\.cache\subtitld\wav2lip |
Seçenekler
Ayarlar › Eklentiler › Wav2Lip (offline lip-sync) › Yapılandır bölümünde.
0 10 0 0Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.
1Her kareyi önce bu katsayıyla küçültür ve sonuç daha küçük boyutu korur. 2, genişliği ve yüksekliği yarıya indirir: daha hızlı, daha az bellek, daha düşük çözünürlük.
0.3Yüz algılayıcının bir yüzü kabul etmeden önce ne kadar emin olması gerektiği. Bir iş, hiç yüz bulunmayan bir karede durursa düşürün.
Platformlar
| Sistem | İndirme |
|---|---|
| Linux x86-64 | 273.6 MB |
| macOS (Apple silicon) | 202.4 MB |
| Windows x86-64 | 175.9 MB |
Derlemeler CI'da yapılır, dudak senkronizasyonu çalıştırılmadan.
Sorun giderme
bad_paramsGirdideki bir şey onu durdurdu; mesaj ne olduğunu söyler. En sık, hiç yüz bulunamayan bir kare: Face detection threshold değerini düşürün ya da yüzün her zaman göründüğü bir klip kullanın. Sessiz ya da çok kısa ses de onu durdurur.model_missingBir model adresinden indirilemedi. Mesaj dosyayı, klasörü ve adresi verir: onu kendiniz indirip oraya koyun.network_unavailableModeller indirilirken bağlantı yoktu. Çevrimiçiyken yeniden deneyin; iki dosya da yerinde olduktan sonra asla ağa ihtiyaç duymaz.internalBaşka her şey, iptal edilen bir iş dahil. Uzun ya da yüksek çözünürlüklü bir videoda Resize factor değerini yükseltin: bütün klip bellekte tutulur.
Lisans
Yalnızca ticari olmayan kullanım. Eklentinin kodu MIT'dir, ama indirdiği Wav2Lip ve SCRFD ağırlıkları araştırma ve ticari olmayan kullanım içindir; lisanslarına uymak size kalmıştır.
Sürümler
- 0.1.0