MuseTalk (GPU lip-sync)
MuseTalk ile bir videodaki ya da durağan bir görseldeki konuşmacının ağzını, yeni bir ses parçasını takip edecek şekilde yeniden çizer. CUDA destekli bir NVIDIA ekran kartı gerektirir. İndirme küçüktür: ilk kullanımda kendi PyTorch çalışma zamanını ve birkaç GB modeli kurar.
Ayarlar Eklentiler MuseTalk (GPU lip-sync) Yükle
Subtitld indirir, SHA-256 değerini denetler ve güncel tutar.
- Eklenti indirmesi
- 9–18 MB
Ne yapar
Bir video, tek bir durağan görsel ya da bir kare klasöründen başlar ve yeni sesi AAC ile birlikte H.264 bir video olarak yazar.
Ses videodan uzun olduğunda kareler ileri, sonra geri oynatılır; ses bitene kadar bu böyle sürer.
İndirdiğiniz eklenti küçük bir başlatıcıdır. İlk işi, PyTorch ve MuseTalk'in geri kalanını özel bir Python ortamına kurar, sonra modelleri indirir. Sonraki işler bütün bunları atlar.
MuseTalk 1.5, varsayılan, daha keskin ağızlar verir; 1.0 özgün sürümdür. İkisi de ilk çalıştırmada iner; bu yüzden beklemeden geçiş yapabilirsiniz.
Subtitld henüz onu çalıştırmaz. Kurabilirsiniz, ama bugüne kadar uygulamadaki hiçbir komut ona dudak senkronizasyonu için bir video göndermez.
Modeller
Seçilecek bir şey yok. İlk iş, MuseTalk'in ihtiyaç duyduğu her şeyi bir kez getirir:
- CUDA için PyTorch ile özel bir Python ortamı ve MuseTalk'in diğer kütüphaneleri: birkaç GB. Tüm kurulum, ilerleme çubuğunun ilk %5'i olarak görünür.
- MuseTalk'in kaynağı,
gitile klonlanmış. - Modeller: MuseTalk 1.5 ve 1.0, SD-VAE, Whisper tiny, DWPose, BiSeNet yüz ayrıştırıcı ve SyncNet; birkaç GB daha.
CUDA'lı PyTorch derlemeleri https://download.pytorch.org/whl/cu121 adresinden gelir. Başka bir CUDA sürümü ya da bir ayna için, SUBTITLD_MUSETALK_TORCH_INDEX değerini onun adresine ayarlayın. Eklentinin yeni bir sürümü, kurulumu aynı ortama bir kez daha çalıştırır.
İlk çalıştırmanın gerektirdikleri
- CUDA'lı bir NVIDIA kart. Eklenti, çalışma zamanını kurduktan sonra yalnızca birini denetler; bu yüzden başlamadan önce emin olun.
- PATH üzerinde Python 3.10 ya da daha yeni,
venvmodülüyle birlikte; ya daSUBTITLD_MUSETALK_PYTHONdeğerini birine ayarlayın. Eklenti ortamını ondan kurar. - PATH üzerinde
git, MuseTalk'in kaynağını almak için. - Bir bağlantı ve birkaç GB boş alan.
- MuseTalk'in yüz ve poz kütüphaneleri, mmcv, mmpose ve mmdet. Eklenti bunları kurmaz. Çalışma zamanının PyTorch ve CUDA'sına uyan bir küme kurulana kadar, bir iş neyin içe aktarılamadığını adlandıran bir
internalhatayla biter.
Windows'ta, ilk kurulum sırasında Subtitld'yi kapatmak indirmenin bitene kadar arka planda çalışmaya devam etmesine neden olabilir.
Her şeyi nerede tutar
İçinde runtime (Python ortamı), models ve MuseTalk (kaynak) bulunur. Eklentiyi kaldırmak bu klasörü bırakır; yer açmak için silin.
| Sistem | Klasör |
|---|---|
| Linux | ~/.cache/subtitld/musetalk |
| Windows | %USERPROFILE%\.cache\subtitld\musetalk |
Seçenekler
Ayarlar › Eklentiler › MuseTalk (GPU lip-sync) › Yapılandır bölümünde.
v15MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.
0Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.
10Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.
8Ekran kartının aynı anda ürettiği kare sayısı. Daha yüksek daha hızlıdır ama daha fazla ekran kartı belleği ister; bellek yetersizliği hatasından sonra düşürün.
25Sonucun kare hızı. MuseTalk 25 fps üzerinde eğitildi ve en iyi 25 fps videolarla çalışır; 25'te bırakın.
Yarım hassasiyet, daha az ekran kartı belleği kullanır. Yalnızca görsel bozulmalar görürseniz kapatın.
Platformlar
| Sistem | İndirme |
|---|---|
| Linux x86-64 | 17.7 MB |
| Windows x86-64 | 8.6 MB |
macOS sürümü yoktur: MuseTalk CUDA gerektirir. Her iki derleme de CI'da yapılır, dudak senkronizasyonu çalıştırılmadan.
Sorun giderme
gpu_unavailableCUDA cihazı bulunamadı. MuseTalk CPU'da çalışamaz; çalışan sürücülere sahip bir NVIDIA kart gerektirir.oomEkran kartının belleği bitti. Batch size değerini düşürün ve Use float16 seçeneğini açık tutun.model_missingBir model ya da MuseTalk'in kaynağı getirilemedi.giteksikse kurun. Yüz ayrıştırma ağırlıkları Google Drive'dan gelemezse,79999_iter.pthdosyasınımodels/face-parse-bisent/içine kendiniz indirin.network_unavailableBir indirme, kaynak klonu ya da çalışma zamanı kurulumu ağ nedeniyle başarısız oldu. Yeniden deneyin: zaten indirilmiş modeller tutulur, ama kesintiye uğramış bir çalışma zamanı kurulumu baştan başlar.internalMesaj neyin olduğunu söyler. Çoğunlukla 3.10 ya da daha yeni bir Python bulunamadı, çalışma zamanı kurulumu başarısız oldu (mesaj pip'in çıktısıyla biter) ya da bir MuseTalk kütüphanesi içe aktarılamadı, genellikle mmcv, mmpose ya da mmdet. Çalışma zamanı bir işin ortasında durduysa, Batch size değerini düşürün.bad_paramsBir dosya eksik, ffmpeg bulunamadı ya da videodan hiç kare okunamadı. Subtitld normalde ffmpeg'i kendisi sağlar.
Lisans
Eklenti ve MuseTalk MIT'dir; eklenti bunları ticari kullanım için uygun olarak tanımlar. İndirdiği diğer modeller kendi lisanslarını korur, eklenti bunları listelemez; ticari işten önce onları denetleyin.
Sürümler
- 0.2.0