MuseTalk (GPU lip-sync)
Menggambar ulang mulut pembicara dalam video atau gambar diam agar mengikuti trek audio baru, dengan MuseTalk. Memerlukan kartu grafis NVIDIA dengan CUDA. Unduhannya kecil: pada pemakaian pertama ia memasang runtime PyTorch-nya sendiri dan beberapa GB model.
Pengaturan Pengaya MuseTalk (GPU lip-sync) Pasang
Subtitld mengunduhnya, memeriksa SHA-256-nya, dan menjaganya tetap diperbarui.
- Unduhan pengaya
- 9–18 MB
Fungsinya
Ia mulai dari sebuah video, satu gambar diam, atau folder frame, dan menulis video H.264 dengan audio baru dalam AAC.
Ketika audio lebih panjang dari video, frame diputar maju, lalu mundur, dan seterusnya hingga audio selesai.
Add-on yang Anda unduh adalah peluncur kecil. Pekerjaan pertamanya memasang PyTorch dan sisa pustaka MuseTalk ke dalam lingkungan Python pribadi, lalu mengunduh modelnya. Pekerjaan berikutnya melewati semua itu.
MuseTalk 1.5, nilai awal, menghasilkan mulut yang lebih tajam; 1.0 adalah versi aslinya. Keduanya diunduh pada run pertama, sehingga Anda bisa berpindah tanpa menunggu.
Belum ada yang menjalankannya di Subtitld. Anda bisa memasangnya, tetapi sejauh ini tidak ada perintah di aplikasi yang mengirim video untuk di-lip-sync.
Model
Tidak ada yang perlu dipilih. Pekerjaan pertama mengambil semua yang dibutuhkan MuseTalk, sekali:
- Lingkungan Python pribadi dengan PyTorch untuk CUDA dan pustaka MuseTalk lainnya: beberapa GB. Seluruh pemasangan tampil sebagai 5% pertama dari bilah kemajuan.
- Sumber MuseTalk, di-clone dengan
git. - Modelnya: MuseTalk 1.5 dan 1.0, SD-VAE, Whisper tiny, DWPose, parser wajah BiSeNet, dan SyncNet, beberapa GB lagi.
Build CUDA PyTorch berasal dari https://download.pytorch.org/whl/cu121. Untuk versi CUDA lain, atau mirror, atur SUBTITLD_MUSETALK_TORCH_INDEX ke alamatnya. Versi baru add-on menjalankan pemasangan sekali lagi, ke dalam lingkungan yang sama.
Yang dibutuhkan pada run pertama
- Kartu NVIDIA dengan CUDA. Add-on memeriksanya hanya setelah runtime dipasang, jadi pastikan lebih dulu sebelum memulai.
- Python 3.10 atau lebih baru di PATH Anda, dengan modul
venv-nya, atau aturSUBTITLD_MUSETALK_PYTHONke salah satunya. Add-on membangun lingkungannya dari Python tersebut. gitdi PATH Anda, untuk mengambil sumber MuseTalk.- Koneksi dan beberapa GB ruang kosong.
- Pustaka wajah dan pose MuseTalk, mmcv, mmpose, dan mmdet. Add-on tidak memasangnya. Sampai satu set yang cocok dengan PyTorch dan CUDA runtime terpasang di lingkungannya, sebuah pekerjaan berakhir dengan galat
internalyang menyebutkan apa yang gagal diimpor.
Di Windows, menutup Subtitld saat pemasangan pertama berlangsung bisa membuat unduhan terus berjalan di latar belakang hingga selesai.
Tempat semuanya disimpan
Di dalamnya ada runtime (lingkungan Python), models, dan MuseTalk (sumbernya). Mencopot add-on membiarkan folder ini; hapus untuk membebaskan ruang.
| Sistem | Folder |
|---|---|
| Linux | ~/.cache/subtitld/musetalk |
| Windows | %USERPROFILE%\.cache\subtitld\musetalk |
Opsi
Di Pengaturan › Pengaya › MuseTalk (GPU lip-sync) › Atur.
v15MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.
0Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.
10Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.
8Berapa frame yang dibuat kartu grafis sekaligus. Lebih tinggi lebih cepat tetapi memerlukan memori grafis lebih besar; turunkan setelah galat kehabisan memori.
25Frame rate hasilnya. MuseTalk dilatih pada 25 fps dan paling baik dengan video 25 fps; biarkan di 25.
Presisi setengah, yang memakai lebih sedikit memori grafis. Matikan hanya jika Anda melihat gangguan visual.
Platform
| Sistem | Unduhan |
|---|---|
| Linux x86-64 | 17.7 MB |
| Windows x86-64 | 8.6 MB |
Tidak ada build macOS: MuseTalk memerlukan CUDA. Kedua build dibuat di CI, tanpa menjalankan lip-sync.
Pemecahan masalah
gpu_unavailableTidak ada perangkat CUDA yang ditemukan. MuseTalk tidak bisa berjalan di CPU; ia memerlukan kartu NVIDIA dengan driver yang berfungsi.oomKartu grafis kehabisan memori. Turunkan Batch size dan biarkan Use float16 aktif.model_missingSebuah model atau sumber MuseTalk tidak dapat diambil. Pasanggitjika belum ada. Jika bobot parser wajah gagal diambil dari Google Drive, unduh79999_iter.pthsendiri kemodels/face-parse-bisent/.network_unavailableUnduhan, clone sumber, atau pemasangan runtime gagal karena jaringan. Coba lagi: model yang sudah terunduh tetap disimpan, tetapi pemasangan runtime yang terputus dimulai dari awal.internalPesannya menyebutkan apa. Paling sering tidak ditemukan Python 3.10 atau lebih baru, pemasangan runtime gagal (pesannya diakhiri dengan keluaran pip), atau sebuah pustaka MuseTalk gagal diimpor, biasanya mmcv, mmpose, atau mmdet. Jika runtime berhenti di tengah pekerjaan, turunkan Batch size.bad_paramsSebuah berkas hilang, ffmpeg tidak ditemukan, atau tidak ada frame yang bisa dibaca dari video. Subtitld biasanya menyediakan ffmpeg sendiri.
Lisensi
Add-on dan MuseTalk berlisensi MIT, dan add-on menyebutnya aman untuk penggunaan komersial. Model lain yang diunduhnya memiliki lisensinya sendiri, yang tidak dicantumkannya; periksa sebelum pekerjaan komersial.
Versi
- 0.2.0