Přemaluje ústa mluvčího ve videu nebo na statickém obrázku tak, aby sledovala novou zvukovou stopu, pomocí MuseTalk. Potřebuje grafickou kartu NVIDIA s CUDA. Stahování je malé: při prvním použití nainstaluje vlastní běhové prostředí PyTorch a několik GB modelů.

Co dělá

Video, obrázek nebo snímky

Začíná z videa, jednoho statického obrázku nebo složky snímků a zapíše video v H.264 s novým zvukem v AAC.

Krátký klip, dlouhý zvuk

Když zvuk přesahuje video, snímky se přehrávají dopředu, pak pozpátku, a tak dál, dokud zvuk neskončí.

Nastaví se samo

Doplněk, který si stáhnete, je malý spouštěč. Jeho první úloha nainstaluje PyTorch a zbytek MuseTalk do vlastního prostředí Python a poté stáhne modely. Další úlohy to všechno přeskočí.

Dvě verze

MuseTalk 1.5, výchozí, dává ostřejší ústa; 1.0 je původní. Obě se stáhnou při prvním spuštění, takže můžete přepínat bez čekání.

Subtitld jej zatím nic nespouští. Můžete jej nainstalovat, ale žádný příkaz v aplikaci mu zatím neposílá video k synchronizaci rtů.

Modely

Nic k výběru. První úloha stáhne vše, co MuseTalk potřebuje, jednou:

Vlastní prostředí Python s PyTorch pro CUDA a dalšími knihovnami MuseTalk: několik GB. Celá instalace se zobrazí jako prvních 5 % lišty průběhu.
Zdrojový kód MuseTalk, stažený pomocí git.
Modely: MuseTalk 1.5 a 1.0, SD-VAE, Whisper tiny, DWPose, parser obličeje BiSeNet a SyncNet, dalších několik GB.

Balíčky CUDA PyTorch pocházejí z https://download.pytorch.org/whl/cu121. Pro jinou verzi CUDA nebo zrcadlo nastavte SUBTITLD_MUSETALK_TORCH_INDEX na jeho adresu. Nová verze doplňku spustí instalaci znovu, do stejného prostředí.

Co první spuštění potřebuje

Kartu NVIDIA s CUDA. Doplněk ji kontroluje až poté, co nainstaluje běhové prostředí, takže se před spuštěním ujistěte.
Python 3.10 nebo novější v PATH, s modulem venv, nebo nastavte SUBTITLD_MUSETALK_PYTHON na jeho cestu. Doplněk z něj vytváří své prostředí.
git v PATH, pro stažení zdrojového kódu MuseTalk.
Připojení a několik GB volného místa.
Knihovny obličejů a póz MuseTalk, mmcv, mmpose a mmdet. Doplněk je neinstaluje. Dokud v jeho prostředí není sada odpovídající PyTorch a CUDA z běhového prostředí, úloha skončí chybou internal s názvem knihovny, která se nenačetla.

Na Windows může ukončení Subtitld během první instalace nechat stahování běžet na pozadí, dokud neskončí.

Kde je všechno uloženo

Uvnitř jsou runtime (prostředí Python), models a MuseTalk (zdrojový kód). Odinstalování doplňku tuto složku nechá; smažte ji, chcete-li uvolnit místo.

Systém	Složka
Linux	`~/.cache/subtitld/musetalk`
Windows	`%USERPROFILE%\.cache\subtitld\musetalk`

Možnosti

V Nastavení › Doplňky › MuseTalk (GPU lip-sync) › Nastavit.

MuseTalk version

Výchozí: v15

MuseTalk model version. 1.5 gives sharper mouths; 1.0 is the original.

Bbox shift

Výchozí: 0

Shifts the face crop vertically to tune mouth openness. Positive opens the mouth more, negative closes it. MuseTalk 1.0 only.

Extra margin

Výchozí: 10

Extra pixels added below the face crop (jaw region). MuseTalk 1.5 only.

Batch size

Výchozí: 8

Kolik snímků grafická karta zpracuje najednou. Vyšší je rychlejší, ale potřebuje více paměti grafické karty; po chybě nedostatku paměti ji snižte.

Output FPS

Výchozí: 25

Snímková frekvence výsledku. MuseTalk je natrénován na 25 fps a funguje nejlépe z videa 25 fps; nechte 25.

Use float16

Výchozí: zapnuto

Poloviční přesnost, která spotřebuje méně paměti grafické karty. Vypněte ji, jen pokud vidíte vizuální chyby.

Platformy

Systém	Stažení
Linux x86-64	17.7 MB
Windows x86-64	8.6 MB

Sestavení pro macOS neexistuje: MuseTalk potřebuje CUDA. Obě sestavení vznikají v CI, bez spuštění synchronizace rtů.

Řešení potíží

gpu_unavailableNenalezeno žádné zařízení CUDA. MuseTalk nemůže běžet na CPU; potřebuje kartu NVIDIA s funkčními ovladači.
oomGrafické kartě došla paměť. Snižte Batch size a nechte zapnuto Use float16.
model_missingModel nebo zdrojový kód MuseTalk nešlo získat. Nainstalujte git, pokud chybí. Pokud se váhy pro parsování obličeje nepodaří stáhnout z Google Drive, stáhněte 79999_iter.pth sami do models/face-parse-bisent/.
network_unavailableStažení, klonování zdrojového kódu nebo instalace běhového prostředí selhaly kvůli síti. Zkuste to znovu: už stažené modely se zachovají, ale přerušená instalace běhového prostředí začne od začátku.
internalZpráva uvede, co. Nejčastěji nebyl nalezen Python 3.10 nebo novější, instalace běhového prostředí selhala (zpráva končí výstupem pip), nebo se nenačetla knihovna MuseTalk, obvykle mmcv, mmpose nebo mmdet. Pokud běhové prostředí přestalo uprostřed úlohy fungovat, snižte Batch size.
bad_paramsChybí soubor, nebyl nalezen ffmpeg, nebo z videa nešlo načíst žádné snímky. Subtitld ffmpeg obvykle dodává sám.

Licence

Doplněk

MIT

Engine

MIT

MuseTalk

Modely

Podle modelu

SD-VAE, Whisper, DWPose, BiSeNet a SyncNet si ponechávají vlastní licence

Doplněk i MuseTalk jsou MIT a doplněk je popisuje jako vhodné pro komerční použití. Ostatní modely, které stahuje, si ponechávají vlastní licence, které neuvádí; před komerční prací je zkontrolujte.

MuseTalk (GPU lip-sync)

Co dělá

Modely

Co první spuštění potřebuje

Kde je všechno uloženo

Možnosti

Platformy

Řešení potíží

Licence

Verze

Další doplňky skupiny Synchronizace rtů