Přemaluje ústa v hlavě mluvícího videu tak, aby sledovala novou zvukovou stopu, například váš dabing. Běží na CPU, bez PyTorch, a po stažení svých dvou souborů modelu funguje offline. Váhy jsou určeny jen pro výzkum a nekomerční použití.

Co dělá

Ústa sledují zvuk

V každém snímku najde největší obličej, přemaluje jeho ústa podle zvuku a vrátí záplatu zpět s měkkým okrajem.

Obličej v každém snímku

Potřebuje obličej v každém snímku. Jeden snímek, kde jej nenajde, například střih na jiný záběr, úlohu zastaví.

Stejně dlouhé jako zvuk

Zapíše nové video, H.264 se zvukem AAC, stejně dlouhé jako zvuk: kratší stopa video ořízne, delší jej přehraje znovu od prvního snímku.

Celý klip v paměti

Před startem načte každý snímek do paměti, takže dlouhé nebo vysoce rozlišené klipy potřebují hodně RAM. Resize factor ji snižuje.

Ne pro komerční práci. Váhy Wav2Lip byly natrénovány na LRS2 a jsou licencované jen pro výzkum a nekomerční použití, stejně jako váhy detektoru obličejů SCRFD. MIT licence doplňku kryje jeho vlastní kód, nikoli je.

Subtitld jej zatím nic nespouští. Můžete jej nainstalovat, ale žádný příkaz v aplikaci mu zatím neposílá video k synchronizaci rtů.

Modely

Nic k výběru. Dva soubory se stáhnou při prvním spuštění, pak vše zůstane na vašem počítači: wav2lip_256.onnx, model synchronizace rtů (asi 200 MB), a scrfd_2.5g_bnkps.onnx, detektor obličejů (asi 3 MB).

Soubor, který už ve složce je, se použije tak, jak je. Bez připojení k internetu oba stáhněte sami a vložte je tam:

Kde jsou modely uloženy

Mimo doplněk, takže aktualizace nebo odinstalování je ponechá; složku smažte, chcete-li uvolnit místo.

Systém	Složka
Linux	`~/.cache/subtitld/wav2lip`
macOS	`~/.cache/subtitld/wav2lip`
Windows	`%USERPROFILE%\.cache\subtitld\wav2lip`

Možnosti

V Nastavení › Doplňky › Wav2Lip (offline lip-sync) › Nastavit.

Mouth box padding (top bottom left right)

Výchozí: 0 10 0 0

Extra pixels added around the detected face box before lip-sync. Increase 'bottom' if the chin is cut off.

Resize factor

Výchozí: 1

Nejprve každý snímek zmenší tímto koeficientem a výsledek si zachová menší velikost. 2 zmenší šířku i výšku na polovinu: rychlejší, méně paměti, nižší rozlišení.

Face detection threshold

Výchozí: 0.3

Jak jistý musí být detektor obličejů, aby obličej přijal. Snižte, pokud se úloha zastaví na snímku, kde nebyl nalezen obličej.

Platformy

Systém	Stažení
Linux x86-64	273.6 MB
macOS (Apple silicon)	202.4 MB
Windows x86-64	175.9 MB

Sestavení vznikají v CI, bez spuštění synchronizace rtů.

Řešení potíží

bad_paramsNěco ve vstupu jej zastavilo; zpráva uvede co. Nejčastěji je to snímek, v němž nebyl nalezen obličej: snižte Face detection threshold, nebo použijte klip, kde je obličej vždy vidět. Tiché nebo velmi krátké audio jej také zastaví.
model_missingModel se nepodařilo stáhnout z jeho adresy. Zpráva uvede soubor, složku a adresu: stáhněte jej sami a vložte tam.
network_unavailablePři stahování modelů nebylo připojení. Zkuste to znovu online; jakmile jsou oba soubory na místě, síť už nepotřebuje.
internalCokoli jiného, včetně zrušené úlohy. U dlouhého nebo vysoce rozlišeného videa zvyšte Resize factor: celý klip je držen v paměti.

Licence

Doplněk

MIT

Model synchronizace rtů

Nekomerční

Váhy Wav2Lip, trénované na LRS2; jen výzkum

Detektor obličejů

Nekomerční

Váhy InsightFace SCRFD; jen výzkum

Jen pro nekomerční použití. Kód doplňku je MIT, ale váhy Wav2Lip a SCRFD, které stahuje, jsou určeny pro výzkum a nekomerční použití; dodržování jejich licencí je na vás.

Wav2Lip (offline lip-sync)

Co dělá

Modely

Kde jsou modely uloženy

Možnosti

Platformy

Řešení potíží

Licence

Verze

Další doplňky skupiny Synchronizace rtů