Parakeet & Nemotron offline, 33 jazyků

Co dělá

Použití

Chcete-li přepsat soubor, otevřete kartu Import, zvolte Parakeet & Nemotron jako Modul přepisu, nastavte Jazyk titulků a stiskněte Spustit přepis. Titulky se objevují na časové ose, zatímco se zbytek ještě přepisuje: zvuk se zpracovává po minutě (s Nemotron po půl minutě), takže ukazatel průběhu se stále posouvá a Zrušit zabere během několika sekund.

Pro živé titulky otevřete kartu Zvuk a zvolte doplněk jako Modul přepisu v části Nahrávání.

Modely

Jsou tři modely a žádný z nich není uvnitř doplňku. Každý se stáhne do sdílené mezipaměti modelů Subtitld, když je poprvé potřeba, z vlastních stránek NVIDIA na Hugging Face, v pevně dané revizi a ověřený podle svého otisku. Přerušené stahování pokračuje tam, kde skončilo. Aktualizace nebo odstranění doplňku modely ponechá.

Nastavení Model doplňku určuje, který model soubor přepíše. Při Automatic, což je výchozí volba, si Parakeet vezme 25 jazyků, které zná, a Nemotron zbylých osm. Nemotron můžete zvolit i pro jazyk, který znají oba; Parakeet je tam ale stále lepší volbou.

Parakeet časuje každé slovo ve chvíli, kdy ho slyší. Nemotron časuje slovo, až když ho píše, blízko jeho konce, takže doplněk každé slovo posune zpět tam, kde je vysloveno. Na testovacím filmu začíná 76% titulků Nemotron do půl sekundy od vlastních titulků filmu, oproti 85% u Parakeet. Přes hudbu a zvukové efekty Nemotron často nepíše interpunkci, takže jeho titulky končí i při pauze 0,8 sekundy.

Naměřeno na procesoru notebooku (Intel i7-13700T):

Kde jsou modely uloženy

Všechny tři modely zabírají asi 1,6 GB. Chcete-li uvolnit místo, smažte složku; každý model se znovu stáhne, až bude zase potřeba.

Živé titulky

Během nahrávání Nemotron slyší kousek za každé slovo (ve výchozím nastavení 560 ms; viz Live caption delay) a píše slova, jak mluvíte. Subtitld je ukazuje, dokud věta není dokončena, a pak věta vyplní svůj titulek. Věta končí po 0,8 sekundy bez nového slova.

Napoprvé se stáhne model Nemotron o velikosti 742 MB a průběh stahování se ukazuje tam, kde se objeví slova. Živé titulky častěji než u souborů vycházejí malými písmeny a bez interpunkce: pro čistý text nahrávku potom přepište pomocí Parakeet. Označení mluvčích je jen pro soubory.

Možnosti

V Nastavení › Doplňky › Parakeet & Nemotron (offline, 33 languages) › Nastavit.

Jazyky

33 jazyků. Parakeet zná 25: angličtinu, bulharštinu, češtinu, dánštinu, estonštinu, finštinu, francouzštinu, chorvatštinu, italštinu, litevštinu, lotyštinu, maďarštinu, maltštinu, němčinu, nizozemštinu, polštinu, portugalštinu, rumunštinu, ruštinu, řečtinu, slovenštinu, slovinštinu, španělštinu, švédštinu a ukrajinštinu. Nemotron zná 28: všechny tyto kromě litevštiny, lotyštiny, maltštiny, řečtiny a slovinštiny, a navíc arabštinu, čínštinu, hindštinu, japonštinu, korejštinu, norštinu, turečtinu a vietnamštinu. Živé titulky pokrývají 28 jazyků Nemotron.

Když necháte jazyk prázdný, Parakeet sám zjistí, kterým z jeho 25 jazyků se mluví. Nemotron dostane jazyk a u angličtiny, španělštiny, francouzštiny a portugalštiny i jeho variantu: en-gb, es-es, fr-ca a pt-br dají britskou angličtinu, španělštinu ze Španělska, kanadskou francouzštinu a brazilskou portugalštinu. Bez regionu Nemotron očekává americkou angličtinu, španělštinu z USA, francouzštinu z Francie a evropskou portugalštinu. Pro jazyk, který nezná ani jeden z modelů, přijde zpráva se seznamem těch, které znají.

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

Platformy

Linux x86-64 (jakákoli distribuce od roku 2018), macOS na Apple Silicon a Windows x86-64. Na x86-64 potřebuje procesor AVX2: Intel od roku 2013 a AMD od roku 2015. ffmpeg je součástí Subtitld.

Na Macu doplněk jednou, v samostatném procesu, zkusí grafický procesor (Metal), a pokud to selže, použije procesor. Výsledek se uloží do složky modelů, do metal-check.json. Chcete-li volit sami, nastavte před spuštěním Subtitld PARAKEET_NEMOTRON_DEVICE na cpu nebo gpu.

Každé vydání je sestaveno na všech třech systémech a na každém z nich CI nainstaluje doplněk stejně jako Subtitld, stáhne modely a přepíše soubor každým modelem, s označením mluvčích, i živě.

Řešení potíží

• unsupported_languageModel neumí přepsat jazyk projektu; zpráva uvede ty, které umí. Nastavte Model na Automatic, nebo zvolte jiný modul. Litevština, lotyština, maltština, řečtina a slovinština nemají živé titulky: soubor přepište až potom.
• network_unavailableModel se nepodařilo stáhnout, nebo stažený soubor neprošel kontrolou a byl zahozen. Zkontrolujte připojení a zkuste to znovu: stahování pokračuje tam, kde skončilo.
• disk_fullNa disku není dost místa pro modely nebo dekódovaný zvuk. Všechny tři modely zabírají asi 1,6 GB.
• oomNedostatek paměti. Zavřete jiné programy: dlouhý film potřebuje asi 1,3 GB.
• bad_paramsSubtitld nedokázal předat zvuk; zpráva uvede proč.
• internalUvnitř doplňku něco selhalo, často ffmpeg při dekódování zvuku nebo model, který se nepodařilo načíst. Zpráva obsahuje podrobnosti. Pokud uvádí, že procesoru chybí AVX2, tento počítač doplněk spustit nemůže.

Licence

Vhodné pro komerční práci. Doplněk i NeMo-Speech.cpp od NVIDIA jsou pod Apache-2.0. Parakeet je pod CC-BY-4.0, která žádá uvedení NVIDIA jako autora všude, kde se sdílejí samotné váhy. Oba modely Nemotron jsou pod OpenMDW-1.1, permisivní licencí pro modely, která nijak neomezuje, co s nimi vytvoříte. Modely se stahují od NVIDIA; doplněk je nedodává. Titulky, které vytvoříte, jsou vaše.