Parakeet & Nemotron offline, 33 języki

Co robi

Jak używać

Aby przepisać plik, otwórz kartę Import, wybierz Parakeet & Nemotron jako Silnik transkrypcji, ustaw Język napisów i naciśnij Rozpocznij transkrypcję. Napisy pojawiają się na osi czasu, zanim reszta zostanie przepisana: dźwięk idzie po minucie naraz (po pół minuty z Nemotron), więc pasek postępu cały czas się przesuwa, a Anuluj działa w ciągu kilku sekund.

Aby mieć napisy na żywo, otwórz kartę Audio i wybierz dodatek jako Silnik transkrypcji w sekcji Nagrywanie.

Modele

Są trzy modele i żadnego z nich nie ma w dodatku. Każdy pobiera się do wspólnej pamięci modeli Subtitld, gdy jest potrzebny po raz pierwszy, z własnych stron NVIDIA na Hugging Face, w ustalonej rewizji, i jest sprawdzany względem swojego odcisku. Przerwane pobieranie wznawia się tam, gdzie się zatrzymało. Aktualizacja lub usunięcie dodatku zachowuje modele.

Ustawienie Model dodatku decyduje, który model przepisuje plik. Przy Automatic, czyli domyślnie, Parakeet bierze 25 języków, które zna, a Nemotron pozostałe osiem. Możesz też wybrać Nemotron dla języka, który znają oba; Parakeet i tak jest tam lepszym wyborem.

Parakeet nadaje czas każdemu słowu w chwili, gdy je słyszy. Nemotron nadaje słowu czas wtedy, gdy je zapisuje, blisko jego końca, więc dodatek przesuwa każde słowo z powrotem tam, gdzie zostało wypowiedziane. Na filmie testowym 76% napisów Nemotron zaczyna się najwyżej pół sekundy od własnych napisów filmu, wobec 85% w przypadku Parakeet. Przy muzyce i efektach dźwiękowych Nemotron często nie pisze interpunkcji, więc jego napisy kończą się też na pauzie 0,8 sekundy.

Zmierzone na procesorze laptopa (Intel i7-13700T):

Gdzie są przechowywane modele

Wszystkie trzy modele zajmują około 1,6 GB. Aby zwolnić miejsce, usuń folder; każdy model pobierze się ponownie, gdy znów będzie potrzebny.

Napisy na żywo

Podczas nagrywania Nemotron słyszy kawałek dźwięku za każdym słowem (domyślnie 560 ms; zobacz Live caption delay) i zapisuje słowa na bieżąco, gdy mówisz. Subtitld pokazuje je, aż zdanie się skończy, a wtedy zdanie wypełnia swój napis. Zdanie kończy się po 0,8 sekundy bez nowego słowa.

Za pierwszym razem pobiera się model Nemotron o rozmiarze 742 MB, a postęp pobierania widać tam, gdzie pojawią się słowa. Napisy na żywo częściej niż napisy z plików wychodzą małymi literami i bez interpunkcji: jeśli chcesz czystego tekstu, przepisz potem nagranie za pomocą Parakeet. Oznaczanie mówców działa tylko dla plików.

Opcje

W Ustawieniach › Dodatki › Parakeet & Nemotron (offline, 33 languages) › Konfiguruj.

Języki

33 języki. Parakeet zna 25: angielski, bułgarski, chorwacki, czeski, duński, estoński, fiński, francuski, grecki, hiszpański, litewski, łotewski, maltański, niderlandzki, niemiecki, polski, portugalski, rosyjski, rumuński, słowacki, słoweński, szwedzki, ukraiński, węgierski i włoski. Nemotron zna 28: wszystkie te poza greckim, litewskim, łotewskim, maltańskim i słoweńskim, a do tego arabski, chiński, hindi, japoński, koreański, norweski, turecki i wietnamski. Napisy na żywo obejmują 28 języków Nemotron.

Jeśli zostawisz język pusty, Parakeet sam rozpozna, który z jego 25 języków słychać. Nemotron dostaje język, a dla angielskiego, hiszpańskiego, francuskiego i portugalskiego także jego odmianę: en-gb, es-es, fr-ca i pt-br dają brytyjski angielski, hiszpański z Hiszpanii, kanadyjski francuski i brazylijski portugalski. Bez regionu Nemotron oczekuje amerykańskiego angielskiego, hiszpańskiego ze Stanów Zjednoczonych, francuskiego z Francji i europejskiego portugalskiego. Dla języka, którego nie zna żaden z modeli, pojawia się komunikat z listą tych, które znają.

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

Platformy

Linux x86-64 (dowolna dystrybucja od 2018 roku), macOS na Apple Silicon i Windows x86-64. Na x86-64 procesor musi mieć AVX2: Intel od 2013 roku, AMD od 2015. ffmpeg jest dołączony do Subtitld.

Na Macu dodatek raz próbuje użyć procesora graficznego (Metal), w osobnym procesie, a jeśli to się nie uda, używa procesora. Wynik jest zapisywany w folderze modeli, w metal-check.json. Aby wybrać samodzielnie, ustaw PARAKEET_NEMOTRON_DEVICE na cpu lub gpu przed uruchomieniem Subtitld.

Każde wydanie jest budowane na wszystkich trzech systemach, a na każdym z nich CI instaluje dodatek tak, jak robi to Subtitld, pobiera modele i przepisuje plik każdym modelem, z oznaczaniem mówców, a także na żywo.

Rozwiązywanie problemów

• unsupported_languageModel nie potrafi przepisać języka projektu; komunikat podaje te, które potrafi. Ustaw Model na Automatic albo wybierz inny silnik. Grecki, litewski, łotewski, maltański i słoweński nie mają napisów na żywo: przepisz plik później.
• network_unavailableNie udało się pobrać modelu albo pobrany plik nie przeszedł sprawdzenia i został odrzucony. Sprawdź połączenie i spróbuj ponownie: pobieranie wznowi się tam, gdzie się zatrzymało.
• disk_fullZa mało miejsca na dysku na modele lub zdekodowany dźwięk. Wszystkie trzy modele zajmują około 1,6 GB.
• oomBrak pamięci. Zamknij inne programy: długi film potrzebuje około 1,3 GB.
• bad_paramsSubtitld nie zdołał przekazać dźwięku; komunikat mówi dlaczego.
• internalCoś zawiodło wewnątrz dodatku, często ffmpeg przy dekodowaniu dźwięku albo wczytywanie modelu. Komunikat zawiera szczegóły. Jeśli mówi, że procesorowi brakuje AVX2, ten komputer nie uruchomi dodatku.

Licencja

Można używać komercyjnie. Dodatek i NeMo-Speech.cpp od NVIDIA są na licencji Apache-2.0. Parakeet jest na licencji CC-BY-4.0, która wymaga podania NVIDIA jako autora wszędzie, gdzie udostępnia się same wagi. Oba modele Nemotron są na licencji OpenMDW-1.1, liberalnej licencji dla modeli, która nie ogranicza tego, co z nimi tworzysz. Modele pobiera się od NVIDIA; dodatek ich nie dostarcza. Napisy, które tworzysz, należą do ciebie.