Parakeet & Nemotron offline, 33 Sprachen

Was sie tut

Verwendung

Um eine Datei zu transkribieren, öffnen Sie den Tab Import, wählen Parakeet & Nemotron als Transkriptions-Engine, legen die Untertitelsprache fest und klicken auf Transkription starten. Die Untertitel erscheinen auf der Zeitleiste, während der Rest noch transkribiert wird: Das Audio wird jeweils eine Minute am Stück verarbeitet (mit Nemotron eine halbe Minute), sodass der Fortschrittsbalken in Bewegung bleibt und Abbrechen innerhalb von Sekunden greift.

Für Live-Untertitel öffnen Sie den Tab Audio und wählen sie unter Aufnahme als Transkriptions-Engine.

Modelle

Es gibt drei Modelle, und keines davon steckt in der Erweiterung. Jedes wird beim ersten Bedarf in den gemeinsamen Modell-Cache von Subtitld geladen, von NVIDIAs eigenen Seiten auf Hugging Face, in einer festen Revision und mit seinem Fingerabdruck geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er aufgehört hat. Aktualisieren oder Entfernen der Erweiterung behält die Modelle.

Die Einstellung Model der Erweiterung entscheidet, welches Modell eine Datei transkribiert. Mit Automatic, der Voreinstellung, übernimmt Parakeet die 25 Sprachen, die es kennt, und Nemotron die übrigen acht. Für eine Sprache, die beide kennen, können Sie auch Nemotron wählen; Parakeet ist dort trotzdem die bessere Wahl.

Parakeet setzt die Zeit jedes Wortes, während es das Wort hört. Nemotron setzt die Zeit eines Wortes erst, wenn es das Wort schreibt, gegen dessen Ende; deshalb schiebt die Erweiterung jedes Wort an die Stelle zurück, an der es gesprochen wird. In einem Testfilm beginnen 76 % der Untertitel von Nemotron höchstens eine halbe Sekunde von den eigenen Untertiteln des Films entfernt, bei Parakeet sind es 85 %. Über Musik und Geräuschen schreibt Nemotron oft keine Satzzeichen, daher enden seine Untertitel auch nach einer Pause von 0,8 Sekunden.

Gemessen auf einem Laptop-Prozessor (Intel i7-13700T):

Wo die Modelle liegen

Alle drei Modelle zusammen belegen etwa 1,6 GB. Löschen Sie den Ordner, um den Platz freizugeben; jedes Modell wird beim nächsten Bedarf erneut heruntergeladen.

Live-Untertitel

Während Sie aufnehmen, hört Nemotron über jedes Wort ein kleines Stück hinaus (standardmäßig 560 ms; siehe Live caption delay) und schreibt die Wörter, während Sie sprechen. Subtitld zeigt sie an, bis der Satz fertig ist, und dann füllt der Satz seinen Untertitel. Ein Satz endet nach 0,8 Sekunden ohne neues Wort.

Beim ersten Mal wird das 742 MB große Nemotron-Modell heruntergeladen, und der Fortschritt des Downloads erscheint dort, wo später die Wörter stehen. Live-Untertitel kommen häufiger als bei Dateien in Kleinbuchstaben und ohne Satzzeichen heraus: Für sauberen Text transkribieren Sie die Aufnahme anschließend mit Parakeet. Die Sprecherkennzeichnung gibt es nur für Dateien.

Optionen

In Einstellungen › Erweiterungen › Parakeet & Nemotron (offline, 33 languages) › Konfigurieren.

Sprachen

33 Sprachen. Parakeet kennt 25: Bulgarisch, Dänisch, Deutsch, Englisch, Estnisch, Finnisch, Französisch, Griechisch, Italienisch, Kroatisch, Lettisch, Litauisch, Maltesisch, Niederländisch, Polnisch, Portugiesisch, Rumänisch, Russisch, Schwedisch, Slowakisch, Slowenisch, Spanisch, Tschechisch, Ukrainisch und Ungarisch. Nemotron kennt 28: alle diese außer Griechisch, Lettisch, Litauisch, Maltesisch und Slowenisch, dazu Arabisch, Chinesisch, Hindi, Japanisch, Koreanisch, Norwegisch, Türkisch und Vietnamesisch. Live-Untertitel gibt es für die 28 Sprachen von Nemotron.

Lassen Sie die Sprache leer, erkennt Parakeet selbst, welche seiner 25 Sprachen gesprochen wird. Nemotron bekommt die Sprache mitgeteilt, bei Englisch, Spanisch, Französisch und Portugiesisch auch die Variante: en-gb, es-es, fr-ca und pt-br ergeben britisches Englisch, Spanisch aus Spanien, kanadisches Französisch und brasilianisches Portugiesisch. Ohne Region erwartet es amerikanisches Englisch, amerikanisches Spanisch, Französisch aus Frankreich und europäisches Portugiesisch. Für eine Sprache, die keines der beiden Modelle kennt, erscheint eine Meldung mit den Sprachen, die sie kennen.

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

Plattformen

Linux x86-64 (jede Distribution ab 2018), macOS auf Apple Silicon und Windows x86-64. Auf x86-64 braucht der Prozessor AVX2: Intel ab 2013 und AMD ab 2015. ffmpeg ist in Subtitld enthalten.

Auf einem Mac probiert die Erweiterung einmal den Grafikprozessor (Metal) aus, in einem separaten Prozess, und nutzt den Prozessor, wenn das fehlschlägt. Das Ergebnis wird im Modellordner in metal-check.json gespeichert. Um selbst zu wählen, setzen Sie PARAKEET_NEMOTRON_DEVICE auf cpu oder gpu, bevor Sie Subtitld starten.

Jede Version wird auf allen drei Systemen gebaut, und auf jedem installiert die CI die Erweiterung so, wie Subtitld es tut, lädt die Modelle herunter und transkribiert eine Datei mit jedem Modell, mit Sprecherkennzeichnung und live.

Fehlerbehebung

• unsupported_languageDas Modell kann die Sprache des Projekts nicht transkribieren; die Meldung nennt die Sprachen, die es kann. Stellen Sie Model auf Automatic oder wählen Sie eine andere Engine. Für Griechisch, Lettisch, Litauisch, Maltesisch und Slowenisch gibt es keine Live-Untertitel: Transkribieren Sie die Datei danach.
• network_unavailableEin Modell konnte nicht heruntergeladen werden, oder eine heruntergeladene Datei hat die Prüfung nicht bestanden und wurde verworfen. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird dort fortgesetzt, wo er aufgehört hat.
• disk_fullNicht genug Speicherplatz für die Modelle oder das dekodierte Audio. Alle drei Modelle zusammen belegen etwa 1,6 GB.
• oomNicht genug Arbeitsspeicher. Schließen Sie andere Programme: Ein langer Film braucht etwa 1,3 GB.
• bad_paramsSubtitld konnte das Audio nicht übergeben; die Meldung sagt, warum.
• internalIn der Erweiterung ist etwas fehlgeschlagen, oft ffmpeg beim Dekodieren des Audios oder ein Modell, das sich nicht laden ließ. Die Meldung enthält die Details. Steht darin, dass dem Prozessor AVX2 fehlt, kann dieser Computer die Erweiterung nicht ausführen.

Lizenz

Für kommerzielle Arbeit geeignet. Die Erweiterung und NeMo-Speech.cpp von NVIDIA stehen unter Apache-2.0. Parakeet steht unter CC-BY-4.0; diese Lizenz verlangt eine Nennung von NVIDIA, wo immer die Gewichte selbst weitergegeben werden. Die beiden Nemotron-Modelle stehen unter OpenMDW-1.1, einer freizügigen Lizenz für Modelle, die dem, was Sie damit erstellen, keine Grenzen setzt. Die Modelle werden von NVIDIA heruntergeladen; die Erweiterung liefert sie nicht mit. Die Untertitel, die Sie erstellen, gehören Ihnen.