Parakeet & Nemotron offline, 33 talen

Wat het doet

Gebruik

Om een bestand te transcriberen, opent u het tabblad Importeren, kiest u Parakeet & Nemotron als Transcriptie-engine, stelt u de Ondertiteltaal in en klikt u op Transcriptie starten. De ondertitels verschijnen op de tijdlijn terwijl de rest nog wordt getranscribeerd: de audio gaat er per minuut doorheen (per halve minuut met Nemotron), zodat de voortgangsbalk blijft bewegen en Annuleren binnen enkele seconden werkt.

Voor live ondertitels opent u het tabblad Audio en kiest u de add-on als Transcriptie-engine onder Opnemen.

Modellen

Er zijn drie modellen, en geen ervan zit in de add-on. Elk model wordt de eerste keer dat het nodig is gedownload naar de gedeelde modelcache van Subtitld, van de eigen pagina's van NVIDIA op Hugging Face, op een vaste revisie en gecontroleerd tegen zijn vingerafdruk. Een onderbroken download gaat verder waar hij stopte. Bij updaten of verwijderen van de add-on blijven de modellen bewaard.

De instelling Model van de add-on bepaalt welk model een bestand transcribeert. Op Automatic, de standaard, neemt Parakeet de 25 talen die het kent en Nemotron de andere acht. U kunt ook Nemotron kiezen voor een taal die ze allebei kennen; Parakeet blijft daar de betere keuze.

Parakeet geeft elk woord een tijd op het moment dat het dat woord hoort. Nemotron geeft een woord een tijd wanneer het dat woord schrijft, vlak bij het einde ervan, dus de add-on schuift elk woord terug naar waar het wordt uitgesproken. Bij een testfilm begint 76% van de ondertitels van Nemotron binnen een halve seconde van de eigen ondertitels van de film, tegenover 85% bij Parakeet. Onder muziek en geluidseffecten schrijft Nemotron vaak geen leestekens, dus zijn ondertitels eindigen ook bij een pauze van 0,8 seconde.

Gemeten op een laptopprocessor (Intel i7-13700T):

Waar modellen worden bewaard

Alle drie de modellen samen nemen ongeveer 1,6 GB in. Verwijder de map om de ruimte vrij te maken; elk model wordt opnieuw gedownload wanneer het weer nodig is.

Live ondertitels

Terwijl u opneemt, hoort Nemotron een stukje voorbij elk woord (standaard 560 ms; zie Live caption delay) en schrijft het de woorden terwijl u spreekt. Subtitld toont ze tot de zin klaar is, en dan vult de zin zijn ondertitel. Een zin eindigt na 0,8 seconde zonder nieuw woord.

De eerste keer wordt het Nemotron-model van 742 MB gedownload, en de voortgang van de download staat op de plek waar de woorden zullen verschijnen. Live ondertitels komen vaker dan bij bestanden in kleine letters en zonder leestekens: transcribeer de opname achteraf met Parakeet als u nette tekst wilt. Sprekerlabels zijn er alleen voor bestanden.

Opties

In Instellingen › Add-ons › Parakeet & Nemotron (offline, 33 languages) › Configureren.

Talen

33 talen. Parakeet kent er 25: Bulgaars, Deens, Duits, Engels, Ests, Fins, Frans, Grieks, Hongaars, Italiaans, Kroatisch, Lets, Litouws, Maltees, Nederlands, Oekraïens, Pools, Portugees, Roemeens, Russisch, Sloveens, Slowaaks, Spaans, Tsjechisch en Zweeds. Nemotron kent er 28: al die talen behalve Grieks, Lets, Litouws, Maltees en Sloveens, en daarnaast Arabisch, Chinees, Hindi, Japans, Koreaans, Noors, Turks en Vietnamees. Live ondertitels zijn er voor de 28 van Nemotron.

Laat u de taal leeg, dan zoekt Parakeet zelf uit welke van zijn 25 talen er wordt gesproken. Nemotron krijgt de taal door, en bij Engels, Spaans, Frans en Portugees ook de variant: en-gb, es-es, fr-ca en pt-br geven Brits Engels, Spaans uit Spanje, Canadees Frans en Braziliaans Portugees. Zonder regio verwacht het Amerikaans Engels, Spaans uit de Verenigde Staten, Frans uit Frankrijk en Europees Portugees. Bij een taal die geen van beide modellen kent, verschijnt een bericht met de talen die ze wel kennen.

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

Platforms

Linux x86-64 (elke distributie vanaf 2018), macOS op Apple Silicon en Windows x86-64. Op x86-64 heeft de processor AVX2 nodig: Intel vanaf 2013 en AMD vanaf 2015. ffmpeg wordt met Subtitld meegeleverd.

Op een Mac probeert de add-on één keer de grafische processor (Metal), in een apart proces, en gebruikt hij de processor als dat mislukt. De uitkomst wordt bewaard in de map met modellen, in metal-check.json. Wilt u zelf kiezen, zet dan PARAKEET_NEMOTRON_DEVICE op cpu of gpu voordat u Subtitld start.

Elke release wordt op alle drie de systemen gebouwd, en op elk ervan installeert CI de add-on zoals Subtitld dat doet, downloadt de modellen en transcribeert een bestand met elk model, met sprekerlabels, en live.

Problemen oplossen

• unsupported_languageHet model kan de taal van het project niet transcriberen; het bericht noemt de talen die het wel kan. Zet Model op Automatic, of kies een andere engine. Grieks, Lets, Litouws, Maltees en Sloveens hebben geen live ondertitels: transcribeer het bestand achteraf.
• network_unavailableEen model kon niet worden gedownload, of een gedownload bestand kwam niet door de controle en is verwijderd. Controleer uw verbinding en probeer het opnieuw: de download gaat verder waar hij stopte.
• disk_fullNiet genoeg schijfruimte voor de modellen of de gedecodeerde audio. Alle drie de modellen samen nemen ongeveer 1,6 GB in.
• oomOnvoldoende geheugen. Sluit andere programma's: een lange film heeft ongeveer 1,3 GB nodig.
• bad_paramsSubtitld kon de audio niet doorgeven; het bericht zegt waarom.
• internalEr ging iets mis in de add-on, vaak ffmpeg bij het decoderen van de audio of een model dat niet wilde laden. Het bericht bevat de details. Zegt het dat de processor geen AVX2 heeft, dan kan deze computer de add-on niet draaien.

Licentie

Geschikt voor commercieel werk. De add-on en NeMo-Speech.cpp van NVIDIA zijn Apache-2.0. Parakeet is CC-BY-4.0, en die licentie vraagt om vermelding van NVIDIA overal waar de gewichten zelf worden gedeeld. De twee Nemotron-modellen vallen onder OpenMDW-1.1, een permissieve licentie voor modellen die geen grenzen stelt aan wat u ermee maakt. De modellen worden van NVIDIA gedownload; de add-on levert ze niet mee. De ondertitels die u maakt, zijn van u.