Parakeet & Nemotron offline, 33 lingue

Cosa fa

Come si usa

Per trascrivere un file, apra la scheda Importa, scelga Parakeet & Nemotron come Motore di trascrizione, imposti la Lingua dei sottotitoli e prema Avvia la trascrizione. I sottotitoli compaiono sulla timeline mentre il resto viene ancora trascritto: l'audio passa un minuto alla volta (mezzo minuto con Nemotron), così la barra di avanzamento continua a muoversi e Annulla ha effetto in pochi secondi.

Per i sottotitoli in diretta, apra la scheda Audio e lo scelga come Motore di trascrizione sotto Registrazione.

Modelli

Ci sono tre modelli, e nessuno è dentro il componente aggiuntivo. Ognuno si scarica nella cache dei modelli condivisa di Subtitld la prima volta che serve, dalle pagine di NVIDIA stessa su Hugging Face, fissato a una revisione e verificato con la sua impronta. Un download interrotto riprende da dove si era fermato. Aggiornare o rimuovere il componente aggiuntivo li mantiene.

L'impostazione Model del componente aggiuntivo decide quale modello trascrive un file. Su Automatic, il valore predefinito, Parakeet prende le 25 lingue che conosce e Nemotron le altre otto. Può anche scegliere Nemotron per una lingua che conoscono entrambi; Parakeet resta comunque la scelta migliore.

Parakeet assegna il tempo a ogni parola mentre la sente. Nemotron assegna il tempo a una parola quando la scrive, verso la fine della parola, quindi il componente aggiuntivo riporta ogni parola al punto in cui viene pronunciata. Su un film di prova, il 76% dei sottotitoli di Nemotron inizia entro mezzo secondo dai sottotitoli originali del film, contro l'85% di Parakeet. Su musica ed effetti sonori Nemotron spesso non scrive punteggiatura, quindi i suoi sottotitoli terminano anche dopo una pausa di 0,8 secondi.

Misurato sul processore di un portatile (Intel i7-13700T):

Dove vengono conservati i modelli

Tutti e tre i modelli occupano circa 1,6 GB. Elimini la cartella per liberare lo spazio; ogni modello si scarica di nuovo la prossima volta che serve.

Sottotitoli in diretta

Mentre registra, Nemotron ascolta un po' oltre ogni parola (560 ms per impostazione predefinita; veda Live caption delay) e scrive le parole mentre lei parla. Subtitld le mostra finché la frase non è completata, poi la frase riempie il suo sottotitolo. Una frase finisce dopo 0,8 secondi senza una nuova parola.

La prima volta si scarica il modello Nemotron da 742 MB, e l'avanzamento del download compare dove appariranno le parole. I sottotitoli in diretta escono più spesso in minuscolo e senza punteggiatura rispetto ai file: per un testo pulito, trascriva poi la registrazione con Parakeet. Le etichette dei parlanti sono solo per i file.

Opzioni

In Impostazioni › Componenti aggiuntivi › Parakeet & Nemotron (offline, 33 languages) › Configuri.

Lingue

33 lingue. Parakeet ne conosce 25: bulgaro, ceco, croato, danese, estone, finlandese, francese, greco, inglese, italiano, lettone, lituano, maltese, olandese, polacco, portoghese, rumeno, russo, slovacco, sloveno, spagnolo, svedese, tedesco, ucraino e ungherese. Nemotron ne conosce 28: tutte queste tranne greco, lettone, lituano, maltese e sloveno, più arabo, cinese, hindi, giapponese, coreano, norvegese, turco e vietnamita. I sottotitoli in diretta coprono le 28 di Nemotron.

Se lascia vuota la lingua, Parakeet capisce da solo quale delle sue 25 viene parlata. A Nemotron viene indicata la lingua e, per inglese, spagnolo, francese e portoghese, anche la variante: en-gb, es-es, fr-ca e pt-br danno inglese britannico, spagnolo di Spagna, francese canadese e portoghese brasiliano. Senza regione si aspetta inglese americano, spagnolo americano, francese di Francia e portoghese europeo. Una lingua che nessuno dei due modelli conosce riceve un messaggio con l'elenco di quelle che conoscono.

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

Piattaforme

Linux x86-64 (qualsiasi distribuzione dal 2018 in poi), macOS su Apple Silicon e Windows x86-64. Su x86-64 il processore deve supportare AVX2: Intel dal 2013 e AMD dal 2015 in poi. ffmpeg è incluso in Subtitld.

Su un Mac il componente aggiuntivo prova una volta il processore grafico (Metal), in un processo separato, e usa il processore se non funziona. L'esito viene conservato nella cartella dei modelli, in metal-check.json. Per scegliere da sé, imposti PARAKEET_NEMOTRON_DEVICE su cpu o gpu prima di avviare Subtitld.

Ogni versione viene compilata su tutti e tre i sistemi, e su ognuno la CI installa il componente aggiuntivo come fa Subtitld, scarica i modelli e trascrive un file con ogni modello, con le etichette dei parlanti, e in diretta.

Risoluzione dei problemi

• unsupported_languageIl modello non sa trascrivere la lingua del progetto; il messaggio elenca quelle che sa trascrivere. Imposti Model su Automatic, oppure scelga un altro motore. Greco, lettone, lituano, maltese e sloveno non hanno sottotitoli in diretta: trascriva il file in seguito.
• network_unavailableNon è stato possibile scaricare un modello, oppure un file scaricato non ha superato la verifica ed è stato scartato. Controlli la connessione e riprovi: il download riprende da dove si era fermato.
• disk_fullSpazio su disco insufficiente per i modelli o per l'audio decodificato. Tutti e tre i modelli occupano circa 1,6 GB.
• oomMemoria esaurita. Chiuda altri programmi: un film lungo richiede circa 1,3 GB.
• bad_paramsSubtitld non è riuscito a passare l'audio; il messaggio indica il motivo.
• internalQualcosa non ha funzionato dentro il componente aggiuntivo, spesso ffmpeg nel decodificare l'audio o un modello che non si è caricato. Il messaggio contiene i dettagli. Se dice che al processore manca AVX2, questo computer non può eseguire il componente aggiuntivo.

Licenza

Va bene per uso commerciale. Il componente aggiuntivo e NeMo-Speech.cpp di NVIDIA sono Apache-2.0. Parakeet è CC-BY-4.0, che chiede di citare NVIDIA ovunque vengano condivisi i pesi stessi. I due modelli Nemotron sono sotto OpenMDW-1.1, una licenza permissiva per modelli che non pone limiti a ciò che crea con essi. I modelli si scaricano da NVIDIA; il componente aggiuntivo non li include. I sottotitoli che crea sono suoi.