Parakeet & Nemotron hors ligne, 33 langues

Ce qu'elle fait

Utilisation

Pour transcrire un fichier, ouvrez l'onglet Importer, choisissez Parakeet & Nemotron comme Moteur de transcription, réglez la Langue des sous-titres et appuyez sur Démarrer la transcription. Les sous-titres apparaissent sur la timeline pendant que le reste est encore en cours de transcription : l'audio est traité une minute à la fois (une demi-minute avec Nemotron), donc la barre de progression continue d'avancer et Annuler prend effet en quelques secondes.

Pour les sous-titres en direct, ouvrez l'onglet Audio et choisissez-la comme Moteur de transcription sous Enregistrement.

Modèles

Il y a trois modèles, et aucun n'est inclus dans l'extension. Chacun se télécharge dans le cache de modèles partagé de Subtitld la première fois qu'il est nécessaire, depuis les propres pages de NVIDIA sur Hugging Face, à une révision fixée, et est vérifié contre son empreinte. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension les conserve.

Le réglage Model de l'extension décide quel modèle transcrit un fichier. Sur Automatic, la valeur par défaut, Parakeet prend les 25 langues qu'il connaît et Nemotron les huit autres. Vous pouvez aussi choisir Nemotron pour une langue que les deux connaissent ; Parakeet y reste le meilleur choix.

Parakeet cale chaque mot au moment où il l'entend. Nemotron cale un mot au moment où il l'écrit, vers la fin du mot ; l'extension ramène donc chaque mot à l'endroit où il est prononcé. Sur un film de test, 76 % des sous-titres de Nemotron commencent à moins d'une demi-seconde des sous-titres du film lui-même, contre 85 % pour Parakeet. Sur de la musique et des effets sonores, Nemotron n'écrit souvent aucune ponctuation ; ses sous-titres se terminent donc aussi après une pause de 0,8 seconde.

Mesuré sur un processeur d'ordinateur portable (Intel i7-13700T) :

Où sont conservés les modèles

Les trois modèles occupent environ 1,6 GB. Supprimez le dossier pour libérer l'espace ; chaque modèle se télécharge de nouveau la prochaine fois qu'il est nécessaire.

Sous-titres en direct

Pendant l'enregistrement, Nemotron écoute un peu au-delà de chaque mot (560 ms par défaut ; voir Live caption delay) et écrit les mots pendant que vous parlez. Subtitld les affiche jusqu'à la fin de la phrase, puis la phrase remplit son sous-titre. Une phrase se termine après 0,8 seconde sans nouveau mot.

La première fois, le modèle Nemotron de 742 MB se télécharge, et la progression du téléchargement s'affiche là où apparaîtront les mots. Les sous-titres en direct sortent plus souvent en minuscules et sans ponctuation que ceux des fichiers : pour un texte propre, transcrivez ensuite l'enregistrement avec Parakeet. L'identification des locuteurs est réservée aux fichiers.

Options

Dans Paramètres › Extensions › Parakeet & Nemotron (offline, 33 languages) › Configurer.

Langues

33 langues. Parakeet en connaît 25 : allemand, anglais, bulgare, croate, danois, espagnol, estonien, finnois, français, grec, hongrois, italien, letton, lituanien, maltais, néerlandais, polonais, portugais, roumain, russe, slovaque, slovène, suédois, tchèque et ukrainien. Nemotron en connaît 28 : toutes celles-ci sauf le grec, le letton, le lituanien, le maltais et le slovène, plus l'arabe, le chinois, l'hindi, le japonais, le coréen, le norvégien, le turc et le vietnamien. Les sous-titres en direct couvrent les 28 de Nemotron.

Laissez la langue vide et Parakeet détermine lui-même laquelle de ses 25 langues est parlée. Nemotron, lui, reçoit la langue, et pour l'anglais, l'espagnol, le français et le portugais aussi la variante : en-gb, es-es, fr-ca et pt-br donnent l'anglais britannique, l'espagnol d'Espagne, le français canadien et le portugais brésilien. Sans région, il attend l'anglais américain, l'espagnol d'Amérique, le français de France et le portugais européen. Une langue qu'aucun des deux modèles ne connaît reçoit un message qui liste celles qu'ils connaissent.

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

Plateformes

Linux x86-64 (toute distribution à partir de 2018), macOS sur Apple Silicon et Windows x86-64. Sur x86-64, le processeur doit prendre en charge AVX2 : Intel à partir de 2013 et AMD à partir de 2015. ffmpeg est fourni avec Subtitld.

Sur un Mac, l'extension essaie une fois le processeur graphique (Metal), dans un processus séparé, et utilise le processeur si cela échoue. Le verdict est conservé dans le dossier des modèles, dans metal-check.json. Pour choisir vous-même, réglez PARAKEET_NEMOTRON_DEVICE sur cpu ou gpu avant de lancer Subtitld.

Chaque version est compilée sur les trois systèmes, et sur chacun la CI installe l'extension comme le fait Subtitld, télécharge les modèles et transcrit un fichier avec chaque modèle, avec identification des locuteurs, et en direct.

Dépannage

• unsupported_languageLe modèle ne sait pas transcrire la langue du projet ; le message liste celles qu'il sait transcrire. Réglez Model sur Automatic, ou choisissez un autre moteur. Le grec, le letton, le lituanien, le maltais et le slovène n'ont pas de sous-titres en direct : transcrivez le fichier ensuite.
• network_unavailableUn modèle n'a pas pu être téléchargé, ou un fichier téléchargé n'a pas passé sa vérification et a été supprimé. Vérifiez votre connexion et réessayez : le téléchargement reprend là où il s'est arrêté.
• disk_fullPas assez d'espace disque pour les modèles ou l'audio décodé. Les trois modèles occupent environ 1,6 GB.
• oomMémoire insuffisante. Fermez d'autres programmes : un long film demande environ 1,3 GB.
• bad_paramsSubtitld n'a pas pu transmettre l'audio ; le message précise pourquoi.
• internalQuelque chose a échoué dans l'extension, souvent ffmpeg en décodant l'audio ou un modèle qui n'a pas pu se charger. Le message donne les détails. S'il indique que le processeur n'a pas AVX2, cet ordinateur ne peut pas faire tourner l'extension.

Licence

Utilisable à des fins commerciales. L'extension et NeMo-Speech.cpp de NVIDIA sont sous Apache-2.0. Parakeet est sous CC-BY-4.0, qui demande de créditer NVIDIA partout où les poids eux-mêmes sont partagés. Les deux modèles Nemotron sont sous OpenMDW-1.1, une licence permissive pour les modèles qui ne limite en rien ce que vous créez avec eux. Les modèles se téléchargent depuis NVIDIA ; l'extension ne les distribue pas. Les sous-titres que vous créez vous appartiennent.