Parakeet & Nemotron офлайн, 33 мови

Що це робить

Як користуватися

Щоб транскрибувати файл, відкрийте вкладку Імпорт, у полі Рушій транскрипції виберіть Parakeet & Nemotron, укажіть мову в полі Мова субтитрів і натисніть кнопку Почати транскрипцію. Субтитри з’являються на часовій шкалі, поки решта ще транскрибується: аудіо обробляється по хвилині за раз (з Nemotron — по пів хвилини), тож смуга прогресу не стоїть на місці, а Скасувати спрацьовує за лічені секунди.

Для живих субтитрів відкрийте вкладку Аудіо і в розділі Запис виберіть цей додаток у полі Рушій транскрипції.

Моделі

Моделей три, і жодної з них немає в додатку. Кожна завантажується до спільного кешу моделей Subtitld, коли вперше знадобиться, зі сторінок самої NVIDIA на Hugging Face, із закріпленою ревізією та з перевіркою за відбитком. Перерване завантаження продовжується з того місця, де зупинилося. Оновлення або видалення додатка моделі зберігає.

Яка модель транскрибує файл, вирішує параметр додатка Model. У режимі Automatic, який вибрано типово, Parakeet бере 25 мов, які знає, а Nemotron — решту вісім. Для мови, яку знають обидві моделі, можна вибрати й Nemotron, але Parakeet і там лишається кращим вибором.

Parakeet ставить час кожному слову тоді, коли його чує. Nemotron ставить час слову, коли пише його, ближче до кінця слова, тож додаток зсуває кожне слово назад, туди, де його вимовлено. На тестовому фільмі 76% субтитрів Nemotron починаються не далі ніж за пів секунди від власних субтитрів фільму, проти 85% у Parakeet. На тлі музики та звукових ефектів Nemotron часто не ставить розділових знаків, тож його субтитри закінчуються ще й на паузі в 0,8 секунди.

Виміряно на процесорі ноутбука (Intel i7-13700T):

Де зберігаються моделі

Усі три моделі займають близько 1,6 ГБ. Щоб звільнити місце, видаліть теку; кожна модель завантажиться знову, коли знадобиться.

Живі субтитри

Поки ви записуєте, Nemotron дослуховує трохи звуку після кожного слова (типово 560 мс; див. Live caption delay) і пише слова, поки ви говорите. Subtitld показує їх, доки речення не завершиться, а потім речення заповнює свій субтитр. Речення закінчується, якщо 0,8 секунди не прозвучало жодного нового слова.

Першого разу завантажується модель Nemotron розміром 742 МБ, і поступ завантаження видно там, де потім з’являться слова. Живі субтитри частіше, ніж транскрипція файлів, виходять малими літерами й без пунктуації: щоб отримати чистий текст, транскрибуйте запис згодом за допомогою Parakeet. Мітки мовців працюють лише для файлів.

Параметри

У Налаштуваннях › Додатки › Parakeet & Nemotron (offline, 33 languages) › Налаштувати.

Мови

33 мови. Parakeet знає 25: болгарську, хорватську, чеську, данську, нідерландську, англійську, естонську, фінську, французьку, німецьку, грецьку, угорську, італійську, латиську, литовську, мальтійську, польську, португальську, румунську, російську, словацьку, словенську, іспанську, шведську та українську. Nemotron знає 28: усі ці, крім грецької, латиської, литовської, мальтійської та словенської, а також арабську, китайську, гінді, японську, корейську, норвезьку, турецьку та в’єтнамську. Живі субтитри працюють усіма 28 мовами Nemotron.

Якщо залишити мову порожньою, Parakeet сам визначить, якою з його 25 мов говорять. Nemotron отримує мову явно, а для англійської, іспанської, французької та португальської — ще й варіант: en-gb, es-es, fr-ca і pt-br дають британську англійську, іспанську Іспанії, канадську французьку та бразильську португальську. Без регіону він очікує американську англійську, латиноамериканську іспанську, французьку Франції та європейську португальську. Для мови, якої не знає жодна з моделей, з’явиться повідомлення зі списком тих, які вони знають.

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

Платформи

Linux x86-64 (будь-який дистрибутив від 2018 року), macOS на Apple Silicon і Windows x86-64. На x86-64 процесор має підтримувати AVX2: Intel з 2013 року, AMD з 2015 року. ffmpeg постачається разом із Subtitld.

На Mac додаток один раз пробує графічний процесор (Metal) в окремому процесі, а якщо це не вдається, працює на процесорі. Результат перевірки зберігається в теці моделей, у metal-check.json. Щоб вибрати самостійно, встановіть PARAKEET_NEMOTRON_DEVICE у значення cpu або gpu перед запуском Subtitld.

Кожен реліз збирається на всіх трьох системах, і на кожній з них CI встановлює додаток так само, як це робить Subtitld, завантажує моделі й транскрибує файл кожною моделлю, з мітками мовців і в реальному часі.

Усунення несправностей

• unsupported_languageМодель не може транскрибувати мову проєкту; повідомлення перелічує мови, які вона знає. Установіть для Model значення Automatic або виберіть інший рушій. Для грецької, латиської, литовської, мальтійської та словенської живих субтитрів немає: транскрибуйте файл після запису.
• network_unavailableНе вдалося завантажити модель, або завантажений файл не пройшов перевірку й був видалений. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться з того місця, де зупинилося.
• disk_fullНедостатньо місця на диску для моделей або декодованого аудіо. Усі три моделі займають близько 1,6 ГБ.
• oomНедостатньо пам’яті. Закрийте інші програми: довгий фільм потребує близько 1,3 ГБ.
• bad_paramsSubtitld не зміг передати аудіо; повідомлення вказує чому.
• internalУсередині додатка стався збій, часто під час декодування аудіо в ffmpeg або завантаження моделі. Подробиці в повідомленні. Якщо в ньому сказано, що процесор не підтримує AVX2, цей комп’ютер не може запускати додаток.

Ліцензія

Підходить для комерційної роботи. Додаток і NeMo-Speech.cpp від NVIDIA поширюються за Apache-2.0. Parakeet поширюється за CC-BY-4.0: ця ліцензія вимагає зазначати авторство NVIDIA скрізь, де поширюються самі ваги. Обидві моделі Nemotron поширюються за OpenMDW-1.1 — пермісивною ліцензією для моделей, яка ніяк не обмежує те, що ви з ними створюєте. Моделі завантажуються із серверів NVIDIA; додаток їх не постачає. Створені вами субтитри належать вам.