Превращает речь в вашем видео в субтитры с таймингом на вашем компьютере, на 33 языках, с помощью двух моделей распознавания речи от NVIDIA: Parakeet для 25 европейских языков, Nemotron для арабского, китайского, хинди, японского, корейского, норвежского, турецкого и вьетнамского. Различает до 8 говорящих и пишет живые субтитры, пока вы записываете. Не требует ни видеокарты, ни учётной записи, и ничто не покидает ваш компьютер.

Что он делает

33 языка, две модели

Parakeet расшифровывает 25 европейских языков, с пунктуацией, заглавными буквами и числами, записанными цифрами. Nemotron добавляет арабский, китайский, хинди, японский, корейский, норвежский, турецкий и вьетнамский. Дополнение само выбирает модель по языку вашего проекта.

Кто говорит

Включите Label speakers, и дополнение различит до 8 голосов: каждый субтитр получает своего говорящего, A, B, C…, а при смене говорящего начинается новый субтитр.

Живые субтитры во время записи

В режиме записи Nemotron пишет ваши слова по мере речи, на 28 языках, и каждое законченное предложение заполняет свой субтитр.

Офлайн, на процессоре

Каждая модель загружается один раз, когда она впервые понадобится. 12-минутный фильм на ноутбуке расшифровывается примерно за полторы минуты, вместе с метками говорящих. Видеокарта не нужна, и ничто не покидает ваш компьютер.

Как пользоваться

Чтобы расшифровать файл, откройте вкладку Импорт, выберите Parakeet & Nemotron в поле Движок транскрипции, укажите язык в поле Язык субтитров и нажмите кнопку Начать транскрипцию. Субтитры появляются на таймлайне, пока остальное ещё расшифровывается: звук обрабатывается по минуте за раз (с Nemotron — по полминуты), поэтому полоса прогресса не стоит на месте, а Отмена срабатывает за считаные секунды.

Для живых субтитров откройте вкладку Звук и в разделе Запись выберите это дополнение в поле Движок транскрипции.

Модели

Моделей три, и ни одной из них нет внутри дополнения. Каждая загружается в общий кэш моделей Subtitld, когда впервые понадобится, со страниц самой NVIDIA на Hugging Face, с закреплённой ревизией и с проверкой по отпечатку. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения модели сохраняет.

Модель	Загрузка	Подходит для
Parakeet TDT 0.6B v3 По умолчанию parakeet	714 MB	Файлы на 25 европейских языках: меньше всего ошибок и самый точный тайминг
Nemotron 3.5 ASR Streaming 0.6B nemotron	742 MB	Файлы на арабском, китайском, хинди, японском, корейском, норвежском, турецком и вьетнамском, а также живые субтитры на 28 языках
Nemotron-3-Diarization diarization	107 MB	Метки говорящих, до 8 человек, когда включено Label speakers

Какая модель расшифровывает файл, решает настройка дополнения Model. В режиме Automatic, который выбран по умолчанию, Parakeet берёт 25 языков, которые знает, а Nemotron — остальные восемь. Для языка, который знают обе модели, можно выбрать и Nemotron, но Parakeet и там остаётся лучшим выбором.

Parakeet ставит время каждому слову в тот момент, когда его слышит. Nemotron ставит время слову, когда пишет его, ближе к концу слова, поэтому дополнение сдвигает каждое слово назад, туда, где оно произнесено. На тестовом фильме 76% субтитров Nemotron начинаются не дальше чем в полсекунды от собственных субтитров фильма, против 85% у Parakeet. На фоне музыки и звуковых эффектов Nemotron часто не ставит знаков препинания, поэтому его субтитры заканчиваются ещё и на паузе в 0,8 секунды.

Измерено на процессоре ноутбука (Intel i7-13700T):

Звук	Время	Память
12-минутный фильм, Parakeet, с метками говорящих	87 с	1,3 ГБ
12-минутный фильм, Nemotron	63 с	1,2 ГБ
Только метки говорящих, 3 минуты	7 с	0,2 ГБ

Где хранятся модели

Система	Папка
Linux	`~/.cache/subtitld/models/parakeet-nemotron`
macOS	`~/Library/Caches/subtitld/models/parakeet-nemotron`
Windows	`%LOCALAPPDATA%\subtitld\subtitld\Cache\models\parakeet-nemotron`

Все три модели занимают около 1,6 ГБ. Чтобы освободить место, удалите папку; каждая модель загрузится снова, когда понадобится.

Живые субтитры

Пока вы записываете, Nemotron дослушивает немного звука после каждого слова (по умолчанию 560 мс; см. Live caption delay) и пишет слова по мере речи. Subtitld показывает их, пока предложение не закончится, а затем предложение заполняет свой субтитр. Предложение заканчивается, если 0,8 секунды не прозвучало ни одного нового слова.

В первый раз загружается модель Nemotron размером 742 МБ, и ход загрузки показывается там, где потом появятся слова. Живые субтитры чаще, чем расшифровка файлов, выходят строчными буквами и без пунктуации: чтобы получить чистый текст, расшифруйте запись потом с Parakeet. Метки говорящих работают только для файлов.

Настройки

В разделе «Настройки › Дополнения › Parakeet & Nemotron (offline, 33 languages)» нажмите «Настроить».

Model

По умолчанию: auto

Для файлов. Automatic выбирает Parakeet для 25 языков, которые он знает, и Nemotron для остальных. Parakeet ошибается реже и пишет числа цифрами; у Nemotron время слов оценочное, поэтому его субтитры могут начинаться чуть раньше или чуть позже. Живые субтитры всегда пишет Nemotron.

One cue per sentence

По умолчанию: вкл.

Вкл.: один субтитр на предложение любой длины. Выкл.: длинное предложение делится на субтитры не длиннее примерно двух строк или 7 секунд. В обоих случаях новый говорящий начинает новый субтитр.

Label speakers

По умолчанию: выкл.

Для файлов. Различает до 8 говорящих (A, B, C…) и начинает новый субтитр, когда говорящий меняется. Модель говорящих размером 107 МБ загружается в первый раз; она добавляет около 7 секунд на 3 минуты звука.

Live caption delay

По умолчанию: 560

Сколько звука после слова Nemotron слышит, прежде чем его написать, пока вы записываете; в миллисекундах. 160 показывает слова быстрее всего, но ошибается чаще всего; 1120 (1,1 с) ошибается реже всего.

Языки

33 языка. Parakeet знает 25: болгарский, хорватский, чешский, датский, нидерландский, английский, эстонский, финский, французский, немецкий, греческий, венгерский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, русский, словацкий, словенский, испанский, шведский и украинский. Nemotron знает 28: все эти, кроме греческого, латышского, литовского, мальтийского и словенского, а также арабский, китайский, хинди, японский, корейский, норвежский, турецкий и вьетнамский. Живые субтитры работают на всех 28 языках Nemotron.

Если оставить язык пустым, Parakeet сам определит, на каком из своих 25 языков идёт речь. Nemotron получает язык явно, а для английского, испанского, французского и португальского — ещё и вариант: en-gb, es-es, fr-ca и pt-br дают британский английский, испанский Испании, канадский французский и бразильский португальский. Без региона он ожидает американский английский, латиноамериканский испанский, французский Франции и европейский португальский. Для языка, которого не знает ни одна из моделей, появится сообщение со списком тех, что они знают.

ar
bg
cs
da
de
el
en
es
et
fi
fr
hi
hr
hu
it
ja
ko
lt
lv
mt
nb
nl
pl
pt
ro
ru
sk
sl
sv
tr
uk
vi
zh

Платформы

Система	Загрузка	Проверено
Linux x86-64	10.0 MB	Файлы, метки говорящих и живые субтитры через собственный установщик и менеджер дополнений Subtitld на реальной машине; в чистых AlmaLinux 8, Ubuntu с 20.04 по 24.04, Debian 12, Fedora 41 и Arch; и в CI
macOS (Apple silicon)	20.2 MB	В CI, на процессоре: на виртуальных Mac в CI Metal падает, поэтому там дополнение переключается на процессор. На реальном Mac ещё не запускалось
Windows x86-64	14.4 MB	В CI

Linux x86-64 (любой дистрибутив начиная с 2018 года), macOS на Apple Silicon и Windows x86-64. На x86-64 процессору нужна поддержка AVX2: у Intel она есть с 2013 года, у AMD — с 2015 года. ffmpeg входит в Subtitld.

На Mac дополнение один раз пробует графический процессор (Metal) в отдельном процессе, а если это не удаётся, работает на процессоре. Результат проверки сохраняется в папке моделей, в metal-check.json. Чтобы выбрать самостоятельно, задайте PARAKEET_NEMOTRON_DEVICE значение cpu или gpu до запуска Subtitld.

Каждый выпуск собирается на всех трёх системах, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модели и расшифровывает файл каждой моделью, с метками говорящих и в реальном времени.

Устранение неполадок

unsupported_languageМодель не может расшифровать язык проекта; в сообщении перечислены языки, которые она знает. Выберите для Model значение Automatic или выберите другой движок. Для греческого, латышского, литовского, мальтийского и словенского живых субтитров нет: расшифруйте файл после записи.
network_unavailableНе удалось загрузить модель, или загруженный файл не прошёл проверку и был удалён. Проверьте подключение и попробуйте снова: загрузка продолжится с того места, где остановилась.
disk_fullНедостаточно места на диске для моделей или декодированного звука. Все три модели занимают около 1,6 ГБ.
oomНе хватает памяти. Закройте другие программы: длинному фильму нужно около 1,3 ГБ.
bad_paramsSubtitld не смог передать аудио; в сообщении сказано почему.
internalВнутри дополнения произошёл сбой, часто при декодировании аудио в ffmpeg или при загрузке модели. Подробности в сообщении. Если в нём сказано, что процессор не поддерживает AVX2, этот компьютер не может запускать дополнение.

Лицензия

Дополнение

Apache-2.0

Движок

Apache-2.0

NeMo-Speech.cpp от NVIDIA, с ggml и llama.cpp (MIT)

Модели

CC-BY-4.0, OpenMDW-1.1

От NVIDIA: Parakeet под CC-BY-4.0, обе модели Nemotron под OpenMDW-1.1

Подходит для коммерческой работы. Дополнение и NeMo-Speech.cpp от NVIDIA распространяются под Apache-2.0. Parakeet распространяется под CC-BY-4.0: эта лицензия требует указывать авторство NVIDIA везде, где распространяются сами веса. Обе модели Nemotron распространяются под OpenMDW-1.1 — пермиссивной лицензией для моделей, которая никак не ограничивает то, что вы с ними создаёте. Модели загружаются с серверов NVIDIA; дополнение их не поставляет. Созданные вами субтитры принадлежат вам.

Parakeet & Nemotron офлайн, 33 языка

Что он делает

Как пользоваться

Модели

Где хранятся модели

Живые субтитры

Настройки

Языки

Платформы

Устранение неполадок

Лицензия

Версии

Другие дополнения группы «Распознавание речи»