NVIDIA의 음성 모델 두 가지로, 여러분의 컴퓨터에서 영상의 음성을 33개 언어의 타이밍이 있는 자막으로 바꿉니다. 유럽 언어 25개는 Parakeet이, 아랍어, 중국어, 힌디어, 일본어, 한국어, 노르웨이어, 튀르키예어, 베트남어는 Nemotron이 맡습니다. 화자를 최대 8명까지 구분하고, 녹음하는 동안 실시간 자막도 씁니다. 그래픽 카드도 계정도 필요 없고, 아무것도 컴퓨터 밖으로 나가지 않습니다.

기능

33개 언어, 모델 두 가지

Parakeet은 유럽 언어 25개를 문장 부호와 대문자를 넣고 숫자는 아라비아 숫자로 써서 전사합니다. Nemotron은 아랍어, 중국어, 힌디어, 일본어, 한국어, 노르웨이어, 튀르키예어, 베트남어를 더합니다. 애드온이 프로젝트의 언어에 맞는 모델을 고릅니다.

누가 말하는지

Label speakers를 켜면 최대 8명의 목소리를 구분합니다. 자막마다 화자 A, B, C…가 붙고, 화자가 바뀌면 새 자막이 시작됩니다.

녹음하면서 실시간 자막

녹음 모드에서는 말하는 대로 Nemotron이 단어를 씁니다. 28개 언어를 지원하며, 끝난 문장은 자기 자막을 채웁니다.

오프라인, 프로세서에서

각 모델은 처음 필요할 때 한 번 내려받습니다. 노트북에서 12분짜리 영화는 화자 표시까지 포함해 1분 30초쯤 걸립니다. 그래픽 카드는 필요 없고, 아무것도 컴퓨터 밖으로 나가지 않습니다.

사용법

파일을 전사하려면 가져오기 탭을 열고 전사 엔진으로 Parakeet & Nemotron을 고른 뒤, 자막 언어를 설정하고 전사 시작을 누르세요. 나머지 부분을 전사하는 동안에도 자막이 타임라인에 나타납니다. 오디오를 1분씩(Nemotron은 30초씩) 처리하므로 진행 표시줄이 계속 움직이고, 취소도 몇 초 안에 적용됩니다.

실시간 자막을 쓰려면 오디오 탭을 열고 녹음 아래의 전사 엔진으로 이 애드온을 고르세요.

모델

모델은 세 가지이며, 어느 것도 애드온 안에 들어 있지 않습니다. 각 모델은 처음 필요할 때 Hugging Face에 있는 NVIDIA의 자체 페이지에서 Subtitld의 공유 모델 캐시로 내려받습니다. 리비전 하나로 고정되어 있고, 지문과 대조해 확인합니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.

모델	다운로드	적합한 용도
Parakeet TDT 0.6B v3 기본값 parakeet	714 MB	유럽 언어 25개로 된 파일: 실수가 가장 적고 타이밍이 가장 정확함
Nemotron 3.5 ASR Streaming 0.6B nemotron	742 MB	아랍어, 중국어, 힌디어, 일본어, 한국어, 노르웨이어, 튀르키예어, 베트남어로 된 파일과 28개 언어의 실시간 자막
Nemotron-3-Diarization diarization	107 MB	Label speakers를 켰을 때의 화자 표시, 최대 8명

파일을 어느 모델로 전사할지는 애드온의 Model 설정이 정합니다. 기본값인 Automatic에서는 Parakeet이 아는 25개 언어를 Parakeet이, 나머지 8개 언어를 Nemotron이 맡습니다. 두 모델이 모두 아는 언어에 Nemotron을 고를 수도 있지만, 그런 언어에도 Parakeet이 여전히 더 낫습니다.

Parakeet은 단어를 듣는 순간 그 시간을 매깁니다. Nemotron은 단어를 쓸 때, 즉 단어가 끝날 무렵에 시간을 매기므로, 애드온이 각 단어를 실제로 말한 위치로 되돌립니다. 테스트 영화에서 영화 자체의 자막과 0.5초 이내로 시작한 자막은 Nemotron이 76%, Parakeet이 85%였습니다. 음악과 효과음 위에서는 Nemotron이 문장 부호를 쓰지 않을 때가 많아, Nemotron의 자막은 말이 0.8초 동안 끊길 때도 끝납니다.

노트북 프로세서(Intel i7-13700T)에서 측정한 결과:

오디오	시간	메모리
12분짜리 영화, Parakeet, 화자 표시 포함	87 s	1.3 GB
12분짜리 영화, Nemotron	63 s	1.2 GB
화자 표시만, 3분	7 s	0.2 GB

모델이 저장되는 위치

시스템	폴더
Linux	`~/.cache/subtitld/models/parakeet-nemotron`
macOS	`~/Library/Caches/subtitld/models/parakeet-nemotron`
Windows	`%LOCALAPPDATA%\subtitld\subtitld\Cache\models\parakeet-nemotron`

세 모델을 합치면 약 1.6 GB입니다. 공간을 확보하려면 폴더를 삭제하세요. 각 모델은 다음에 필요할 때 다시 내려받습니다.

실시간 자막

녹음하는 동안 Nemotron은 각 단어 뒤의 오디오를 조금 미리 듣고(기본값 560 ms, Live caption delay 참고) 말하는 대로 단어를 씁니다. Subtitld는 문장이 끝날 때까지 이를 보여 주고, 문장이 끝나면 그 문장이 자막을 채웁니다. 새 단어 없이 0.8초가 지나면 문장이 끝난 것으로 봅니다.

처음에는 742 MB의 Nemotron 모델을 내려받으며, 단어가 나타날 자리에 다운로드 진행 상황이 표시됩니다. 실시간 자막은 파일보다 소문자로, 문장 부호 없이 나오는 경우가 많습니다. 깔끔한 텍스트가 필요하면 녹음한 뒤 Parakeet으로 전사하세요. 화자 표시는 파일에서만 됩니다.

옵션

설정 › 애드온 › Parakeet & Nemotron (offline, 33 languages) › 구성에서 설정할 수 있습니다.

Model

기본값: auto

파일용입니다. Automatic은 Parakeet이 아는 25개 언어에는 Parakeet을, 나머지 언어에는 Nemotron을 고릅니다. Parakeet은 실수가 더 적고 숫자를 아라비아 숫자로 씁니다. Nemotron의 단어 시간은 추정값이라 자막이 조금 일찍 또는 늦게 시작할 수 있습니다. 실시간 자막에는 항상 Nemotron을 씁니다.

One cue per sentence

기본값: 켜기

켜면: 길이와 상관없이 문장마다 자막 하나. 끄면: 긴 문장은 최대 두 줄 또는 7초 정도의 자막으로 나뉩니다. 어느 쪽이든 화자가 바뀌면 새 자막이 시작됩니다.

Label speakers

기본값: 끄기

파일용입니다. 화자를 최대 8명까지 구분하고(A, B, C…) 화자가 바뀌면 새 자막을 시작합니다. 107 MB 화자 모델은 처음 한 번 내려받으며, 오디오 3분마다 약 7초가 더 걸립니다.

Live caption delay

기본값: 560

녹음하는 동안 Nemotron이 단어를 쓰기 전에 그 단어 뒤의 오디오를 얼마나 미리 듣는지를 밀리초 단위로 정합니다. 160은 단어가 가장 빨리 보이지만 실수가 가장 많고, 1120(1.1초)은 실수가 가장 적습니다.

언어

33개 언어를 지원합니다. Parakeet은 25개 언어를 압니다: 불가리아어, 크로아티아어, 체코어, 덴마크어, 네덜란드어, 영어, 에스토니아어, 핀란드어, 프랑스어, 독일어, 그리스어, 헝가리어, 이탈리아어, 라트비아어, 리투아니아어, 몰타어, 폴란드어, 포르투갈어, 루마니아어, 러시아어, 슬로바키아어, 슬로베니아어, 스페인어, 스웨덴어, 우크라이나어. Nemotron은 28개 언어를 압니다: 이 가운데 그리스어, 라트비아어, 리투아니아어, 몰타어, 슬로베니아어를 뺀 전부와 아랍어, 중국어, 힌디어, 일본어, 한국어, 노르웨이어, 튀르키예어, 베트남어입니다. 실시간 자막은 Nemotron의 28개 언어를 지원합니다.

언어를 비워 두면 Parakeet이 자기가 아는 25개 언어 중 어느 언어인지 알아냅니다. Nemotron에는 언어를 알려 주며, 영어, 스페인어, 프랑스어, 포르투갈어는 어느 지역의 말인지도 알려 줍니다. en-gb, es-es, fr-ca, pt-br은 각각 영국 영어, 스페인의 스페인어, 캐나다 프랑스어, 브라질 포르투갈어가 됩니다. 지역이 없으면 미국 영어, 중남미 스페인어, 프랑스의 프랑스어, 유럽 포르투갈어로 봅니다. 두 모델 모두 모르는 언어에는 지원하는 언어 목록이 담긴 메시지가 나옵니다.

ar
bg
cs
da
de
el
en
es
et
fi
fr
hi
hr
hu
it
ja
ko
lt
lv
mt
nb
nl
pl
pt
ro
ru
sk
sl
sv
tr
uk
vi
zh

플랫폼

시스템	다운로드	테스트 완료
Linux x86-64	10.0 MB	실제 컴퓨터에서 Subtitld 자체의 설치 프로그램과 애드온 관리자를 거쳐 파일, 화자 표시, 실시간 자막을 확인. 깨끗한 AlmaLinux 8, Ubuntu 20.04~24.04, Debian 12, Fedora 41, Arch 시스템과 CI에서도 확인
macOS (Apple 실리콘)	20.2 MB	CI에서 프로세서로 확인. CI의 가상 Mac에서는 Metal이 충돌하므로 그곳에서는 애드온이 프로세서로 전환합니다. 실제 Mac에서는 아직 실행해 보지 않음
Windows x86-64	14.4 MB	CI에서

Linux x86-64(2018년 이후의 모든 배포판), Apple Silicon의 macOS, Windows x86-64. x86-64에서는 프로세서가 AVX2를 지원해야 합니다. Intel은 2013년 이후, AMD는 2015년 이후 제품입니다. ffmpeg는 Subtitld에 포함되어 있습니다.

Mac에서는 애드온이 별도 프로세스에서 그래픽 프로세서(Metal)를 한 번 시험해 보고, 실패하면 프로세서를 씁니다. 그 결과는 모델 폴더의 metal-check.json에 저장됩니다. 직접 고르려면 Subtitld를 시작하기 전에 PARAKEET_NEMOTRON_DEVICE를 cpu나 gpu로 설정하세요.

각 릴리스는 세 시스템 모두에서 빌드되며, 시스템마다 CI가 Subtitld와 같은 방식으로 애드온을 설치하고 모델을 내려받아, 각 모델로 파일을 전사하고 화자 표시와 실시간 전사까지 해 봅니다.

문제 해결

unsupported_language모델이 프로젝트의 언어를 전사할 수 없습니다. 전사할 수 있는 언어는 메시지에 나옵니다. Model을 Automatic으로 설정하거나 다른 엔진을 고르세요. 그리스어, 라트비아어, 리투아니아어, 몰타어, 슬로베니아어는 실시간 자막이 없으니, 녹음한 뒤 파일을 전사하세요.
network_unavailable모델을 내려받지 못했거나, 내려받은 파일이 확인에 실패해 삭제되었습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 멈춘 곳부터 이어집니다.
disk_full모델이나 디코딩한 오디오를 위한 디스크 공간이 부족합니다. 세 모델을 합치면 약 1.6 GB입니다.
oom메모리가 부족합니다. 다른 프로그램을 닫으세요. 긴 영화에는 약 1.3 GB가 필요합니다.
bad_paramsSubtitld가 오디오를 넘기지 못했습니다. 이유는 메시지에 나옵니다.
internal애드온 내부에서 문제가 생겼습니다. 대개 ffmpeg가 오디오를 디코딩하다가, 또는 모델을 불러오다가 생긴 문제입니다. 자세한 내용은 메시지에 나옵니다. 프로세서에 AVX2가 없다고 나오면 이 컴퓨터에서는 애드온을 실행할 수 없습니다.

라이선스

애드온

Apache-2.0

엔진

Apache-2.0

NeMo-Speech.cpp, NVIDIA 제작, ggml과 llama.cpp(MIT) 포함

모델

CC-BY-4.0, OpenMDW-1.1

NVIDIA 제작: Parakeet은 CC-BY-4.0, 두 Nemotron 모델은 OpenMDW-1.1

상업적 작업에 문제 없습니다. 애드온과 NVIDIA의 NeMo-Speech.cpp는 Apache-2.0입니다. Parakeet은 CC-BY-4.0이며, 가중치 자체를 공유할 때는 NVIDIA를 표기하도록 요구합니다. 두 Nemotron 모델은 OpenMDW-1.1을 따르는데, 이는 모델을 위한 허용적인 라이선스로, 모델로 만든 것에 아무 제한도 두지 않습니다. 모델은 NVIDIA에서 내려받으며, 애드온에 들어 있지 않습니다. 만든 자막은 여러분의 것입니다.

Parakeet & Nemotron 오프라인, 33개 언어

기능

사용법

모델

모델이 저장되는 위치

실시간 자막

옵션

언어

플랫폼

문제 해결

라이선스

버전

다른 음성 인식 애드온