Parakeet & Nemotron offline, 33 idiomas

O que faz

Como usar

Para transcrever um arquivo, abra a aba Importar, escolha Parakeet & Nemotron como Motor de transcrição, defina o Idioma da legenda e clique em Iniciar transcrição. As legendas aparecem na linha do tempo enquanto o resto ainda está sendo transcrito: o áudio vai um minuto por vez (meio minuto com o Nemotron), então a barra de progresso continua andando e Cancelar tem efeito em poucos segundos.

Para legendas ao vivo, abra a aba Áudio e escolha o complemento como Motor de transcrição em Gravação.

Modelos

São três modelos, e nenhum deles vem dentro do complemento. Cada um é baixado para o cache de modelos compartilhado do Subtitld na primeira vez que é necessário, das próprias páginas da NVIDIA no Hugging Face, numa revisão fixa e conferido com a sua impressão digital. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém os modelos.

A configuração Model do complemento decide qual modelo transcreve um arquivo. Em Automatic, o padrão, o Parakeet fica com os 25 idiomas que conhece e o Nemotron com os outros oito. Você também pode escolher o Nemotron para um idioma que os dois conhecem; mesmo assim, o Parakeet continua sendo a melhor escolha nesse caso.

O Parakeet marca o tempo de cada palavra no momento em que a ouve. O Nemotron marca o tempo de uma palavra quando a escreve, perto do fim dela, então o complemento leva cada palavra de volta para onde ela é dita. Num filme de teste, 76% das legendas do Nemotron começam a menos de meio segundo das legendas do próprio filme, contra 85% com o Parakeet. Sobre música e efeitos sonoros, o Nemotron muitas vezes não escreve pontuação, por isso as legendas dele também terminam numa pausa de 0,8 segundo.

Medido no processador de um notebook (Intel i7-13700T):

Onde os modelos ficam

Os três modelos ocupam cerca de 1,6 GB. Apague a pasta para liberar o espaço; cada modelo é baixado de novo quando for necessário.

Legendas ao vivo

Enquanto você grava, o Nemotron ouve um pouco além de cada palavra (560 ms por padrão; veja Live caption delay) e escreve as palavras enquanto você fala. O Subtitld as mostra até a frase terminar, e então a frase preenche a sua legenda. Uma frase termina depois de 0,8 segundo sem nenhuma palavra nova.

Na primeira vez, o modelo Nemotron de 742 MB é baixado, e o progresso do download aparece no lugar onde as palavras vão surgir. As legendas ao vivo saem em minúsculas e sem pontuação com mais frequência que as de arquivos: para um texto limpo, transcreva a gravação depois com o Parakeet. A identificação de locutores é só para arquivos.

Opções

Em Configurações › Complementos › Parakeet & Nemotron (offline, 33 languages) › Configurar.

Idiomas

33 idiomas. O Parakeet conhece 25: alemão, búlgaro, croata, dinamarquês, eslovaco, esloveno, espanhol, estoniano, finlandês, francês, grego, holandês, húngaro, inglês, italiano, letão, lituano, maltês, polonês, português, romeno, russo, sueco, tcheco e ucraniano. O Nemotron conhece 28: todos esses, menos esloveno, grego, letão, lituano e maltês, e também árabe, chinês, coreano, hindi, japonês, norueguês, turco e vietnamita. As legendas ao vivo cobrem os 28 do Nemotron.

Deixe o idioma vazio e o Parakeet descobre qual dos seus 25 está sendo falado. O Nemotron recebe o idioma e, para inglês, espanhol, francês e português, também a variante: en-gb, es-es, fr-ca e pt-br dão inglês britânico, espanhol da Espanha, francês canadense e português brasileiro. Sem região, ele espera inglês americano, espanhol dos Estados Unidos, francês da França e português europeu. Um idioma que nenhum dos dois modelos conhece recebe uma mensagem com a lista dos que eles conhecem.

• ar
• bg
• cs
• da
• de
• el
• en
• es
• et
• fi
• fr
• hi
• hr
• hu
• it
• ja
• ko
• lt
• lv
• mt
• nb
• nl
• pl
• pt
• ro
• ru
• sk
• sl
• sv
• tr
• uk
• vi
• zh

Plataformas

Linux x86-64 (qualquer distribuição de 2018 em diante), macOS em Apple Silicon e Windows x86-64. Em x86-64, o processador precisa de AVX2: Intel de 2013 e AMD de 2015 em diante. O ffmpeg vem com o Subtitld.

No Mac, o complemento tenta usar o processador gráfico (Metal) uma vez, num processo separado, e usa o processador se isso falhar. O resultado fica guardado na pasta dos modelos, em metal-check.json. Para escolher você mesmo, defina PARAKEET_NEMOTRON_DEVICE como cpu ou gpu antes de iniciar o Subtitld.

Cada versão é compilada nos três sistemas, e em cada um a CI instala o complemento como o Subtitld faz, baixa os modelos e transcreve um arquivo com cada modelo, com identificação de locutores, e ao vivo.

Solução de problemas

• unsupported_languageO modelo não consegue transcrever o idioma do projeto; a mensagem lista os que ele consegue. Coloque Model em Automatic, ou escolha outro motor. Esloveno, grego, letão, lituano e maltês não têm legendas ao vivo: transcreva o arquivo depois.
• network_unavailableNão foi possível baixar um modelo, ou um arquivo baixado não passou na conferência e foi descartado. Verifique sua conexão e tente de novo: o download continua de onde parou.
• disk_fullNão há espaço em disco suficiente para os modelos ou para o áudio decodificado. Os três modelos ocupam cerca de 1,6 GB.
• oomMemória insuficiente. Feche outros programas: um filme longo precisa de cerca de 1,3 GB.
• bad_paramsO Subtitld não conseguiu entregar o áudio; a mensagem informa o motivo.
• internalAlgo falhou dentro do complemento, muitas vezes o ffmpeg ao decodificar o áudio ou um modelo que não carregou. A mensagem traz os detalhes. Se ela disser que o processador não tem AVX2, este computador não consegue rodar o complemento.

Licença

Adequado para trabalho comercial. O complemento e o NeMo-Speech.cpp da NVIDIA são Apache-2.0. O Parakeet é CC-BY-4.0, que pede crédito à NVIDIA onde quer que os próprios pesos sejam compartilhados. Os dois modelos Nemotron estão sob a OpenMDW-1.1, uma licença permissiva para modelos que não impõe limites ao que você faz com eles. Os modelos são baixados da NVIDIA; o complemento não os distribui. As legendas que você faz são suas.