Reverb offline, clonagem de voz, 7 idiomas, não comercial

VozesOfflineSó CPUClonagem de vozNão comercial

Dubla suas legendas em inglês, alemão, francês, espanhol, italiano, polonês e português com o Reverb-TTS, da Software Mansion AI Labs, numa de 16 vozes ou na própria voz de cada pessoa que fala, clonada de alguns segundos do vídeo e das suas legendas. Roda no processador do seu próprio computador, sem placa de vídeo. O modelo é só para uso não comercial.

Instale pelo Subtitld

Configurações Complementos Reverb (offline, voice clone, 7 languages, non-commercial) Instalar

O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.

Código-fonte no GitHub
Idiomas
7
Modelos
3
Vozes
17
Download do complemento
40–65 MB
RAM, no mínimo
2.5 GB

O que faz

Sete idiomas

Inglês, alemão, francês, espanhol, italiano, polonês e português. Números, datas, preços e unidades são lidos por extenso, do jeito de cada idioma.

A própria voz de quem fala

O Subtitld recorta do vídeo alguns segundos de cada pessoa que fala e os envia com as legendas ditas neles. O Reverb clona essa voz em qualquer um dos seus sete idiomas. Ou escolha uma de 16 vozes.

Exact ou Fast

Exact roda o modelo como ele foi publicado. Fast é cerca de duas vezes mais rápido e um download menor, com uma pequena perda de precisão.

Offline depois da primeira fala

O modelo é baixado uma vez, na primeira vez que uma fala precisa dele. Depois disso, nada sai do seu computador.

Modelo não comercial. Os pesos do Reverb-TTS e as suas vozes predefinidas estão sob CC-BY-NC-4.0, que não permite uso comercial. O código do complemento é Apache-2.0, mas isso não muda os termos dos pesos. Para trabalho comercial, o ZONOS3-Mini também clona vozes nesses sete idiomas, e os pesos dele são Apache-2.0.

Antes de instalar

  • Disco: 640 MB para o modelo, baixado na primeira fala; 378 MB em vez disso se você escolher Fast antes da primeira fala. Na primeira vez que você usa a própria voz de quem fala, mais 327 MB.
  • Memória: cerca de 1,5 GB enquanto fala.
  • Tempo: num Intel Core i7-13700T ocupado com outras tarefas, um segundo de fala levou cerca de 0,8 segundo para ser gerado na velocidade Exact e cerca de 0,6 segundo na Fast.
  • Processador: um processador Intel ou AMD de 64 bits, ou Apple Silicon. Nenhuma placa de vídeo é usada.

Vozes

Na aba Locutores, escolha o Reverb como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.

17 vozes.

Gravada em Mulheres Homens
Inglês Narradora, sussurrando Narrador 1, narrador 2, irritado
Francês Mulher francesa Homem francês
Alemão Mulher alemã Homem alemão
Italiano Homem italiano, homem italiano expressivo
Polonês Homem polonês
Português Mulher portuguesa Homem português
Espanhol Homem espanhol 1, homem espanhol 2

Estas são as vozes predefinidas do próprio Reverb. Toda voz fala todos os idiomas, mas com o sotaque do idioma em que foi gravada. Para um idioma sem voz própria aqui, ou sem voz feminina, use a própria voz de quem fala.

Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas ou de várias curtas juntas, e envia o que é dito nela: o texto dessas legendas. O Reverb precisa dos dois. Ele continua a partir da amostra e das suas palavras, e sem as palavras perderia as primeiras palavras de cada fala.

Por isso as legendas precisam estar no idioma falado no vídeo. Se você as traduziu, o Subtitld envia o texto original, desde que saiba em que idioma está o áudio: defina-o em Idioma da legenda no painel Transcrição. Caso contrário, a fala para com uma mensagem que explica isso. Legendas que parafraseiam o que é dito, em vez de transcrever, pioram o clone.

A melhor amostra tem de 3 a 10 segundos de uma pessoa falando, limpa e perto do microfone. Uma amostra com menos de 2 segundos é recusada, e uma com mais de 15 segundos tende a dar falas piores. O Fallback reference clip nas configurações do complemento, com o seu Fallback clip's transcript, só é usado quando nenhuma amostra pode ser recortada.

Cada fala é gerada com a semente que o Subtitld envia, então a mesma fala na mesma voz sai igual todas as vezes.

Modelos

O modelo não vem dentro do complemento: ele é baixado para o cache de modelos compartilhado do Subtitld na primeira vez que uma fala precisa dele, da própria versão do complemento no GitHub, onde os pesos do Reverb ficam convertidos para o ONNX Runtime, com cada arquivo conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento o mantém.

Modelo DownloadIdeal para
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Padrão reverb
640 MB
Todas as falas na velocidade Exact, o padrão: a rede, o decodificador e as 16 vozes
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Todas as falas na velocidade Fast, no lugar da rede Exact: 378 MB no total com o decodificador
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
A própria voz de quem fala, na primeira vez que você dubla uma

Exact e Fast compartilham o decodificador e as vozes (111 MB): só a rede muda, 529 MB para Exact e 266 MB para Fast. Trocar de um para o outro depois baixa a outra rede na primeira vez que uma fala precisa dela.

O complemento roda o Reverb no ONNX Runtime, sem PyTorch. O amostrador e a preparação do texto do Reverb foram portados do próprio código da Software Mansion. Os números aleatórios vêm de outra fonte, então uma semente dá aqui um resultado diferente do pacote do próprio Reverb; a rede Exact é conferida para prever o mesmo que esse pacote prevê.

Opções

Em Configurações › Complementos › Reverb (offline, voice clone, 7 languages, non-commercial) › Configurar.

CPU threads
Padrão: 0

0 usa os processadores lógicos do computador, no máximo 8. Mais raramente é mais rápido; menos deixam o computador mais ágil enquanto dubla.

Quality steps
Padrão: 8

Quantas passadas o modelo faz sobre cada fala. 8 é o valor do próprio Reverb; menos é mais rápido, com mais deslizes.

Speed
Padrão: exact

Exact roda o modelo como a Software Mansion o publicou. Fast o roda em inteiros de 8 bits, cerca de duas vezes mais rápido, com um download próprio de 266 MB: suas falas costumam soar iguais, mas ele se afasta mais do modelo publicado e desliza com mais frequência.

Fallback reference clip
Padrão: vazio

Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 3 a 10 segundos de uma pessoa falando, limpo.

Fallback clip's transcript
Padrão: vazio

Exatamente o que é dito no trecho de reserva, palavra por palavra. O Reverb clona a partir do trecho e das suas palavras, então o trecho de reserva é recusado sem isso.

Idiomas

Inglês, alemão, francês, espanhol, italiano, polonês e português. Um projeto em qualquer outro idioma recebe uma mensagem que explica isso: escolha outro motor de dublagem para ele.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Plataformas

Sistema DownloadTestado
Linux x86-64 64.9 MBFalou os sete idiomas e clonou uma voz com o modelo real na CI
macOS (Apple silicon) 45.6 MBFalou os sete idiomas e clonou uma voz com o modelo real na CI (Apple Silicon)
Windows x86-64 40.5 MBFalou os sete idiomas e clonou uma voz com o modelo real na CI

Linux x86-64 (glibc 2.35 ou mais recente, como no Ubuntu 22.04, Debian 12 ou Fedora 36), macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento como o Subtitld faz, baixa o modelo, fala uma frase em cada idioma e clona uma voz.

Solução de problemas

  • network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.
  • disk_fullNão há espaço em disco suficiente para o modelo: 640 MB (378 MB em Fast), e mais 327 MB para a própria voz de quem fala.
  • unsupported_languageO idioma do projeto não é um dos sete, ou não foi definido. Defina-o no projeto, ou escolha outro motor de dublagem.
  • unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.
  • bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra ou a transcrição dela. Num projeto traduzido, defina Idioma da legenda como o idioma falado; sem nenhum vídeo aberto, defina um Fallback reference clip e a sua transcrição. A mensagem diz qual dos casos.
  • out_of_memoryO computador ficou sem memória. Feche outros programas: o Reverb precisa de cerca de 1,5 GB livres.
  • internalAlgo falhou dentro do complemento; a mensagem traz os detalhes.

Licença

Complemento
Apache-2.0
com o código do próprio Reverb, portado para numpy
Motor
MIT
ONNX Runtime
Modelo
CC-BY-NC-4.0
Pesos do Reverb-TTS v1.0.0, da Software Mansion AI Labs; só uso não comercial
Vozes
CC-BY-NC-4.0
As 16 vozes predefinidas do Reverb; só uso não comercial
Leitura do texto
MIT, Unicode-3.0
Verbalis, da Software Mansion, com uma tabela do Unicode Character Database

O complemento é Apache-2.0, assim como o código do Reverb que ele porta. Os pesos do Reverb-TTS e as suas 16 vozes predefinidas são CC-BY-NC-4.0: só uso não comercial. Um arquivo de licença que acompanha o modelo diz o que foi alterado na conversão. O ONNX Runtime é MIT, e o Verbalis, que lê números e datas, é MIT.

Use com responsabilidade. Uma voz clonada soa como uma pessoa real. Clone só vozes que você tem o direito de usar, com o consentimento de quem fala; não se passe por pessoas reais, e não use a fala que você gera para enganar, fraudar ou assediar. Avise quem ouve quando estiver ouvindo uma voz sintética.

Versões

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Outros complementos de Vozes