Reverb offline, clonagem de voz, 7 idiomas, não comercial
Dubla suas legendas em inglês, alemão, francês, espanhol, italiano, polonês e português com o Reverb-TTS, da Software Mansion AI Labs, numa de 16 vozes ou na própria voz de cada pessoa que fala, clonada de alguns segundos do vídeo e das suas legendas. Roda no processador do seu próprio computador, sem placa de vídeo. O modelo é só para uso não comercial.
Configurações Complementos Reverb (offline, voice clone, 7 languages, non-commercial) Instalar
O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.
- Idiomas
- 7
- Modelos
- 3
- Vozes
- 17
- Download do complemento
- 40–65 MB
- RAM, no mínimo
- 2.5 GB
O que faz
Inglês, alemão, francês, espanhol, italiano, polonês e português. Números, datas, preços e unidades são lidos por extenso, do jeito de cada idioma.
O Subtitld recorta do vídeo alguns segundos de cada pessoa que fala e os envia com as legendas ditas neles. O Reverb clona essa voz em qualquer um dos seus sete idiomas. Ou escolha uma de 16 vozes.
Exact roda o modelo como ele foi publicado. Fast é cerca de duas vezes mais rápido e um download menor, com uma pequena perda de precisão.
O modelo é baixado uma vez, na primeira vez que uma fala precisa dele. Depois disso, nada sai do seu computador.
Modelo não comercial. Os pesos do Reverb-TTS e as suas vozes predefinidas estão sob CC-BY-NC-4.0, que não permite uso comercial. O código do complemento é Apache-2.0, mas isso não muda os termos dos pesos. Para trabalho comercial, o ZONOS3-Mini também clona vozes nesses sete idiomas, e os pesos dele são Apache-2.0.
Antes de instalar
- Disco: 640 MB para o modelo, baixado na primeira fala; 378 MB em vez disso se você escolher Fast antes da primeira fala. Na primeira vez que você usa a própria voz de quem fala, mais 327 MB.
- Memória: cerca de 1,5 GB enquanto fala.
- Tempo: num Intel Core i7-13700T ocupado com outras tarefas, um segundo de fala levou cerca de 0,8 segundo para ser gerado na velocidade Exact e cerca de 0,6 segundo na Fast.
- Processador: um processador Intel ou AMD de 64 bits, ou Apple Silicon. Nenhuma placa de vídeo é usada.
Vozes
Na aba Locutores, escolha o Reverb como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.
17 vozes.
| Gravada em | Mulheres | Homens |
|---|---|---|
| Inglês | Narradora, sussurrando | Narrador 1, narrador 2, irritado |
| Francês | Mulher francesa | Homem francês |
| Alemão | Mulher alemã | Homem alemão |
| Italiano | Homem italiano, homem italiano expressivo | |
| Polonês | Homem polonês | |
| Português | Mulher portuguesa | Homem português |
| Espanhol | Homem espanhol 1, homem espanhol 2 |
Estas são as vozes predefinidas do próprio Reverb. Toda voz fala todos os idiomas, mas com o sotaque do idioma em que foi gravada. Para um idioma sem voz própria aqui, ou sem voz feminina, use a própria voz de quem fala.
Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas ou de várias curtas juntas, e envia o que é dito nela: o texto dessas legendas. O Reverb precisa dos dois. Ele continua a partir da amostra e das suas palavras, e sem as palavras perderia as primeiras palavras de cada fala.
Por isso as legendas precisam estar no idioma falado no vídeo. Se você as traduziu, o Subtitld envia o texto original, desde que saiba em que idioma está o áudio: defina-o em Idioma da legenda no painel Transcrição. Caso contrário, a fala para com uma mensagem que explica isso. Legendas que parafraseiam o que é dito, em vez de transcrever, pioram o clone.
A melhor amostra tem de 3 a 10 segundos de uma pessoa falando, limpa e perto do microfone. Uma amostra com menos de 2 segundos é recusada, e uma com mais de 15 segundos tende a dar falas piores. O Fallback reference clip nas configurações do complemento, com o seu Fallback clip's transcript, só é usado quando nenhuma amostra pode ser recortada.
Cada fala é gerada com a semente que o Subtitld envia, então a mesma fala na mesma voz sai igual todas as vezes.
Modelos
O modelo não vem dentro do complemento: ele é baixado para o cache de modelos compartilhado do Subtitld na primeira vez que uma fala precisa dele, da própria versão do complemento no GitHub, onde os pesos do Reverb ficam convertidos para o ONNX Runtime, com cada arquivo conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento o mantém.
| Modelo | Download | Ideal para |
|---|---|---|
| Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Padrão reverb | Todas as falas na velocidade Exact, o padrão: a rede, o decodificador e as 16 vozes | |
| Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast | Todas as falas na velocidade Fast, no lugar da rede Exact: 378 MB no total com o decodificador | |
| Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder | A própria voz de quem fala, na primeira vez que você dubla uma |
Exact e Fast compartilham o decodificador e as vozes (111 MB): só a rede muda, 529 MB para Exact e 266 MB para Fast. Trocar de um para o outro depois baixa a outra rede na primeira vez que uma fala precisa dela.
O complemento roda o Reverb no ONNX Runtime, sem PyTorch. O amostrador e a preparação do texto do Reverb foram portados do próprio código da Software Mansion. Os números aleatórios vêm de outra fonte, então uma semente dá aqui um resultado diferente do pacote do próprio Reverb; a rede Exact é conferida para prever o mesmo que esse pacote prevê.
Opções
Em Configurações › Complementos › Reverb (offline, voice clone, 7 languages, non-commercial) › Configurar.
00 usa os processadores lógicos do computador, no máximo 8. Mais raramente é mais rápido; menos deixam o computador mais ágil enquanto dubla.
8Quantas passadas o modelo faz sobre cada fala. 8 é o valor do próprio Reverb; menos é mais rápido, com mais deslizes.
exactExact roda o modelo como a Software Mansion o publicou. Fast o roda em inteiros de 8 bits, cerca de duas vezes mais rápido, com um download próprio de 266 MB: suas falas costumam soar iguais, mas ele se afasta mais do modelo publicado e desliza com mais frequência.
Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 3 a 10 segundos de uma pessoa falando, limpo.
Exatamente o que é dito no trecho de reserva, palavra por palavra. O Reverb clona a partir do trecho e das suas palavras, então o trecho de reserva é recusado sem isso.
Idiomas
Inglês, alemão, francês, espanhol, italiano, polonês e português. Um projeto em qualquer outro idioma recebe uma mensagem que explica isso: escolha outro motor de dublagem para ele.
endefresitplpt
Plataformas
| Sistema | Download | Testado |
|---|---|---|
| Linux x86-64 | 64.9 MB | Falou os sete idiomas e clonou uma voz com o modelo real na CI |
| macOS (Apple silicon) | 45.6 MB | Falou os sete idiomas e clonou uma voz com o modelo real na CI (Apple Silicon) |
| Windows x86-64 | 40.5 MB | Falou os sete idiomas e clonou uma voz com o modelo real na CI |
Linux x86-64 (glibc 2.35 ou mais recente, como no Ubuntu 22.04, Debian 12 ou Fedora 36), macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento como o Subtitld faz, baixa o modelo, fala uma frase em cada idioma e clona uma voz.
Solução de problemas
network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.disk_fullNão há espaço em disco suficiente para o modelo: 640 MB (378 MB em Fast), e mais 327 MB para a própria voz de quem fala.unsupported_languageO idioma do projeto não é um dos sete, ou não foi definido. Defina-o no projeto, ou escolha outro motor de dublagem.unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra ou a transcrição dela. Num projeto traduzido, defina Idioma da legenda como o idioma falado; sem nenhum vídeo aberto, defina um Fallback reference clip e a sua transcrição. A mensagem diz qual dos casos.out_of_memoryO computador ficou sem memória. Feche outros programas: o Reverb precisa de cerca de 1,5 GB livres.internalAlgo falhou dentro do complemento; a mensagem traz os detalhes.
Licença
O complemento é Apache-2.0, assim como o código do Reverb que ele porta. Os pesos do Reverb-TTS e as suas 16 vozes predefinidas são CC-BY-NC-4.0: só uso não comercial. Um arquivo de licença que acompanha o modelo diz o que foi alterado na conversão. O ONNX Runtime é MIT, e o Verbalis, que lê números e datas, é MIT.
Use com responsabilidade. Uma voz clonada soa como uma pessoa real. Clone só vozes que você tem o direito de usar, com o consentimento de quem fala; não se passe por pessoas reais, e não use a fala que você gera para enganar, fraudar ou assediar. Avise quem ouve quando estiver ouvindo uma voz sintética.
Versões
- 26.11.1
Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.
The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's
models-1release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isreverb-<version>-libquadmath-source.tar.gzin this release.
Outros complementos de Vozes
-
Piper Offline
158 vozes offline em 49 idiomas, cada uma um pequeno download separado.
-
Kokoro Offline
54 vozes offline em nove idiomas, todas de um único modelo de 82 MB.
-
Supertonic Offline
Dez vozes offline, cada uma capaz de falar todos os 31 idiomas.
-
sanoTTS Offline
Vozes offline minúsculas, 28 em 14 idiomas, cada uma com menos de 10 MB.
-
Parler-TTS Offline
Vozes em inglês que seguem uma descrição escrita; 34 locutores nomeados.
-
Qwen3-TTS Clonagem
Dez idiomas, nove vozes e clonagem a partir de 3 segundos de um locutor.
-
Coqui XTTS Clonagem
Clonagem de voz em 16 idiomas, com licença de modelo não comercial.
-
F5-TTS Clonagem
Somente clonagem de voz, em inglês e chinês; modelo não comercial.
-
VoxCPM2 Clonagem
30 idiomas a 48 kHz, na própria voz de quem fala ou numa voz descrita. Pesado.
-
Pocket TTS Offline
Rápido e leve, só CPU. 23 vozes em sete idiomas europeus.
-
Sopro Clonagem
A própria voz de quem fala, rápido na CPU. Quatro idiomas.
-
KittenTTS 2 Clonagem
A própria voz de quem fala em 16 idiomas, na CPU. Pesos sob uma licença restritiva.
-
Ming-3.0-tts Clonagem
7 idiomas a 44,1 kHz: vozes clonadas, integradas ou descritas, com emoção. Pesado.
-
Scylla's Band Offline
Catorze vozes em seis idiomas, leve e rápido na CPU. Só vozes prontas.
-
Audio8 TTS Clonagem
A própria voz de quem fala em 23 idiomas, cantonês e árabe incluídos. Lento numa CPU.
-
Inflect Offline
Fala natural em inglês de um modelo minúsculo, rápido em qualquer CPU.
-
Paradee Offline
Quatro vozes naturais em inglês, americanas e britânicas, de um único modelo de 8,5 MB.
-
BlueTTS Clonagem
Hebraico e iídiche, e mais cinco idiomas. A própria voz de quem fala, rápido na CPU.
-
ZONOS3-Mini Clonagem
43 idiomas, do árabe ao vietnamita. A própria voz de quem fala, na CPU.
-
Chatterbox Clonagem
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…