VoxMel offline, clonagem de voz, 2 idiomas
Dubla suas legendas em inglês e mandarim com o VoxMel da VoxDance Lab, na própria voz de cada pessoa que fala, clonada fielmente do vídeo e das suas legendas, ou numa de oito vozes prontas. Roda no seu próprio computador, e o complemento, o modelo e as vozes são todos Apache-2.0.
Configurações Complementos VoxMel (offline, voice clone, 2 languages) Instalar
O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.
- Idiomas
- 2
- Modelos
- 1
- Vozes
- 9
- Download do complemento
- 15–19 MB
- RAM, no mínimo
- 2 GB
Ouça
O que faz
O Subtitld recorta do vídeo alguns segundos de cada pessoa que fala e os envia com as legendas ditas neles. O VoxMel clona essa voz com fidelidade, em inglês ou mandarim.
Duas mulheres e dois homens para cada idioma, para as pessoas que você não quer clonar. O próprio VoxMel as criou: a voz de nenhuma pessoa foi gravada para elas.
Uma fala clonada leva de dois a quatro segundos por segundo de fala num processador de notebook recente.
O complemento, o motor audio.cpp, os pesos do VoxMel e as vozes prontas são todos Apache-2.0.
Antes de instalar
- Disco: cerca de 1,2 GB, a maior parte o modelo de 1,04 GB, baixado na primeira fala que você dublar.
- Memória: cerca de 2 GB livres.
- Tempo: num Intel Core i7-13700T, uma fala na própria voz de quem fala levou de dois a quatro segundos por segundo de fala. Num Mac com Apple Silicon, roda na GPU.
- Idiomas: só inglês e mandarim. Para outros idiomas, o VoxCPM2 clona vozes em 30 e o OmniVoice em 646.
Vozes
Na aba Locutores, escolha o VoxMel como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda: o próprio VoxMel não tem controle de ritmo.
9 vozes em 2 idiomas.
en4zh4
A voz clonada
Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas de 3 a 12 segundos, ou de várias curtas juntas, e envia o texto da legenda com ela. O VoxMel precisa tanto da amostra quanto das suas palavras. O Fallback reference clip nas configurações do complemento, com a sua transcrição, só é usado quando nenhuma amostra pode ser recortada.
O VoxMel clona melhor dentro do mesmo idioma. Uma dublagem em inglês de alguém que fala mandarim funciona bem; uma dublagem em mandarim de alguém que fala inglês pode embolar algumas palavras.
Clone the timbre only não funciona com este complemento, porque o VoxMel não consegue clonar sem as palavras da amostra. Deixe essa opção desligada para as pessoas que usam o VoxMel.
Vozes prontas
Cada voz pronta é um trecho curto que o VoxMel criou sem nenhuma gravação de referência, guardado com as suas palavras exatas. Todas as falas de uma pessoa com uma voz pronta clonam esse trecho, então a voz continua a mesma ao longo do vídeo. As vozes em inglês combinam com falas em inglês, e as em mandarim com falas em mandarim.
Modelos
Há um único modelo, o VoxMel 0.6B com o seu vocoder Vocos, com os pesos guardados em 8 bits, como o projeto audio.cpp o converteu. Ele não vem dentro do complemento: é baixado para o cache de modelos compartilhado do Subtitld na primeira dublagem, do Hugging Face numa revisão fixa, e é conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém o modelo.
| Modelo | Download | Ideal para |
|---|---|---|
| VoxMel 0.6B (8-bit) Padrão voxmel | Todas as vozes, em inglês e mandarim |
A primeira fala também carrega o modelo, por isso demora mais que as seguintes. Num Mac com Apple Silicon, na primeiríssima vez, o complemento também diz uma fala curta de teste na GPU, e usa a CPU se isso não funcionar. Cancelar interrompe uma fala entre dois passos, ou interrompe o download.
Opções
Em Configurações › Complementos › VoxMel (offline, voice clone, 2 languages) › Configurar.
32Com que detalhe o VoxMel desenha cada momento da fala. 32 é o valor do próprio VoxMel; menos é mais rápido, com menos detalhe.
3.5O quanto a fala segue o texto. 3,5 é o valor do próprio VoxMel.
3O quanto uma voz clonada segue o trecho. 3,0 é o valor do próprio VoxMel; mais alto pode soar mais parecido, ou forçado.
00 escolhe os núcleos de desempenho em CPUs que também têm núcleos de eficiência. Menos threads deixam o computador mais ágil enquanto dubla.
Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 3 a 15 segundos de uma pessoa falando.
Exatamente o que é dito no trecho de reserva, palavra por palavra. O VoxMel clona a partir do trecho e das suas palavras, então o trecho de reserva é recusado sem isso.
Idiomas
Inglês e chinês mandarim. O VoxMel identifica o idioma pelo texto.
enzh
Plataformas
| Sistema | Download | Testado |
|---|---|---|
| Linux x86-64 | 18.8 MB | Dublado com o modelo real numa máquina real e no AlmaLinux 8; na CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala |
| macOS (Apple silicon) | 18.1 MB | Na CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala (Apple Silicon) |
| Windows x86-64 | 15.4 MB | Na CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala |
Linux x86-64 (qualquer distribuição de 2018 em diante, glibc 2.28 ou mais recente), macOS 13.3 ou mais recente em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento, baixa o modelo e o faz falar, clonar uma voz e cancelar uma fala.
Solução de problemas
network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.disk_fullNão há espaço em disco suficiente para o modelo. Ele precisa de cerca de 1,2 GB livres.oomMemória insuficiente. Feche outros programas; o VoxMel precisa de cerca de 2 GB livres.bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra ou as palavras dela. A mensagem diz qual dos casos. Para uma voz clonada, abra o vídeo e deixe Clone the timbre only desligado.unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.internalAlgo falhou dentro do complemento; a mensagem traz os detalhes.
Licença
Adequado para trabalho comercial: o complemento, as suas vozes prontas, o motor audio.cpp e os pesos do VoxMel são todos Apache-2.0, e o vocoder Vocos e o ggml são MIT. As dublagens que você faz são suas. Uma voz clonada soa como uma pessoa real: clone vozes que você tem o direito de usar, e diga que uma dublagem é sintética quando isso importar.
Versões
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Outros complementos de Vozes
-
Piper Offline
158 vozes offline em 49 idiomas, cada uma um pequeno download separado.
-
Kokoro Offline
54 vozes offline em nove idiomas, todas de um único modelo de 82 MB.
-
Supertonic Offline
Dez vozes offline, cada uma capaz de falar todos os 31 idiomas.
-
sanoTTS Offline
Vozes offline minúsculas, 28 em 14 idiomas, cada uma com menos de 10 MB.
-
Parler-TTS Offline
Vozes em inglês que seguem uma descrição escrita; 34 locutores nomeados.
-
Qwen3-TTS Clonagem
Dez idiomas, nove vozes e clonagem a partir de 3 segundos de um locutor.
-
Coqui XTTS Clonagem
Clonagem de voz em 16 idiomas, com licença de modelo não comercial.
-
F5-TTS Clonagem
Somente clonagem de voz, em inglês e chinês; modelo não comercial.
-
VoxCPM2 Clonagem
30 idiomas a 48 kHz, na própria voz de quem fala ou numa voz descrita. Pesado.
-
Pocket TTS Offline
Rápido e leve, só CPU. 23 vozes em sete idiomas europeus.
-
Sopro Clonagem
A própria voz de quem fala, rápido na CPU. Quatro idiomas.
-
KittenTTS 2 Clonagem
A própria voz de quem fala em 16 idiomas, na CPU. Pesos sob uma licença restritiva.
-
Ming-3.0-tts Clonagem
7 idiomas a 44,1 kHz: vozes clonadas, integradas ou descritas, com emoção. Pesado.
-
Scylla's Band Offline
Catorze vozes em seis idiomas, leve e rápido na CPU. Só vozes prontas.
-
Audio8 TTS Clonagem
A própria voz de quem fala em 23 idiomas, cantonês e árabe incluídos. Lento numa CPU.
-
Inflect Offline
Fala natural em inglês de um modelo minúsculo, rápido em qualquer CPU.
-
Paradee Offline
Quatro vozes naturais em inglês, americanas e britânicas, de um único modelo de 8,5 MB.
-
BlueTTS Clonagem
Hebraico e iídiche, e mais cinco idiomas. A própria voz de quem fala, rápido na CPU.
-
ZONOS3-Mini Clonagem
43 idiomas, do árabe ao vietnamita. A própria voz de quem fala, na CPU.
-
Reverb Clonagem
Sete idiomas europeus e a própria voz de quem fala, na CPU; modelo não comercial.
-
OmniVoice Clonagem
646 idiomas, a própria voz de quem fala de um idioma para outro; modelo não comercial.
-
tiny-voca Offline
Duas vozes em inglês americano de um modelo de 4,5 milhões de parâmetros, sem nada para baixar.
-
Chatterbox Clonagem
A própria voz de quem fala em 20 idiomas, na CPU, sem conta.