VoxMel offline, clonagem de voz, 2 idiomas

VozesOfflineGPU opcionalClonagem de vozUso comercial permitido

Dubla suas legendas em inglês e mandarim com o VoxMel da VoxDance Lab, na própria voz de cada pessoa que fala, clonada fielmente do vídeo e das suas legendas, ou numa de oito vozes prontas. Roda no seu próprio computador, e o complemento, o modelo e as vozes são todos Apache-2.0.

Instale pelo Subtitld

Configurações Complementos VoxMel (offline, voice clone, 2 languages) Instalar

O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.

Código-fonte no GitHub
Idiomas
2
Modelos
1
Vozes
9
Download do complemento
15–19 MB
RAM, no mínimo
2 GB

Ouça

O que faz

Clones fiéis

O Subtitld recorta do vídeo alguns segundos de cada pessoa que fala e os envia com as legendas ditas neles. O VoxMel clona essa voz com fidelidade, em inglês ou mandarim.

Oito vozes prontas

Duas mulheres e dois homens para cada idioma, para as pessoas que você não quer clonar. O próprio VoxMel as criou: a voz de nenhuma pessoa foi gravada para elas.

Rápido para um modelo de clonagem

Uma fala clonada leva de dois a quatro segundos por segundo de fala num processador de notebook recente.

Livre para trabalho comercial

O complemento, o motor audio.cpp, os pesos do VoxMel e as vozes prontas são todos Apache-2.0.

Antes de instalar

  • Disco: cerca de 1,2 GB, a maior parte o modelo de 1,04 GB, baixado na primeira fala que você dublar.
  • Memória: cerca de 2 GB livres.
  • Tempo: num Intel Core i7-13700T, uma fala na própria voz de quem fala levou de dois a quatro segundos por segundo de fala. Num Mac com Apple Silicon, roda na GPU.
  • Idiomas: só inglês e mandarim. Para outros idiomas, o VoxCPM2 clona vozes em 30 e o OmniVoice em 646.

Vozes

Na aba Locutores, escolha o VoxMel como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda: o próprio VoxMel não tem controle de ritmo.

9 vozes em 2 idiomas.

  • en 4
  • zh 4

A voz clonada

Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas de 3 a 12 segundos, ou de várias curtas juntas, e envia o texto da legenda com ela. O VoxMel precisa tanto da amostra quanto das suas palavras. O Fallback reference clip nas configurações do complemento, com a sua transcrição, só é usado quando nenhuma amostra pode ser recortada.

O VoxMel clona melhor dentro do mesmo idioma. Uma dublagem em inglês de alguém que fala mandarim funciona bem; uma dublagem em mandarim de alguém que fala inglês pode embolar algumas palavras.

Clone the timbre only não funciona com este complemento, porque o VoxMel não consegue clonar sem as palavras da amostra. Deixe essa opção desligada para as pessoas que usam o VoxMel.

Vozes prontas

Cada voz pronta é um trecho curto que o VoxMel criou sem nenhuma gravação de referência, guardado com as suas palavras exatas. Todas as falas de uma pessoa com uma voz pronta clonam esse trecho, então a voz continua a mesma ao longo do vídeo. As vozes em inglês combinam com falas em inglês, e as em mandarim com falas em mandarim.

Modelos

Há um único modelo, o VoxMel 0.6B com o seu vocoder Vocos, com os pesos guardados em 8 bits, como o projeto audio.cpp o converteu. Ele não vem dentro do complemento: é baixado para o cache de modelos compartilhado do Subtitld na primeira dublagem, do Hugging Face numa revisão fixa, e é conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém o modelo.

Modelo DownloadIdeal para
VoxMel 0.6B (8-bit) Padrão voxmel
992 MB
Todas as vozes, em inglês e mandarim

A primeira fala também carrega o modelo, por isso demora mais que as seguintes. Num Mac com Apple Silicon, na primeiríssima vez, o complemento também diz uma fala curta de teste na GPU, e usa a CPU se isso não funcionar. Cancelar interrompe uma fala entre dois passos, ou interrompe o download.

Opções

Em Configurações › Complementos › VoxMel (offline, voice clone, 2 languages) › Configurar.

Quality steps
Padrão: 32

Com que detalhe o VoxMel desenha cada momento da fala. 32 é o valor do próprio VoxMel; menos é mais rápido, com menos detalhe.

Text guidance
Padrão: 3.5

O quanto a fala segue o texto. 3,5 é o valor do próprio VoxMel.

Voice guidance
Padrão: 3

O quanto uma voz clonada segue o trecho. 3,0 é o valor do próprio VoxMel; mais alto pode soar mais parecido, ou forçado.

CPU threads
Padrão: 0

0 escolhe os núcleos de desempenho em CPUs que também têm núcleos de eficiência. Menos threads deixam o computador mais ágil enquanto dubla.

Fallback reference clip
Padrão: vazio

Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 3 a 15 segundos de uma pessoa falando.

Fallback reference transcript
Padrão: vazio

Exatamente o que é dito no trecho de reserva, palavra por palavra. O VoxMel clona a partir do trecho e das suas palavras, então o trecho de reserva é recusado sem isso.

Idiomas

Inglês e chinês mandarim. O VoxMel identifica o idioma pelo texto.

  • en
  • zh

Plataformas

Sistema DownloadTestado
Linux x86-64 18.8 MBDublado com o modelo real numa máquina real e no AlmaLinux 8; na CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala
macOS (Apple silicon) 18.1 MBNa CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala (Apple Silicon)
Windows x86-64 15.4 MBNa CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala

Linux x86-64 (qualquer distribuição de 2018 em diante, glibc 2.28 ou mais recente), macOS 13.3 ou mais recente em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento, baixa o modelo e o faz falar, clonar uma voz e cancelar uma fala.

Solução de problemas

  • network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.
  • disk_fullNão há espaço em disco suficiente para o modelo. Ele precisa de cerca de 1,2 GB livres.
  • oomMemória insuficiente. Feche outros programas; o VoxMel precisa de cerca de 2 GB livres.
  • bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra ou as palavras dela. A mensagem diz qual dos casos. Para uma voz clonada, abra o vídeo e deixe Clone the timbre only desligado.
  • unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.
  • internalAlgo falhou dentro do complemento; a mensagem traz os detalhes.

Licença

Complemento
Apache-2.0
com as suas oito vozes prontas
Motor
Apache-2.0
audio.cpp, com ggml (MIT)
Modelo
Apache-2.0
Pesos do VoxMel 0.6B, da VoxDance Lab; vocoder Vocos MIT

Adequado para trabalho comercial: o complemento, as suas vozes prontas, o motor audio.cpp e os pesos do VoxMel são todos Apache-2.0, e o vocoder Vocos e o ggml são MIT. As dublagens que você faz são suas. Uma voz clonada soa como uma pessoa real: clone vozes que você tem o direito de usar, e diga que uma dublagem é sintética quando isso importar.

Versões

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Outros complementos de Vozes