VoxCPM2 (offline, voice clone, 30 languages)
Dubla suas legendas em 30 idiomas com o VoxCPM2 da OpenBMB, na própria voz de cada pessoa que fala, clonada do vídeo, ou numa voz criada a partir de uma descrição. Roda no seu próprio computador, e o complemento, o código e os pesos são todos Apache-2.0.
Configurações Complementos VoxCPM2 (offline, voice clone, 30 languages) Instalar
O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.
- Idiomas
- 30
- Modelos
- 1
- Vozes
- 9
- Download do complemento
- 205–318 MB
- RAM, no mínimo
- 7 GB
O que faz
O Subtitld recorta do vídeo um trecho de cada pessoa que fala e o envia com as palavras ditas nele. O VoxCPM2 continua a partir desse trecho, então a dublagem soa como a pessoa na tela, em qualquer um dos seus 30 idiomas.
Sete vozes prontas, de uma mulher de voz calorosa a um senhor de voz rouca e um narrador, ou suas próprias palavras: "um rapaz, rápido e alegre".
A fala sai a 48 kHz, a taxa que o vídeo usa.
O complemento, o código do VoxCPM e os pesos do VoxCPM2 são todos Apache-2.0.
Antes de instalar
O VoxCPM2 é um modelo grande, com 2,4 bilhões de parâmetros. Ele faz as dublagens mais naturais entre os complementos offline, e é o que mais exige do seu computador:
- Disco: cerca de 5,6 GB, a maior parte o modelo de 4,96 GB, baixado na primeira fala que você dublar.
- Memória: cerca de 7 GB livres. Com menos ainda funciona, mas bem mais devagar.
- Tempo: na CPU, cada segundo de fala leva vários segundos para ser gerado: de 5 a 6 segundos num Intel Core i7-13700T. Um vídeo de dez minutos pode levar cerca de uma hora. Num Mac com Apple Silicon, roda na GPU.
Para dublagens rápidas em computadores modestos, o Piper ou o Kokoro são bem mais leves.
Vozes
Na aba Speakers, escolha o VoxCPM2 como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.
9 vozes.
A voz clonada
Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas de 3 a 12 segundos, ou de várias curtas juntas. Se você separou a música da voz neste vídeo, a amostra vem só da voz. O Fallback reference clip nas configurações do complemento só é usado quando nenhuma amostra pode ser recortada.
O Subtitld envia o texto da legenda com a amostra, e o VoxCPM2 continua a partir dela, o que chega mais perto de quem fala, incluindo o jeito de falar. Se uma dublagem para outro idioma mantém o sotaque de quem fala, ative Clone the timbre only.
Vozes descritas
O VoxCPM2 cria uma voz nova toda vez que lê uma descrição. Por isso o complemento cria a voz de cada pessoa uma vez, e todas as falas dessa pessoa a reutilizam: a voz continua a mesma ao longo do vídeo, e duas pessoas com a mesma descrição ainda soam como duas pessoas.
Modelos
Há um único modelo, o VoxCPM2. Ele não vem dentro do complemento: é baixado para o cache de modelos compartilhado do Subtitld na primeira dublagem, do Hugging Face numa revisão fixa, com cada arquivo conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém o modelo.
| Modelo | Download | Ideal para |
|---|---|---|
| VoxCPM2 (2.4B) Padrão voxcpm2 | Todas as vozes, nos 30 idiomas |
A primeira fala também carrega o modelo, por isso demora mais que as seguintes. Cancelar interrompe uma fala entre dois passos, ou interrompe o download.
Opções
Em Configurações › Complementos › VoxCPM2 (offline, voice clone, 30 languages) › Configurar.
autoAutomático usa a GPU de um Mac com Apple Silicon; nos demais, a CPU. Esta versão não usa placas de vídeo NVIDIA.
autoAutomático serve para quase todo computador. float32 é um pouco mais rápido, mas precisa de cerca de 11 GB de memória.
10Mais passos, fala mais nítida, mais lenta. 5 é cerca de um quarto mais rápido que 10, com nitidez audivelmente menor.
2How closely the speech follows the text and the voice. VoxCPM's default is 2.0.
00 escolhe os núcleos de desempenho em CPUs que também têm núcleos de eficiência. Menos threads deixam o computador mais ágil enquanto dubla.
Usada pela voz "Voz que você descreve": quem fala e como, em poucas palavras, por exemplo "An elderly woman, soft and warm voice, slow pace". Inglês funciona para todos os idiomas.
Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 3 a 15 segundos de uma pessoa falando.
As palavras exatas faladas no trecho acima. Com elas, a clonagem fica mais próxima de quem fala.
Clona só o som da voz, não o jeito de falar do trecho. Experimente quando uma dublagem para outro idioma mantém o sotaque de quem fala, ou quando suas legendas parafraseiam a fala.
Idiomas
Árabe, birmanês, chinês, dinamarquês, holandês, inglês, finlandês, francês, alemão, grego, hebraico, híndi, indonésio, italiano, japonês, khmer, coreano, laosiano, malaio, norueguês, polonês, português, russo, espanhol, suaíli, sueco, tagalo, tailandês, turco e vietnamita. O VoxCPM2 identifica o idioma pelo próprio texto, então toda voz fala todos os idiomas.
armyzhdanlenfifrdeelhehiiditjakmkolomsnoplptruesswsvtlthtrvi
Plataformas
| Sistema | Download | Testado |
|---|---|---|
| Linux x86-64 | 312.0 MB | Dublado com o modelo real numa máquina real; compilado e verificado na CI |
| macOS (Apple silicon) | 318.0 MB | Compilado e verificado na CI (Apple Silicon) |
| Windows x86-64 | 204.6 MB | Compilado e verificado na CI |
Linux x86-64, macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e a CI verifica que tudo o que é preciso para falar está na compilação. A CI não roda o modelo em si.
Solução de problemas
network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.disk_fullNão há espaço em disco suficiente para o modelo. Ele precisa de cerca de 5 GB livres.oomMemória insuficiente. Feche outros programas; o VoxCPM2 precisa de cerca de 7 GB livres, 11 GB em float32.bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra: abra o vídeo, ou defina um Fallback reference clip. A mensagem diz qual dos dois.unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Speakers.internalAlgo falhou dentro do complemento; a mensagem traz os detalhes. Se você mudou Inference device, volte para Automático.
Licença
Adequado para trabalho comercial: o complemento, o VoxCPM e os pesos do VoxCPM2 são todos Apache-2.0. As dublagens que você faz são suas. Uma voz clonada soa como uma pessoa real: clone vozes que você tem o direito de usar, e diga que uma dublagem é sintética quando isso importar.
Versões
- 0.0.1
Text-to-speech for Subtitld with OpenBMB's VoxCPM2: 30 languages at 48 kHz, in the speaker's own voice cloned from the video, or in a voice made from a description.
The archive holds the add-on and a CPU build of PyTorch. The 4.96 GB model downloads on the first synthesis, at a pinned revision, checked by sha256. Plan for about 7 GB of free memory; on a CPU each second of speech takes several seconds to make.
The add-on, VoxCPM and the VoxCPM2 weights are Apache-2.0. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isvoxcpm-<version>-libquadmath-source.tar.gzin this release.
Outros complementos de Vozes
-
Piper Offline
158 vozes offline em 49 idiomas, cada uma um pequeno download separado.
-
Kokoro Offline
54 vozes offline em nove idiomas, todas de um único modelo de 82 MB.
-
Supertonic Offline
Dez vozes offline, cada uma capaz de falar todos os 31 idiomas.
-
sanoTTS Offline
Vozes offline minúsculas, 28 em 14 idiomas, cada uma com menos de 10 MB.
-
Parler-TTS Offline
Vozes em inglês que seguem uma descrição escrita; 34 locutores nomeados.
-
Qwen3-TTS Clonagem
Dez idiomas, nove vozes e clonagem a partir de 3 segundos de um locutor.
-
Coqui XTTS Clonagem
Clonagem de voz em 16 idiomas, com licença de modelo não comercial.
-
F5-TTS Clonagem
Somente clonagem de voz, em inglês e chinês; modelo não comercial.