Chatterbox offline, clonagem de voz, 20 idiomas
Dubla suas legendas em 20 idiomas com o Chatterbox, da Resemble AI, na própria voz de cada pessoa que fala, clonada de poucos segundos do vídeo, ou numa de 8 vozes prontas. Uma voz clonada fala todos os idiomas, seja qual for o idioma do trecho. Roda no processador do seu próprio computador, mais ou menos em tempo real, sem placa de vídeo.
Configurações Complementos Chatterbox (offline, voice clone, 20 languages) Instalar
O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.
- Idiomas
- 20
- Modelos
- 2
- Vozes
- 9
- Download do complemento
- 39–62 MB
- RAM, no mínimo
- 2 GB
Ouça
O que faz
O Subtitld recorta do vídeo alguns segundos de cada pessoa que fala e os envia com cada fala. O Chatterbox clona essa voz em qualquer um dos seus 20 idiomas, então um ator português pode ser dublado em alemão e continuar soando como ele mesmo.
O Multilingual fala os 20 idiomas. O Turbo fala só inglês, soa mais próximo de quem fala, precisa de menos memória e lê marcações como [laugh] e [sigh] escritas na legenda.
Roda no processador, mais ou menos em tempo real, sem placa de vídeo: uma fala de 10 segundos leva cerca de 10 segundos.
O complemento é Apache-2.0, o Chatterbox e seus modelos são MIT, e as vozes prontas são leitores do LibriVox, em domínio público.
Antes de instalar
- Disco: o Multilingual baixa 1,3 GB na primeira fala; o Turbo, 725 MB.
- Memória: cerca de 1,7 GB enquanto fala com o Multilingual, cerca de 1 GB com o Turbo.
- Processador: qualquer processador Intel ou AMD de 64 bits, ou Apple Silicon. Nenhuma placa de vídeo é usada.
Clone uma voz só com o consentimento de quem é dono dela. As versões do próprio Chatterbox marcam o áudio com uma marca d'água inaudível; este complemento não faz isso, então a responsabilidade pelo uso de uma voz clonada é sua.
Vozes
Na aba Locutores, escolha o Chatterbox como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.
9 vozes.
Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas ou de várias curtas juntas. Se você separou a música da voz neste vídeo, a amostra vem só da voz. O Fallback reference clip nas configurações do complemento só é usado quando nenhuma amostra pode ser recortada. A melhor amostra tem de 5 a 20 segundos só da pessoa que fala, sem música nem outras vozes; o complemento usa os primeiros 10 segundos dela.
| Vozes prontas | |
|---|---|
| Mulheres | Inglês, português, francês, alemão |
| Homens | Inglês, português, francês, alemão |
Cada voz pronta é um voluntário do LibriVox lendo um livro naquele idioma, os mesmos leitores do complemento Sopro. Toda voz pronta fala os 20 idiomas; o idioma dela só lhe dá um sotaque, então escolha a mais próxima do idioma do seu projeto para a dublagem mais natural.
Modelos
Nenhum dos modelos vem dentro do complemento: o que você usa é baixado para o cache de modelos compartilhado do Subtitld na primeira dublagem, do Hugging Face numa revisão fixa, com cada arquivo conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém os modelos.
| Modelo | Idioma | Download | Ideal para |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) Padrão multilingual | | Os 20 idiomas; o padrão | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Só inglês: mais próximo de quem fala, menos memória, e lê [laugh], [sigh] e [cough] |
O complemento roda exportações ONNX do Chatterbox, sem PyTorch. No nosso teste com 10 frases em inglês, português, francês, alemão, espanhol, italiano, russo e polonês, cada uma clonada de duas vozes, o Multilingual errou 2,4% das palavras e soou próximo de quem fala; o Turbo não errou nenhuma em inglês e soou ainda mais próximo.
Opções
Em Configurações › Complementos › Chatterbox (offline, voice clone, 20 languages) › Configurar.
multilingualO Turbo fala só inglês. Com o Turbo escolhido, as falas em outros idiomas são faladas pelo Multilingual. Só um modelo fica na memória de cada vez.
0.5Só no Multilingual: quanta emoção a voz coloca. 0,5 é o padrão do próprio Chatterbox; mais alto é mais dramático e costuma falar mais rápido.
00 usa metade dos processadores lógicos do computador, no máximo 8. Menos threads deixam o computador mais ágil enquanto dubla.
Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 5 a 20 segundos de uma pessoa falando.
Idiomas
Alemão, árabe, coreano, dinamarquês, espanhol, finlandês, francês, grego, hindi, holandês, inglês, italiano, malaio, norueguês, polonês, português, russo, suaíli, sueco e turco. Um projeto em qualquer outro idioma recebe uma mensagem que explica isso: escolha outro motor de dublagem para ele.
O Chatterbox também tem hebraico, japonês e chinês, que o complemento deixa de fora: o hebraico precisa de um segundo modelo para colocar os sinais vocálicos, o japonês precisa de um conversor cuja licença não permite incluí-lo, e o chinês saiu embaralhado nos nossos testes.
Escreva números e símbolos por extenso quando isso importar. Cada fala é dita de uma vez só, com até 40 segundos de fala.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Plataformas
| Sistema | Download | Testado |
|---|---|---|
| Linux x86-64 | 62.5 MB | Dublado com os dois modelos numa máquina real e no próprio Subtitld |
| macOS (Apple silicon) | 43.7 MB | Na CI, o complemento instalado baixa um modelo e dubla com ele (Apple Silicon) |
| Windows x86-64 | 38.7 MB | Na CI, o complemento instalado baixa um modelo e dubla com ele |
Linux x86-64, macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento como o Subtitld faz, baixa um modelo e dubla com ele.
Solução de problemas
network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.disk_fullNão há espaço em disco suficiente para o modelo: 1,3 GB para o Multilingual, 725 MB para o Turbo.unsupported_languageO idioma do projeto não é um dos 20, ou não foi definido. Defina-o no projeto, ou escolha outro motor de dublagem.unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra: abra o vídeo, ou defina um Fallback reference clip. A mensagem diz qual dos dois.out_of_memoryO computador ficou sem memória. Feche outros programas, ou escolha o Turbo para inglês: ele precisa de cerca de 1 GB.internalAlgo falhou dentro do complemento; a mensagem traz os detalhes.
Licença
Adequado para trabalho comercial: o complemento é Apache-2.0, e o Chatterbox e os dois modelos são MIT. As vozes prontas são gravações do LibriVox, em domínio público; as de inglês vêm por meio do LibriTTS-R, sob CC-BY-4.0, e o complemento dá o crédito de cada uma. As dublagens que você faz são suas.
Versões
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Outros complementos de Vozes
-
Piper Offline
158 vozes offline em 49 idiomas, cada uma um pequeno download separado.
-
Kokoro Offline
54 vozes offline em nove idiomas, todas de um único modelo de 82 MB.
-
Supertonic Offline
Dez vozes offline, cada uma capaz de falar todos os 31 idiomas.
-
sanoTTS Offline
Vozes offline minúsculas, 28 em 14 idiomas, cada uma com menos de 10 MB.
-
Parler-TTS Offline
Vozes em inglês que seguem uma descrição escrita; 34 locutores nomeados.
-
Qwen3-TTS Clonagem
Dez idiomas, nove vozes e clonagem a partir de 3 segundos de um locutor.
-
Coqui XTTS Clonagem
Clonagem de voz em 16 idiomas, com licença de modelo não comercial.
-
F5-TTS Clonagem
Somente clonagem de voz, em inglês e chinês; modelo não comercial.
-
VoxCPM2 Clonagem
30 idiomas a 48 kHz, na própria voz de quem fala ou numa voz descrita. Pesado.
-
Pocket TTS Offline
Rápido e leve, só CPU. 23 vozes em sete idiomas europeus.
-
Sopro Clonagem
A própria voz de quem fala, rápido na CPU. Quatro idiomas.
-
KittenTTS 2 Clonagem
A própria voz de quem fala em 16 idiomas, na CPU. Pesos sob uma licença restritiva.
-
Ming-3.0-tts Clonagem
7 idiomas a 44,1 kHz: vozes clonadas, integradas ou descritas, com emoção. Pesado.
-
Scylla's Band Offline
Catorze vozes em seis idiomas, leve e rápido na CPU. Só vozes prontas.
-
Audio8 TTS Clonagem
A própria voz de quem fala em 23 idiomas, cantonês e árabe incluídos. Lento numa CPU.
-
Inflect Offline
Fala natural em inglês de um modelo minúsculo, rápido em qualquer CPU.
-
Paradee Offline
Quatro vozes naturais em inglês, americanas e britânicas, de um único modelo de 8,5 MB.
-
BlueTTS Clonagem
Hebraico e iídiche, e mais cinco idiomas. A própria voz de quem fala, rápido na CPU.
-
ZONOS3-Mini Clonagem
43 idiomas, do árabe ao vietnamita. A própria voz de quem fala, na CPU.
-
Reverb Clonagem
Sete idiomas europeus e a própria voz de quem fala, na CPU; modelo não comercial.
-
OmniVoice Clonagem
646 idiomas, a própria voz de quem fala de um idioma para outro; modelo não comercial.
-
VoxMel Clonagem
Inglês e mandarim, com clones fiéis da própria voz de quem fala.
-
tiny-voca Offline
Duas vozes em inglês americano de um modelo de 4,5 milhões de parâmetros, sem nada para baixar.