Chatterbox offline, clonagem de voz, 20 idiomas

VozesOfflineSó CPUClonagem de vozUso comercial permitido

Dubla suas legendas em 20 idiomas com o Chatterbox, da Resemble AI, na própria voz de cada pessoa que fala, clonada de poucos segundos do vídeo, ou numa de 8 vozes prontas. Uma voz clonada fala todos os idiomas, seja qual for o idioma do trecho. Roda no processador do seu próprio computador, mais ou menos em tempo real, sem placa de vídeo.

Instale pelo Subtitld

Configurações Complementos Chatterbox (offline, voice clone, 20 languages) Instalar

O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.

Código-fonte no GitHub
Idiomas
20
Modelos
2
Vozes
9
Download do complemento
39–62 MB
RAM, no mínimo
2 GB

Ouça

O que faz

A própria voz de quem fala, em outro idioma

O Subtitld recorta do vídeo alguns segundos de cada pessoa que fala e os envia com cada fala. O Chatterbox clona essa voz em qualquer um dos seus 20 idiomas, então um ator português pode ser dublado em alemão e continuar soando como ele mesmo.

Dois modelos

O Multilingual fala os 20 idiomas. O Turbo fala só inglês, soa mais próximo de quem fala, precisa de menos memória e lê marcações como [laugh] e [sigh] escritas na legenda.

Em qualquer computador

Roda no processador, mais ou menos em tempo real, sem placa de vídeo: uma fala de 10 segundos leva cerca de 10 segundos.

Livre para trabalho comercial

O complemento é Apache-2.0, o Chatterbox e seus modelos são MIT, e as vozes prontas são leitores do LibriVox, em domínio público.

Antes de instalar

  • Disco: o Multilingual baixa 1,3 GB na primeira fala; o Turbo, 725 MB.
  • Memória: cerca de 1,7 GB enquanto fala com o Multilingual, cerca de 1 GB com o Turbo.
  • Processador: qualquer processador Intel ou AMD de 64 bits, ou Apple Silicon. Nenhuma placa de vídeo é usada.

Clone uma voz só com o consentimento de quem é dono dela. As versões do próprio Chatterbox marcam o áudio com uma marca d'água inaudível; este complemento não faz isso, então a responsabilidade pelo uso de uma voz clonada é sua.

Vozes

Na aba Locutores, escolha o Chatterbox como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.

9 vozes.

Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas ou de várias curtas juntas. Se você separou a música da voz neste vídeo, a amostra vem só da voz. O Fallback reference clip nas configurações do complemento só é usado quando nenhuma amostra pode ser recortada. A melhor amostra tem de 5 a 20 segundos só da pessoa que fala, sem música nem outras vozes; o complemento usa os primeiros 10 segundos dela.

Vozes prontas
Mulheres Inglês, português, francês, alemão
Homens Inglês, português, francês, alemão

Cada voz pronta é um voluntário do LibriVox lendo um livro naquele idioma, os mesmos leitores do complemento Sopro. Toda voz pronta fala os 20 idiomas; o idioma dela só lhe dá um sotaque, então escolha a mais próxima do idioma do seu projeto para a dublagem mais natural.

Modelos

Nenhum dos modelos vem dentro do complemento: o que você usa é baixado para o cache de modelos compartilhado do Subtitld na primeira dublagem, do Hugging Face numa revisão fixa, com cada arquivo conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém os modelos.

ModeloIdioma DownloadIdeal para
Chatterbox Multilingual (0.5B, 4-bit ONNX) Padrão multilingual
1.3 GB
Os 20 idiomas; o padrão
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Só inglês: mais próximo de quem fala, menos memória, e lê [laugh], [sigh] e [cough]

O complemento roda exportações ONNX do Chatterbox, sem PyTorch. No nosso teste com 10 frases em inglês, português, francês, alemão, espanhol, italiano, russo e polonês, cada uma clonada de duas vozes, o Multilingual errou 2,4% das palavras e soou próximo de quem fala; o Turbo não errou nenhuma em inglês e soou ainda mais próximo.

Opções

Em Configurações › Complementos › Chatterbox (offline, voice clone, 20 languages) › Configurar.

Model
Padrão: multilingual

O Turbo fala só inglês. Com o Turbo escolhido, as falas em outros idiomas são faladas pelo Multilingual. Só um modelo fica na memória de cada vez.

Expressiveness
Padrão: 0.5

Só no Multilingual: quanta emoção a voz coloca. 0,5 é o padrão do próprio Chatterbox; mais alto é mais dramático e costuma falar mais rápido.

CPU threads
Padrão: 0

0 usa metade dos processadores lógicos do computador, no máximo 8. Menos threads deixam o computador mais ágil enquanto dubla.

Fallback reference clip
Padrão: vazio

Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 5 a 20 segundos de uma pessoa falando.

Idiomas

Alemão, árabe, coreano, dinamarquês, espanhol, finlandês, francês, grego, hindi, holandês, inglês, italiano, malaio, norueguês, polonês, português, russo, suaíli, sueco e turco. Um projeto em qualquer outro idioma recebe uma mensagem que explica isso: escolha outro motor de dublagem para ele.

O Chatterbox também tem hebraico, japonês e chinês, que o complemento deixa de fora: o hebraico precisa de um segundo modelo para colocar os sinais vocálicos, o japonês precisa de um conversor cuja licença não permite incluí-lo, e o chinês saiu embaralhado nos nossos testes.

Escreva números e símbolos por extenso quando isso importar. Cada fala é dita de uma vez só, com até 40 segundos de fala.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Plataformas

Sistema DownloadTestado
Linux x86-64 62.5 MBDublado com os dois modelos numa máquina real e no próprio Subtitld
macOS (Apple silicon) 43.7 MBNa CI, o complemento instalado baixa um modelo e dubla com ele (Apple Silicon)
Windows x86-64 38.7 MBNa CI, o complemento instalado baixa um modelo e dubla com ele

Linux x86-64, macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento como o Subtitld faz, baixa um modelo e dubla com ele.

Solução de problemas

  • network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.
  • disk_fullNão há espaço em disco suficiente para o modelo: 1,3 GB para o Multilingual, 725 MB para o Turbo.
  • unsupported_languageO idioma do projeto não é um dos 20, ou não foi definido. Defina-o no projeto, ou escolha outro motor de dublagem.
  • unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.
  • bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra: abra o vídeo, ou defina um Fallback reference clip. A mensagem diz qual dos dois.
  • out_of_memoryO computador ficou sem memória. Feche outros programas, ou escolha o Turbo para inglês: ele precisa de cerca de 1 GB.
  • internalAlgo falhou dentro do complemento; a mensagem traz os detalhes.

Licença

Complemento
Apache-2.0
Motor
MIT
Chatterbox, da Resemble AI; o ONNX Runtime é MIT
Modelo
MIT
Pesos do Chatterbox Multilingual e Turbo, nas suas exportações ONNX
Vozes prontas
Public domain, CC-BY-4.0
Leitores do LibriVox; as de inglês por meio do LibriTTS-R

Adequado para trabalho comercial: o complemento é Apache-2.0, e o Chatterbox e os dois modelos são MIT. As vozes prontas são gravações do LibriVox, em domínio público; as de inglês vêm por meio do LibriTTS-R, sob CC-BY-4.0, e o complemento dá o crédito de cada uma. As dublagens que você faz são suas.

Versões

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Outros complementos de Vozes