Sopro (offline, voice clone, 4 languages)

VozesOfflineSó CPUClonagem de vozUso comercial permitido

Dubla suas legendas em inglês, português europeu, francês e alemão com o Sopro V2 Turbo, na própria voz de cada pessoa que fala, clonada de poucos segundos do vídeo, ou numa de 8 vozes prontas. Roda no processador do seu próprio computador, cerca de duas vezes mais rápido que o tempo real, sem placa de vídeo.

Instale pelo Subtitld

Configurações Complementos Sopro (offline, voice clone, 4 languages) Instalar

O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.

Código-fonte no GitHub
Idiomas
4
Modelos
1
Vozes
9
Download do complemento
38–61 MB
RAM, no mínimo
1.5 GB

O que faz

A própria voz de quem fala

O Subtitld recorta do vídeo alguns segundos de cada pessoa que fala e os envia com cada fala. O Sopro clona essa voz, então a dublagem soa como a pessoa na tela, em qualquer um dos seus quatro idiomas.

Rápido em qualquer computador

O Sopro V2 Turbo é um modelo pequeno, de 120 milhões de parâmetros. No processador de um notebook, ele fala cerca de duas vezes mais rápido que o tempo real, com cerca de 1 GB de memória.

Offline depois da primeira fala

O modelo é baixado uma vez, na primeira vez que você dubla com ele. Depois disso, nada sai do seu computador.

Livre para trabalho comercial

O complemento, o Sopro e seu modelo são Apache-2.0. As vozes prontas são leitores do LibriVox, cujas gravações estão em domínio público.

Antes de instalar

O Sopro exige pouco do seu computador:

  • Disco: cerca de 340 MB para o modelo, baixado na primeira fala.
  • Memória: cerca de 1 GB enquanto fala.
  • Processador: qualquer processador Intel ou AMD de 64 bits, ou Apple Silicon. Nenhuma placa de vídeo é usada.

Clone uma voz só com o consentimento de quem é dono dela. O autor do Sopro pede que ele nunca seja usado para se passar por outra pessoa.

Vozes

Na aba Speakers, escolha o Sopro como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.

9 vozes.

Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas ou de várias curtas juntas. Se você separou a música da voz neste vídeo, a amostra vem só da voz. O Fallback reference clip nas configurações do complemento só é usado quando nenhuma amostra pode ser recortada. A melhor amostra tem de 5 a 20 segundos só da pessoa que fala, sem música nem outras vozes.

Vozes prontas
Mulheres Inglês, português, francês, alemão
Homens Inglês, português, francês, alemão

Cada voz pronta é um voluntário do LibriVox lendo um livro naquele idioma. Toda voz pronta fala os quatro idiomas; o idioma dela só lhe dá um sotaque, então escolha uma do idioma do seu projeto para a dublagem mais natural.

Modelos

O Sopro tem um único modelo para os quatro idiomas. Ele não vem dentro do complemento: é baixado para o cache de modelos compartilhado do Subtitld na primeira dublagem, do Hugging Face numa revisão fixa, com cada arquivo conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém o modelo.

Modelo DownloadIdeal para
Sopro V2 Turbo (120M, ONNX) Padrão sopro-v2-turbo
336 MB
Todas as vozes, nos quatro idiomas, cerca de 2,5× o tempo real

O complemento roda a versão ONNX do Sopro que o próprio autor publica, sem PyTorch. Nós a comparamos com a versão oficial em PyTorch nas mesmas falas, nos quatro idiomas: ela não errou mais e soou tão próxima de quem fala quanto a oficial.

Opções

Em Configurações › Complementos › Sopro (offline, voice clone, 4 languages) › Configurar.

CPU threads
Padrão: 0

0 usa metade dos processadores lógicos do computador, no máximo 8. Menos threads deixam o computador mais ágil enquanto dubla.

Variation
Padrão: 0.8

Mais baixo é mais estável e mais monótono; mais alto é mais vivo, mas tropeça com mais frequência. 0,8 é o padrão do próprio Sopro.

Fallback reference clip
Padrão: vazio

Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 5 a 20 segundos de uma pessoa falando.

Idiomas

Inglês, português europeu, francês e alemão. Texto em português do Brasil também é lido, mas com sotaque europeu. Um projeto em qualquer outro idioma recebe uma mensagem que explica isso: escolha outro motor de dublagem para ele.

Escreva números e símbolos por extenso quando isso importar: o Sopro lê "1 + 2" com menos confiabilidade que "um mais dois". Uma palavra de outro idioma no meio de uma frase pode ser pronunciada errado.

  • en
  • pt
  • fr
  • de

Plataformas

Sistema DownloadTestado
Linux x86-64 61.1 MBDublado com o modelo real numa máquina real e na CI
macOS (Apple silicon) 43.2 MBDublado com o modelo real na CI (Apple Silicon)
Windows x86-64 38.1 MBDublado com o modelo real na CI

Linux x86-64, macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento como o Subtitld faz, baixa o modelo e dubla com ele.

Solução de problemas

  • network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.
  • disk_fullNão há espaço em disco suficiente para o modelo, cerca de 340 MB.
  • unsupported_languageO idioma do projeto não é um dos quatro, ou não foi definido. Defina-o no projeto, ou escolha outro motor de dublagem.
  • unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Speakers.
  • bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra: abra o vídeo, ou defina um Fallback reference clip. A mensagem diz qual dos dois.
  • out_of_memoryO computador ficou sem memória. Feche outros programas: o Sopro precisa de cerca de 1 GB.
  • internalAlgo falhou dentro do complemento; a mensagem traz os detalhes.

Licença

Complemento
Apache-2.0
Motor
Apache-2.0
Sopro, de Samuel Vitorino; o ONNX Runtime é MIT
Modelo
Apache-2.0
Pesos do Sopro V2 Turbo
Vozes prontas
Public domain, CC-BY-4.0
Leitores do LibriVox; as de inglês por meio do LibriTTS-R

Adequado para trabalho comercial: o complemento, o Sopro e o modelo Sopro V2 Turbo são Apache-2.0. As vozes prontas são gravações do LibriVox, em domínio público; as de inglês vêm por meio do LibriTTS-R, sob CC-BY-4.0, e o complemento dá o crédito de cada uma. As dublagens que você faz são suas.

Versões

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Sopro V2 Turbo: English, European Portuguese, French and German at 24 kHz, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. The 336 MB model downloads on the first line, at a pinned revision, checked by sha256. It runs on the CPU, about twice as fast as real time.

    The add-on and the Sopro model are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/sopro_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is sopro-<version>-libquadmath-source.tar.gz in this release.

Outros complementos de Vozes