BlueTTS offline, clonagem de voz, hebraico + 6 idiomas

VozesOfflineSó CPUClonagem de vozUso comercial permitido

Dubla suas legendas em hebraico, inglês, alemão, espanhol, italiano, russo e iídiche com o BlueV3, de Maxim Melichov, numa de 15 vozes ou na própria voz de cada pessoa que fala, clonada de cerca de dez segundos do vídeo. Roda no processador do seu próprio computador, de três a cinco vezes mais rápido que o tempo real, sem placa de vídeo.

Instale pelo Subtitld

Configurações Complementos BlueTTS (offline, voice clone, Hebrew + 6 languages) Instalar

O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.

Código-fonte no GitHub
Idiomas
7
Modelos
5
Vozes
16
Download do complemento
37–62 MB
RAM, no mínimo
2.5 GB

O que faz

Hebraico e iídiche

O BlueTTS foi feito primeiro para o hebraico: ele lê hebraico sem sinais vocálicos, inclusive números, datas e preços, e palavras em inglês no meio de uma fala em hebraico são lidas em inglês. Ele também fala iídiche, o que poucos motores de dublagem fazem.

A própria voz de quem fala

O Subtitld recorta do vídeo cerca de dez segundos de cada pessoa que fala e os envia com cada fala. O BlueTTS clona essa voz em qualquer um dos seus sete idiomas. Ou escolha uma de 15 vozes.

Rápido em qualquer computador

No processador de um notebook, ele fala de três a cinco vezes mais rápido que o tempo real. Nenhuma placa de vídeo é usada.

Offline depois da primeira fala

Cada parte é baixada uma vez, na primeira vez que uma fala precisa dela. Depois disso, nada sai do seu computador.

Antes de instalar

O que o BlueTTS precisa depende dos idiomas que você dubla:

  • Disco: 428 MB para o modelo, baixado na primeira fala. O hebraico acrescenta 1,2 GB (ou 312 MB com o modelo de leitura compacto), o iídiche 307 MB e a própria voz de quem fala 136 MB, cada um na primeira vez que você o usa.
  • Memória: cerca de 700 MB enquanto fala, cerca de 2 GB depois que o hebraico é carregado.
  • Tempo: num Intel Core i7-13700T, um segundo de fala leva cerca de um quinto de segundo para ser gerado, um terço de segundo em hebraico. A primeira fala em hebraico espera cerca de 15 segundos a mais enquanto o modelo de leitura carrega.
  • Processador: qualquer processador Intel ou AMD de 64 bits, ou Apple Silicon. Nenhuma placa de vídeo é usada.

Vozes

Na aba Locutores, escolha o BlueTTS como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.

16 vozes.

Vozes
Mulheres Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Homens Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Toda voz fala os sete idiomas, cada uma no seu próprio ritmo natural em cada idioma. Elas foram feitas a partir de leitores do corpus de audiolivros LibriTTS-R.

Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas ou de várias curtas juntas. Se você separou a música da voz neste vídeo, a amostra vem só da voz. O Fallback reference clip nas configurações do complemento só é usado quando nenhuma amostra pode ser recortada.

O BlueTTS escuta mais ou menos os primeiros nove segundos da amostra e copia o timbre e a altura da voz, não o jeito de falar. A melhor amostra é fala limpa, perto do microfone: ruído e eco deixam o clone menos parecido com a pessoa, e uma gravação de telefone dá uma voz com som de telefone.

Modelos

O modelo e os modelos de leitura não vêm dentro do complemento: cada um é baixado para o cache de modelos compartilhado do Subtitld na primeira vez que uma fala precisa dele, do Hugging Face numa revisão fixa, com cada arquivo conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento os mantém.

Modelo DownloadIdeal para
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Padrão bluev3
428 MB
Todas as falas: as vozes, e como inglês, alemão, espanhol, italiano e russo são lidos
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
A própria voz de quem fala, na primeira vez que você dubla uma
RenikudPlus Hebrew G2P renikudplus
1.2 GB
Hebraico, na primeira vez que você dubla nele (o padrão)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
Hebraico, quando você escolhe o modelo de leitura compacto
ReNikud-yi Yiddish context model renikud-yi
307 MB
Iídiche, na primeira vez que você dubla nele

O complemento roda o próprio código do BlueTTS no ONNX Runtime, sem PyTorch. Com a mesma voz, fala e semente, ele dá exatamente o mesmo resultado que o pacote Python do próprio BlueTTS.

Opções

Em Configurações › Complementos › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Configurar.

CPU threads
Padrão: 0

0 usa os processadores lógicos do computador, no máximo 8. Mais raramente é mais rápido; menos deixam o computador mais ágil enquanto dubla.

Quality steps
Padrão: 8

Quantas passadas o modelo faz sobre cada fala. 8 é o valor do próprio BlueTTS. 4 é cerca de 1,7 vez mais rápido, com qualidade um pouco menor.

Hebrew reading model
Padrão: accurate

Como o texto em hebraico é convertido em sons. accurate é o modelo completo, 1,2 GB, com cerca de 2 GB de memória. compact é o mesmo modelo reduzido, 312 MB: no nosso teste, ele leu cerca de 1 palavra em 200 de forma diferente, na maioria das vezes errada.

Fallback reference clip
Padrão: vazio

Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: cerca de 10 segundos de uma pessoa falando, limpo, não uma gravação de telefone.

Idiomas

Hebraico, inglês, alemão, espanhol, italiano, russo e iídiche. Um projeto em qualquer outro idioma recebe uma mensagem que explica isso: escolha outro motor de dublagem para ele.

O espanhol segue a região do projeto: Espanha recebe o castelhano, qualquer outra região o espanhol latino-americano. Números, datas, preços e códigos são lidos por extenso, exceto em iídiche: escreva os números em iídiche por extenso, ou a fala é recusada com uma mensagem que explica isso.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Plataformas

Sistema DownloadTestado
Linux x86-64 61.7 MBDublado com o modelo real numa máquina real, pelo gerenciador de complementos do Subtitld, e na CI
macOS (Apple silicon) 43.8 MBDublado com o modelo real na CI (Apple Silicon)
Windows x86-64 37.3 MBDublado com o modelo real na CI

Linux x86-64, macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento como o Subtitld faz, baixa os modelos e dubla uma fala em cada idioma.

Solução de problemas

  • network_unavailableNão foi possível baixar um modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.
  • disk_fullNão há espaço em disco suficiente para o modelo: 428 MB, e até 1,7 GB a mais para hebraico, iídiche e a própria voz de quem fala.
  • unsupported_languageO idioma do projeto não é um dos sete, ou não foi definido. Defina-o no projeto, ou escolha outro motor de dublagem.
  • unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.
  • bad_paramsA fala não tem texto, uma fala em iídiche tem algarismos, ou a voz clonada não recebeu amostra: abra o vídeo, ou defina um Fallback reference clip. A mensagem diz qual dos casos.
  • out_of_memoryO computador ficou sem memória. Feche outros programas: o BlueTTS precisa de cerca de 1 GB livre, 2,5 GB com hebraico.
  • internalAlgo falhou dentro do complemento; a mensagem traz os detalhes.

Licença

Complemento
Apache-2.0
Motor
MIT
BlueTTS, de Maxim Melichov; o ONNX Runtime é MIT
Modelo
MIT, BigScience OpenRAIL-M
Pesos do BlueV3; o vocoder, ajustado a partir do Supertonic-3 da Supertone, é OpenRAIL-M, com restrições de uso
Vozes
CC-BY-4.0
Feitas a partir de locutores do LibriTTS-R
Modelos de leitura
Apache-2.0, MIT, CC BY-SA
RenikudPlus (hebraico), polyg2p; os léxicos de alemão e italiano e parte do de iídiche são CC BY-SA

O complemento é Apache-2.0 e o código do BlueTTS é MIT. O modelo de voz também é MIT, exceto o seu vocoder, a parte que transforma a saída do modelo em som: ele foi ajustado a partir do Supertonic-3 da Supertone e tem a licença BigScience OpenRAIL-M. Trabalho comercial é permitido, mas a OpenRAIL-M proíbe alguns usos do que ele gera, entre eles infringir a lei, enganar pessoas e se passar por alguém sem o seu consentimento. As 15 vozes são CC-BY-4.0. Os léxicos de alemão e italiano, e parte do de iídiche, são CC BY-SA; eles são baixados com os modelos e ficam como seus autores os publicam.

As dublagens que você faz são suas. Uma voz clonada soa como uma pessoa real: clone vozes que você tem o direito de usar, e diga que uma dublagem é sintética quando isso importar.

Versões

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Outros complementos de Vozes