Ming-3.0-tts (offline, voice clone, 7 languages)

O que faz

Antes de instalar

O Ming-3.0-tts é um modelo grande, com cerca de 1,5 bilhão de parâmetros contando o seu codec de áudio. Ele exige muito do seu computador:

• Disco: cerca de 3,4 GB, a maior parte o modelo de 2,99 GB, baixado na primeira fala que você dublar.
• Memória: cerca de 5 GB livres. Com menos ainda funciona, mas bem mais devagar.
• Tempo: na CPU, cada segundo de fala leva de quatro a cinco segundos para ser gerado, num Intel Core i7-13700T. Um vídeo de dez minutos pode levar cerca de três quartos de hora.

Para dublagens rápidas em computadores modestos, o Piper ou o Kokoro são bem mais leves.

Vozes

Na aba Locutores, escolha o Ming-3.0-tts como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.

12 vozes.

A voz clonada

Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas de 3 a 12 segundos, ou de várias curtas juntas. Se você separou a música da voz neste vídeo, a amostra vem só da voz. O Fallback reference clip nas configurações do complemento só é usado quando nenhuma amostra pode ser recortada.

O Subtitld envia o texto da legenda com a amostra, e o Ming-3.0-tts continua a partir dela, o que chega mais perto de quem fala, incluindo o jeito de falar. Se uma dublagem para outro idioma mantém o sotaque de quem fala, ative Clone the timbre only.

Vozes integradas

Emma (americana), George e Charlotte (britânicos), Ling Xiaorou e Ling Kai (chineses) são vozes que o modelo aprendeu. Cada uma soa igual em todas as falas, e cada uma fala os sete idiomas.

Vozes descritas

O Ming-3.0-tts cria uma voz nova toda vez que lê uma descrição. Por isso o complemento cria a voz de cada pessoa uma vez, e todas as falas dessa pessoa a reutilizam: a voz continua a mesma ao longo do vídeo, e duas pessoas com a mesma descrição ainda soam como duas pessoas.

Emoção, velocidade, tom e volume

São configurações do complemento, então valem para todas as pessoas dubladas com uma voz clonada ou descrita. São os controles do próprio modelo, que pegam o som da voz de quem fala, mas não o seu jeito de falar, e funcionam um de cada vez: uma emoção, quando definida, se sobrepõe à velocidade, ao tom e ao volume. As vozes integradas os ignoram.

Em falas em chinês ou inglês, o modelo também produz sons escritos no texto: [Laughter], [Sigh], [Breathing], [Cough], [Uhm] e alguns outros.

Modelos

Há um único modelo, o Ming-3.0-tts-0.5B. Ele não vem dentro do complemento: é baixado para o cache de modelos compartilhado do Subtitld na primeira dublagem, do Hugging Face numa revisão fixa, com cada arquivo conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém o modelo.

A primeira fala também carrega o modelo, por isso demora mais que as seguintes. Cancelar interrompe uma fala entre dois passos, ou interrompe o download.

Opções

Em Configurações › Complementos › Ming-3.0-tts (offline, voice clone, 7 languages) › Configurar.

Idiomas

Chinês, inglês, japonês, coreano, alemão, francês e espanhol. Toda voz fala todos eles.

• zh
• en
• ja
• ko
• de
• fr
• es

Plataformas

Linux x86-64, macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e a CI verifica que tudo o que é preciso para falar está na compilação. A CI não roda o modelo em si.

Solução de problemas

• network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.
• disk_fullNão há espaço em disco suficiente para o modelo. Ele precisa de cerca de 3,4 GB livres.
• oomMemória insuficiente. Feche outros programas; o Ming-3.0-tts precisa de cerca de 5 GB livres.
• bad_paramsA fala não tem texto, a voz clonada não recebeu amostra, ou Voz que você descreve não tem descrição. A mensagem diz qual: abra o vídeo, defina um Fallback reference clip, ou escreva uma Voice description.
• unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.
• internalAlgo falhou dentro do complemento; a mensagem traz os detalhes. Se você mudou Inference device, volte para Automático.

Licença

Adequado para trabalho comercial: o complemento é Apache-2.0, e o código do Ming-3.0-tts e os pesos do Ming-3.0-tts-0.5B são MIT. As dublagens que você faz são suas. Uma voz clonada soa como uma pessoa real: clone vozes que você tem o direito de usar, e diga que uma dublagem é sintética quando isso importar.