Audio8 TTS (offline, voice clone, 11 languages)

O que faz

Antes de instalar

O Audio8 TTS exige mais do seu computador que os motores de dublagem leves:

• Disco: cerca de 1 GB para o modelo, baixado na primeira fala que você dublar.
• Memória: cerca de 1,6 GB enquanto fala, e até 3 GB por um instante na primeira vez que ouve uma nova pessoa.
• Tempo: cada segundo de fala leva de dois a três segundos para ser gerado, num Intel Core i7-13700T. Um vídeo de dez minutos pode levar cerca de meia hora.
• Processador: qualquer processador Intel ou AMD de 64 bits, ou Apple Silicon. Nenhuma placa de vídeo é usada.

Para dublagens rápidas, o Sopro ou o Chatterbox clonam vozes em cerca de tempo real ou mais rápido, em menos idiomas.

Vozes

Na aba Locutores, escolha o Audio8 TTS como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.

1 voz.

O Audio8 TTS tem uma única voz, Speaker's own voice, e nenhuma voz pronta: cada fala clona uma pessoa. O Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas de 3 a 12 segundos, ou de várias curtas juntas. Se você separou a música da voz neste vídeo, a amostra vem só da voz. O Fallback reference clip nas configurações do complemento só é usado quando nenhuma amostra pode ser recortada.

O Subtitld envia o texto da legenda com a amostra, e o Audio8 TTS o usa para chegar mais perto de quem fala. Sem ele, por exemplo quando o idioma original do projeto não está definido, o complemento clona só a partir do som da amostra, um pouco menos de perto. Se suas legendas parafraseiam a fala em vez de transcrevê-la, ative Don't send the subtitles of the reference clip.

A primeira fala de cada pessoa leva alguns segundos a mais, enquanto o complemento ouve a sua amostra. Ele a guarda, então as próximas falas dessa pessoa começam na hora.

Modelos

Há um único modelo, o Audio8 TTS Preview 0.6B, na versão ONNX de 4 bits que os seus criadores publicam para processadores. Ele não vem dentro do complemento: é baixado para o cache de modelos compartilhado do Subtitld na primeira dublagem, do Hugging Face numa revisão fixa, com cada arquivo conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém o modelo.

O complemento roda essa versão sem PyTorch. Com a mesma voz, a mesma fala e a mesma semente, ele dá exatamente o mesmo resultado que o runtime da própria Audio8.

Opções

Em Configurações › Complementos › Audio8 TTS (offline, voice clone, 11 languages) › Configurar.

Idiomas

Chinês, cantonês, japonês, coreano, inglês, neerlandês, francês, alemão, italiano, polonês e espanhol. Uma pessoa clonada de um trecho num deles fala todos os outros. Um projeto em qualquer outro idioma recebe uma mensagem dizendo isso: escolha outro motor de dublagem para ele.

A Audio8 chama este modelo de prévia: estes são os idiomas que ela recomenda. Verificamos uma frase em cada um deles, com o Whisper e uma pontuação de semelhança de voz, não de ouvido em todos os idiomas.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Plataformas

Linux x86-64, macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento como o Subtitld faz, baixa o modelo e dubla com ele.

Solução de problemas

• network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.
• disk_fullNão há espaço em disco suficiente para o modelo, cerca de 1 GB.
• unsupported_languageO idioma do projeto não é um dos onze, ou não foi definido. Defina-o no projeto, ou escolha outro motor de dublagem.
• unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.
• bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra: abra o vídeo, ou defina um Fallback reference clip. A mensagem diz qual.
• out_of_memoryO computador ficou sem memória. Feche outros programas: o Audio8 TTS precisa de cerca de 3 GB livres.
• internalAlgo falhou dentro do complemento; a mensagem traz os detalhes.

Licença

Adequado para trabalho comercial: o complemento é Apache-2.0, assim como o código do Audio8 TTS e os pesos do Audio8 TTS Preview 0.6B. As dublagens que você faz são suas. Uma voz clonada soa como uma pessoa real: clone vozes que você tem o direito de usar, e diga que uma dublagem é sintética quando isso importar.