KittenTTS 2 (offline, voice clone, 16 languages)

O que faz

Antes de instalar

• Disco: cerca de 1,7 GB para o modelo, baixado na primeira fala, e mais 540 MB para a clonagem, na primeira fala clonada.
• Memória: cerca de 2,3 GB enquanto fala, então cerca de 3 GB livres.
• Processador: em Intel e AMD, um com AVX2, FMA e F16C, que os processadores Intel têm desde 2013 e os AMD desde 2015. Alguns processadores Celeron, Pentium e Atom não têm essas instruções, e neles a primeira fala falha com uma mensagem que explica isso. Todo Mac com Apple Silicon funciona.

Clone uma voz só com o consentimento de quem é dono dela.

Vozes

Na aba Speakers, escolha o KittenTTS 2 como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda. Defina o idioma do projeto antes de dublar.

116 vozes em 16 idiomas.

• ar 4
• de 4
• en 50
• es 5
• fr 5
• hi 5
• id 2
• it 6
• ja 4
• ko 3
• nl 3
• pl 4
• pt 6
• ru 7
• tr 3
• zh 4

Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de 3 a 12 segundos, e a envia com o texto da legenda dito nela. O KittenTTS continua a partir dessa amostra, o que chega mais perto de quem fala e é o mais estável. No nosso teste, com amostras em inglês e falas em português, as dublagens clonadas soaram quase tão próximas de quem fala quanto as do VoxCPM2, e erraram menos palavras. Se você separou a música da voz neste vídeo, a amostra vem só da voz. O Fallback reference clip nas configurações do complemento só é usado quando nenhuma amostra pode ser recortada.

Cada voz pronta pertence a um idioma: é uma gravação, e o modelo continua com o sotaque dela. Por isso a lista de Voz mostra as vozes do idioma do seu projeto. O inglês tem 50, entre elas Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki e Leo, do KittenTTS 0.8, e personagens como Marcus, um DJ de rádio de voz suave, ou Victoria, uma narradora majestosa. Os outros idiomas têm de 2 a 7 cada um. A KittenML não diz de onde vêm as gravações.

De vez em quando o modelo fica em silêncio em vez de dizer uma fala. O complemento percebe isso e tenta de novo, até três vezes, para que você não precise fazer isso.

Modelos

Nenhum arquivo da KittenML vem dentro do complemento: eles são baixados para o cache de modelos compartilhado do Subtitld na primeira dublagem, do repositório da KittenML no Hugging Face numa revisão fixa, com cada arquivo conferido. O codificador de referência, que transforma uma amostra numa voz, vem da própria versão publicada do complemento, na primeira fala clonada. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém os modelos.

O complemento roda o programa em C++ da própria KittenML para o KittenTTS 2, que é cerca de quatro vezes mais rápido que o pacote Python da KittenML e precisa de um terço da memória dele.

Opções

Em Configurações › Complementos › KittenTTS 2 (offline, voice clone, 16 languages) › Configurar.

Idiomas

Inglês, espanhol, francês, alemão, italiano, português, russo, chinês, japonês, coreano, árabe, hindi, turco, holandês, polonês e indonésio. Um projeto em qualquer outro idioma recebe uma mensagem que explica isso: escolha outro motor de dublagem para ele.

Texto em inglês é lido como deve ser: "the 3rd of May" vira "the third of May", e "$12.50" vira "twelve dollars fifty". Nos outros idiomas, escreva números e símbolos por extenso quando isso importar.

• en
• es
• fr
• de
• it
• pt
• ru
• zh
• ja
• ko
• ar
• hi
• tr
• nl
• pl
• id

Plataformas

Linux x86-64, macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento como o Subtitld faz, baixa o modelo e dubla com ele, também numa voz clonada. No Linux, é preciso glibc 2.35 ou mais recente.

Solução de problemas

• network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.
• disk_fullNão há espaço em disco suficiente para o modelo, cerca de 1,7 GB, ou 2,2 GB com a clonagem.
• unsupported_languageO idioma do projeto não é um dos 16, ou não foi definido. Defina-o no projeto, ou escolha outro motor de dublagem.
• unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Speakers.
• bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra: abra o vídeo, ou defina um Fallback reference clip. A mensagem diz qual dos dois.
• internalAlgo falhou dentro do complemento; a mensagem traz os detalhes. Se ela disser que o processador não tem AVX2, FMA e F16C, este computador não consegue rodar o KittenTTS 2. Se disser que a fala continuou saindo em silêncio, experimente outra voz ou reescreva a fala.

Licença

O complemento é Apache-2.0. O runtime da KittenML é MIT e Apache-2.0, o LibTorch é BSD-3-Clause, e as partes do codificador de referência são MIT. Os pesos do KittenTTS 2 estão sob a Stellon Labs Community License, que você aceita quando o complemento os baixa: gratuitos para pesquisa e uso pessoal, e para uso comercial só abaixo de US$ 1.000.000 de receita anual e de financiamento total, com registro na Stellon Labs. Os pesos e o que eles geram não podem ser usados para treinar outros modelos. As dublagens que você faz são suas. Powered by KittenML.