Coqui XTTS (offline + voice clone)
Clona a voz de cada locutor a partir de alguns segundos do vídeo e fala suas legendas em 16 idiomas, no seu próprio computador. O modelo é gratuito apenas para uso não comercial.
Configurações Complementos Coqui XTTS-v2 (offline + voice clone) Instalar
O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.
- Idiomas
- 16
- Modelos
- 3
- Vozes
- 3
- Download do complemento
- 302–443 MB
- RAM, no mínimo
- 6 GB
O que faz
Escolha Custom voice e o Subtitld entrega ao modelo alguns segundos desse locutor, recortados do vídeo. Funciona melhor com 6 segundos ou mais.
XTTS female 1 e XTTS male 1, para locutores que você não clona.
Ele fala no idioma do projeto, ou em inglês quando o projeto não tem nenhum definido.
A primeira fala espera o modelo carregar, e na primeira vez também baixar; as demais o reutilizam. Na CPU, uma frase longa pode levar meio minuto.
Modelo não comercial. Os pesos do XTTS-v2 são regidos pela Coqui Public Model License (CPML): gratuitos para uso não comercial, e para qualquer outra coisa é preciso uma licença paga da Coqui. O complemento aceita os termos da Coqui por você quando carrega o modelo, então você não os verá; os termos valem do mesmo jeito.
Vozes
Na aba Speakers, escolha o Coqui XTTS como Motor de dublagem de um locutor e depois uma Voz. Custom voice fica no topo da lista. Cada fala sai com a duração que o modelo lhe dá; ative Ajustar dublagem à duração da legenda para que o locutor a estique ou comprima até a legenda.
3 vozes em 1 idioma.
en2
A amostra para o clone
Quando a voz de um locutor é Custom voice, o Subtitld recorta uma amostra desse locutor do áudio do projeto:
- a legenda mais longa dele entre 3 e 12 segundos;
- se nenhuma couber, os primeiros 12 segundos de uma mais longa;
- se todas forem menores que 3 segundos, várias seguidas, unidas até chegar a 3.
O XTTS funciona melhor com 6 segundos ou mais, então dê a cada locutor pelo menos uma fala entre 6 e 12 segundos. Se você separou a música da voz deste vídeo, a amostra vem somente da voz. Default voice reference nas configurações do complemento só é usada quando nenhuma amostra pode ser recortada, por exemplo sem nenhum vídeo aberto.
O Subtitld guarda a amostra de cada locutor e só a recorta de novo se o arquivo de áudio mudar. Depois de reajustar o tempo das falas de um locutor, apague a amostra dele para obter uma nova; o nome dela termina com o nome do locutor.
| Sistema | Pasta |
|---|---|
| Linux | ~/.cache/subtitld/clone-refs |
| macOS | ~/Library/Caches/subtitld/clone-refs |
| Windows | %LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs |
Modelos
Um único modelo, baixado na primeira vez que você gera uma fala; os dois arquivos pequenos ao lado dele são suas configurações e seu vocabulário. O complemento mantém o modelo carregado até ficar ocioso por cinco minutos.
| Modelo | Download |
|---|---|
| xtts_v2 | |
| xtts_v2_config | |
| xtts_v2_vocab |
Opções
O complemento lê estas opções quando inicia, então uma mudança vale depois de ele ficar ocioso por cinco minutos, ou depois de você reiniciar o Subtitld.
Em Configurações › Complementos › Coqui XTTS-v2 (offline + voice clone) › Configurar.
cpuDeixe em CPU. As compilações lançadas são feitas com o pacote de CPU do PyTorch, então o CUDA não funciona com elas; o MPS está marcado como beta.
Um clipe para copiar quando o Subtitld não consegue tirar uma amostra do locutor do vídeo, por exemplo sem nenhum vídeo aberto. Uma amostra do vídeo sempre vem primeiro. Enquanto isto estiver definido, as duas vozes embutidas também copiam este clipe.
Idiomas
O complemento passa o idioma do projeto ao modelo, sem a região; sem idioma definido, ele fala inglês.
enesfrdeitptpltrrunlcsarzh-cnjahuko
Plataformas
| Sistema | Download | Testado |
|---|---|---|
| Linux x86-64 | 442.7 MB | Compilado e iniciado no CI |
| macOS (universal) | 323.1 MB | Compilado e iniciado no CI |
| Windows x86-64 | 302.2 MB | Compilado e iniciado no CI |
Cada versão é compilada em Linux, macOS e Windows, e o CI verifica se o programa inicia e lista as vozes. O CI não gera fala.
Solução de problemas
bad_paramsOu a legenda não tem texto, ou o clone não recebeu amostra: o Subtitld não conseguiu recortar uma (nenhum vídeo aberto, ou nenhuma legenda para aquele locutor) e nenhum clipe padrão está definido. Dê à legenda um texto, abra o vídeo, ou defina Default voice reference.internalO modelo não carregou ou não conseguiu falar a fala; a mensagem diz qual. Um download que falha no primeiro uso também termina aqui: verifique sua conexão e o espaço livre em disco, e tente de novo. Confira também se o idioma do projeto está entre os listados acima.
Licença
Não é para trabalho comercial, a menos que você tenha uma licença comercial da Coqui para os pesos do XTTS-v2. O código do próprio complemento é MIT.
Versões
- 1.0.7
Automated release for coqui-xtts v1.0.7.
Outros complementos de Vozes
-
Piper Offline
158 vozes offline em 49 idiomas, cada uma um pequeno download separado.
-
Kokoro Offline
54 vozes offline em nove idiomas, todas de um único modelo de 82 MB.
-
Supertonic Offline
Dez vozes offline, cada uma capaz de falar todos os 31 idiomas.
-
sanoTTS Offline
Vozes offline minúsculas, 28 em 14 idiomas, cada uma com menos de 10 MB.
-
Parler-TTS Offline
Vozes em inglês que seguem uma descrição escrita; 34 locutores nomeados.
-
Qwen3-TTS Clonagem
Dez idiomas, nove vozes e clonagem a partir de 3 segundos de um locutor.
-
F5-TTS Clonagem
Somente clonagem de voz, em inglês e chinês; modelo não comercial.