ZONOS3-Mini offline, clonagem de voz, 43 idiomas
Dubla suas legendas em 43 idiomas com o ZONOS3-Mini, da Zyphra, numa de 27 vozes ou na própria voz de cada pessoa que fala, clonada de alguns segundos do vídeo. Roda no processador do seu próprio computador, cerca de duas vezes mais rápido que o tempo real, sem placa de vídeo.
Configurações Complementos ZONOS3-Mini (offline, voice clone, 43 languages) Instalar
O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.
- Idiomas
- 43
- Modelos
- 2
- Vozes
- 28
- Download do complemento
- 19–24 MB
- RAM, no mínimo
- 2 GB
O que faz
Do árabe, bengali e búlgaro ao turco, urdu e vietnamita, incluindo japonês, coreano, mandarim, hindi e mais oito idiomas da Índia. Números, datas, preços e unidades são lidos segundo a gramática de cada idioma.
O Subtitld recorta do vídeo uma amostra de cada pessoa que fala e a envia com cada fala. O ZONOS3-Mini clona essa voz em qualquer um dos seus idiomas. Ou escolha uma de 27 vozes.
Cada fala é conferida enquanto é dita, para que nenhuma palavra seja pulada, e ela para quando o texto termina de ser lido, em vez de continuar com palavras que não estão na legenda.
O modelo é baixado uma vez, na primeira vez que uma fala precisa dele. Depois disso, nada sai do seu computador.
Antes de instalar
- Disco: 1.115 MB para o modelo, baixado na primeira fala, e mais 45 MB na primeira vez que você usa a própria voz de quem fala.
- Memória: cerca de 1,6 GB enquanto fala.
- Tempo: num Intel Core i7-13700T, um segundo de fala leva cerca de meio segundo para ser gerado. A primeira fala espera cerca de 4 segundos a mais enquanto o modelo carrega, e a primeira fala na própria voz de quem fala, cerca de 5 segundos a mais enquanto a voz é aprendida.
- Processador: um processador Intel ou AMD de 64 bits com AVX2 (Intel desde 2013, AMD desde 2015), ou Apple Silicon. Nenhuma placa de vídeo é usada.
Vozes
Na aba Locutores, escolha o ZONOS3-Mini como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.
28 vozes.
| Gravada em | Mulheres | Homens |
|---|---|---|
| Inglês | Imogen (britânica), Morgana (bruxa), Sakura (anime), Savannah (americana), Willow (ASMR) | Cillian (irlandês), Jett (enérgico), Rupert (britânico), Thaddeus (locutor), Wyatt (americano) |
| Francês | Gaspard | |
| Alemão | Liesel | Wolfgang |
| Hindi | Ananya | Arjun |
| Italiano | Ginevra | Lorenzo |
| Coreano | Seoyeon | Minjun |
| Mandarim | Meilin (enérgica) | Haoran (enérgico) |
| Português | Leonor | Thiago |
| Espanhol | Ximena | Rodrigo |
| Télugo | Sravya | Chaitanya |
Estas são as vozes padrão da própria Zyphra. Toda voz fala todos os idiomas, mas com o sotaque do idioma em que foi gravada, e em outro idioma esse sotaque pode ser forte: uma voz inglesa falando russo é difícil de acompanhar. Para um idioma sem voz própria aqui, use a própria voz de quem fala.
Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas ou de várias curtas juntas. Se você separou a música da voz neste vídeo, a amostra vem só da voz. O Fallback reference clip nas configurações do complemento só é usado quando nenhuma amostra pode ser recortada.
O ZONOS3-Mini escuta até um minuto da amostra e copia a voz, não as palavras nem o jeito de falar. A melhor amostra é fala limpa, perto do microfone: ruído e eco deixam o clone menos parecido com a pessoa, e uma gravação de telefone dá uma voz com som de telefone.
Modelos
O modelo não vem dentro do complemento: ele é baixado para o cache de modelos compartilhado do Subtitld na primeira vez que uma fala precisa dele, do repositório da Zyphra no Hugging Face numa revisão fixa, com cada arquivo conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento o mantém.
| Modelo | Download | Ideal para |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Padrão zonos3-mini | Todas as falas, em todos os idiomas e vozes | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | A própria voz de quem fala, na primeira vez que você dubla uma |
O complemento roda o próprio runtime ggml da Zyphra, o mesmo código do servidor local da Zyphra, embutido no complemento sem PyTorch.
Sozinho, o modelo às vezes continua falando depois de uma fala curta, acrescentando algumas palavras que não estão na legenda. Por isso cada fala roda sob o LACI, a verificação de alinhamento da Zyphra: ele acompanha qual parte do texto está sendo dita, refaz um trecho pulado ou travado e encerra a fala assim que o texto foi lido. O complemento então corta a fala no primeiro silêncio depois desse ponto. Esse corte é uma regra do próprio complemento, não da Zyphra. No nosso teste com falas curtas de legenda, 61 de 64 saíram limpas assim, contra 37 de 64 sem isso. Uma fala que sai em silêncio é gerada de novo.
Opções
Em Configurações › Complementos › ZONOS3-Mini (offline, voice clone, 43 languages) › Configurar.
00 usa os processadores lógicos do computador, no máximo 8. Mais raramente é mais rápido; menos deixam o computador mais ágil enquanto dubla.
Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 5 a 20 segundos de uma pessoa falando, limpo, não uma gravação de telefone.
Idiomas
Árabe, bengali, búlgaro, chinês (mandarim), tcheco, dinamarquês, holandês, inglês, finlandês, francês, georgiano, alemão, grego, guzerate, hebraico, hindi, húngaro, indonésio, italiano, japonês, canarês, coreano, malaio, malaiala, marati, norueguês, oriá, polonês, português, punjabi, romeno, russo, eslovaco, espanhol, sueco, tagalo, tâmil, télugo, tailandês, turco, ucraniano, urdu e vietnamita. Um projeto em qualquer outro idioma recebe uma mensagem que explica isso: escolha outro motor de dublagem para ele.
O inglês segue a região do projeto: Reino Unido, Irlanda, Austrália, Nova Zelândia, África do Sul e Índia recebem o inglês britânico, qualquer outra região o inglês americano. O português é lido como português brasileiro, e o francês como o francês da França.
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
Plataformas
| Sistema | Download | Testado |
|---|---|---|
| Linux x86-64 | 19.0 MB | Dublado com o modelo real do arquivo da versão no AlmaLinux 8, e na CI |
| macOS (Apple silicon) | 24.0 MB | Dublado com o modelo real na CI (Apple Silicon) |
| Windows x86-64 | 18.5 MB | Dublado com o modelo real na CI |
Linux x86-64, macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento como o Subtitld faz, baixa o modelo e dubla falas em seis idiomas, uma fala curta e uma voz clonada.
Solução de problemas
network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.disk_fullNão há espaço em disco suficiente para o modelo: 1.115 MB, e mais 45 MB para a própria voz de quem fala.unsupported_languageO idioma do projeto não é um dos 43, ou não foi definido. Defina-o no projeto, ou escolha outro motor de dublagem.unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra: abra o vídeo, ou defina um Fallback reference clip. A mensagem diz qual dos casos.out_of_memoryO computador ficou sem memória. Feche outros programas: o ZONOS3-Mini precisa de cerca de 2 GB livres.internalAlgo falhou dentro do complemento; a mensagem traz os detalhes. Num processador mais antigo sem AVX2, a mensagem diz isso.
Licença
O complemento é Apache-2.0. Os pesos do ZONOS3-Mini e as suas vozes padrão são Apache-2.0, e o runtime da Zyphra é MIT, então trabalho comercial é permitido. A leitura do texto, o zyphra-textnorm, é MIT, com gramáticas portadas do NeMo-text-processing da NVIDIA (Apache-2.0) e dados do Unicode CLDR.
As dublagens que você faz são suas. Uma voz clonada soa como uma pessoa real: clone vozes que você tem o direito de usar, e diga que uma dublagem é sintética quando isso importar.
Versões
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
Outros complementos de Vozes
-
Piper Offline
158 vozes offline em 49 idiomas, cada uma um pequeno download separado.
-
Kokoro Offline
54 vozes offline em nove idiomas, todas de um único modelo de 82 MB.
-
Supertonic Offline
Dez vozes offline, cada uma capaz de falar todos os 31 idiomas.
-
sanoTTS Offline
Vozes offline minúsculas, 28 em 14 idiomas, cada uma com menos de 10 MB.
-
Parler-TTS Offline
Vozes em inglês que seguem uma descrição escrita; 34 locutores nomeados.
-
Qwen3-TTS Clonagem
Dez idiomas, nove vozes e clonagem a partir de 3 segundos de um locutor.
-
Coqui XTTS Clonagem
Clonagem de voz em 16 idiomas, com licença de modelo não comercial.
-
F5-TTS Clonagem
Somente clonagem de voz, em inglês e chinês; modelo não comercial.
-
VoxCPM2 Clonagem
30 idiomas a 48 kHz, na própria voz de quem fala ou numa voz descrita. Pesado.
-
Pocket TTS Offline
Rápido e leve, só CPU. 23 vozes em sete idiomas europeus.
-
Sopro Clonagem
A própria voz de quem fala, rápido na CPU. Quatro idiomas.
-
KittenTTS 2 Clonagem
A própria voz de quem fala em 16 idiomas, na CPU. Pesos sob uma licença restritiva.
-
Ming-3.0-tts Clonagem
7 idiomas a 44,1 kHz: vozes clonadas, integradas ou descritas, com emoção. Pesado.
-
Scylla's Band Offline
Catorze vozes em seis idiomas, leve e rápido na CPU. Só vozes prontas.
-
Audio8 TTS Clonagem
A própria voz de quem fala em 11 idiomas, cantonês incluído. Lento numa CPU.
-
Inflect Offline
Fala natural em inglês de um modelo minúsculo, rápido em qualquer CPU.
-
Paradee Offline
Quatro vozes naturais em inglês, americanas e britânicas, de um único modelo de 8,5 MB.
-
BlueTTS Clonagem
Hebraico e iídiche, e mais cinco idiomas. A própria voz de quem fala, rápido na CPU.
-
Chatterbox Clonagem
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…