ZONOS3-Mini offline, clonagem de voz, 43 idiomas

VozesOfflineSó CPUClonagem de vozUso comercial permitido

Dubla suas legendas em 43 idiomas com o ZONOS3-Mini, da Zyphra, numa de 27 vozes ou na própria voz de cada pessoa que fala, clonada de alguns segundos do vídeo. Roda no processador do seu próprio computador, cerca de duas vezes mais rápido que o tempo real, sem placa de vídeo.

Instale pelo Subtitld

Configurações Complementos ZONOS3-Mini (offline, voice clone, 43 languages) Instalar

O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.

Código-fonte no GitHub
Idiomas
43
Modelos
2
Vozes
28
Download do complemento
19–24 MB
RAM, no mínimo
2 GB

O que faz

43 idiomas

Do árabe, bengali e búlgaro ao turco, urdu e vietnamita, incluindo japonês, coreano, mandarim, hindi e mais oito idiomas da Índia. Números, datas, preços e unidades são lidos segundo a gramática de cada idioma.

A própria voz de quem fala

O Subtitld recorta do vídeo uma amostra de cada pessoa que fala e a envia com cada fala. O ZONOS3-Mini clona essa voz em qualquer um dos seus idiomas. Ou escolha uma de 27 vozes.

As falas terminam onde o texto termina

Cada fala é conferida enquanto é dita, para que nenhuma palavra seja pulada, e ela para quando o texto termina de ser lido, em vez de continuar com palavras que não estão na legenda.

Offline depois da primeira fala

O modelo é baixado uma vez, na primeira vez que uma fala precisa dele. Depois disso, nada sai do seu computador.

Antes de instalar

  • Disco: 1.115 MB para o modelo, baixado na primeira fala, e mais 45 MB na primeira vez que você usa a própria voz de quem fala.
  • Memória: cerca de 1,6 GB enquanto fala.
  • Tempo: num Intel Core i7-13700T, um segundo de fala leva cerca de meio segundo para ser gerado. A primeira fala espera cerca de 4 segundos a mais enquanto o modelo carrega, e a primeira fala na própria voz de quem fala, cerca de 5 segundos a mais enquanto a voz é aprendida.
  • Processador: um processador Intel ou AMD de 64 bits com AVX2 (Intel desde 2013, AMD desde 2015), ou Apple Silicon. Nenhuma placa de vídeo é usada.

Vozes

Na aba Locutores, escolha o ZONOS3-Mini como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.

28 vozes.

Gravada em Mulheres Homens
Inglês Imogen (britânica), Morgana (bruxa), Sakura (anime), Savannah (americana), Willow (ASMR) Cillian (irlandês), Jett (enérgico), Rupert (britânico), Thaddeus (locutor), Wyatt (americano)
Francês Gaspard
Alemão Liesel Wolfgang
Hindi Ananya Arjun
Italiano Ginevra Lorenzo
Coreano Seoyeon Minjun
Mandarim Meilin (enérgica) Haoran (enérgico)
Português Leonor Thiago
Espanhol Ximena Rodrigo
Télugo Sravya Chaitanya

Estas são as vozes padrão da própria Zyphra. Toda voz fala todos os idiomas, mas com o sotaque do idioma em que foi gravada, e em outro idioma esse sotaque pode ser forte: uma voz inglesa falando russo é difícil de acompanhar. Para um idioma sem voz própria aqui, use a própria voz de quem fala.

Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas ou de várias curtas juntas. Se você separou a música da voz neste vídeo, a amostra vem só da voz. O Fallback reference clip nas configurações do complemento só é usado quando nenhuma amostra pode ser recortada.

O ZONOS3-Mini escuta até um minuto da amostra e copia a voz, não as palavras nem o jeito de falar. A melhor amostra é fala limpa, perto do microfone: ruído e eco deixam o clone menos parecido com a pessoa, e uma gravação de telefone dá uma voz com som de telefone.

Modelos

O modelo não vem dentro do complemento: ele é baixado para o cache de modelos compartilhado do Subtitld na primeira vez que uma fala precisa dele, do repositório da Zyphra no Hugging Face numa revisão fixa, com cada arquivo conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento o mantém.

Modelo DownloadIdeal para
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Padrão zonos3-mini
1.1 GB
Todas as falas, em todos os idiomas e vozes
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
A própria voz de quem fala, na primeira vez que você dubla uma

O complemento roda o próprio runtime ggml da Zyphra, o mesmo código do servidor local da Zyphra, embutido no complemento sem PyTorch.

Sozinho, o modelo às vezes continua falando depois de uma fala curta, acrescentando algumas palavras que não estão na legenda. Por isso cada fala roda sob o LACI, a verificação de alinhamento da Zyphra: ele acompanha qual parte do texto está sendo dita, refaz um trecho pulado ou travado e encerra a fala assim que o texto foi lido. O complemento então corta a fala no primeiro silêncio depois desse ponto. Esse corte é uma regra do próprio complemento, não da Zyphra. No nosso teste com falas curtas de legenda, 61 de 64 saíram limpas assim, contra 37 de 64 sem isso. Uma fala que sai em silêncio é gerada de novo.

Opções

Em Configurações › Complementos › ZONOS3-Mini (offline, voice clone, 43 languages) › Configurar.

CPU threads
Padrão: 0

0 usa os processadores lógicos do computador, no máximo 8. Mais raramente é mais rápido; menos deixam o computador mais ágil enquanto dubla.

Fallback reference clip
Padrão: vazio

Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 5 a 20 segundos de uma pessoa falando, limpo, não uma gravação de telefone.

Idiomas

Árabe, bengali, búlgaro, chinês (mandarim), tcheco, dinamarquês, holandês, inglês, finlandês, francês, georgiano, alemão, grego, guzerate, hebraico, hindi, húngaro, indonésio, italiano, japonês, canarês, coreano, malaio, malaiala, marati, norueguês, oriá, polonês, português, punjabi, romeno, russo, eslovaco, espanhol, sueco, tagalo, tâmil, télugo, tailandês, turco, ucraniano, urdu e vietnamita. Um projeto em qualquer outro idioma recebe uma mensagem que explica isso: escolha outro motor de dublagem para ele.

O inglês segue a região do projeto: Reino Unido, Irlanda, Austrália, Nova Zelândia, África do Sul e Índia recebem o inglês britânico, qualquer outra região o inglês americano. O português é lido como português brasileiro, e o francês como o francês da França.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Plataformas

Sistema DownloadTestado
Linux x86-64 19.0 MBDublado com o modelo real do arquivo da versão no AlmaLinux 8, e na CI
macOS (Apple silicon) 24.0 MBDublado com o modelo real na CI (Apple Silicon)
Windows x86-64 18.5 MBDublado com o modelo real na CI

Linux x86-64, macOS em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento como o Subtitld faz, baixa o modelo e dubla falas em seis idiomas, uma fala curta e uma voz clonada.

Solução de problemas

  • network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.
  • disk_fullNão há espaço em disco suficiente para o modelo: 1.115 MB, e mais 45 MB para a própria voz de quem fala.
  • unsupported_languageO idioma do projeto não é um dos 43, ou não foi definido. Defina-o no projeto, ou escolha outro motor de dublagem.
  • unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.
  • bad_paramsA fala não tem texto, ou a voz clonada não recebeu amostra: abra o vídeo, ou defina um Fallback reference clip. A mensagem diz qual dos casos.
  • out_of_memoryO computador ficou sem memória. Feche outros programas: o ZONOS3-Mini precisa de cerca de 2 GB livres.
  • internalAlgo falhou dentro do complemento; a mensagem traz os detalhes. Num processador mais antigo sem AVX2, a mensagem diz isso.

Licença

Complemento
Apache-2.0
Motor
MIT
Runtime do ZONOS3-Mini da Zyphra, com ggml
Modelo
Apache-2.0
Pesos do ZONOS3-Mini, da Zyphra
Vozes
Apache-2.0
Vozes padrão da Zyphra
Leitura do texto
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm, com gramáticas portadas do NeMo-text-processing da NVIDIA e dados do Unicode CLDR

O complemento é Apache-2.0. Os pesos do ZONOS3-Mini e as suas vozes padrão são Apache-2.0, e o runtime da Zyphra é MIT, então trabalho comercial é permitido. A leitura do texto, o zyphra-textnorm, é MIT, com gramáticas portadas do NeMo-text-processing da NVIDIA (Apache-2.0) e dados do Unicode CLDR.

As dublagens que você faz são suas. Uma voz clonada soa como uma pessoa real: clone vozes que você tem o direito de usar, e diga que uma dublagem é sintética quando isso importar.

Versões

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Outros complementos de Vozes