ZONOS3-Mini sin conexión, clonación de voz, 43 idiomas

VocesSin conexiónSolo CPUClonación de vozUso comercial permitido

Dobla tus subtítulos en 43 idiomas con ZONOS3-Mini, de Zyphra, con una de 27 voces o con la propia voz de cada hablante clonada a partir de unos segundos del vídeo. Funciona en el procesador de tu propio ordenador, unas dos veces más rápido que el tiempo real, sin tarjeta gráfica.

Instálalo desde Subtitld

Ajustes Complementos ZONOS3-Mini (offline, voice clone, 43 languages) Instalar

Subtitld lo descarga, comprueba su SHA-256 y lo mantiene actualizado.

Código fuente en GitHub
Idiomas
43
Modelos
2
Voces
28
Descarga del complemento
19–24 MB
RAM, como mínimo
2 GB

Qué hace

43 idiomas

Del árabe, el bengalí y el búlgaro al turco, el urdu y el vietnamita, incluidos el japonés, el coreano, el mandarín, el hindi y otros ocho idiomas de la India. Los números, las fechas, los precios y las unidades se leen según la gramática propia de cada idioma.

La propia voz del hablante

Subtitld recorta del vídeo una muestra de cada hablante y la envía con cada línea. ZONOS3-Mini clona esa voz en cualquiera de sus idiomas. O elige una de 27 voces.

Las líneas terminan donde termina el texto

Cada línea se comprueba mientras se dice, para que no se salte ninguna palabra, y se detiene cuando el texto ya se ha leído en lugar de seguir con palabras que no están en el subtítulo.

Sin conexión tras la primera línea

El modelo se descarga una sola vez, la primera vez que una línea lo necesita. A partir de ahí, nada sale de tu ordenador.

Antes de instalar

  • Disco: 1115 MB para el modelo, que se descarga con la primera línea, y 45 MB más la primera vez que usas la propia voz de un hablante.
  • Memoria: unos 1,6 GB mientras habla.
  • Tiempo: en un Intel Core i7-13700T, un segundo de voz tarda alrededor de medio segundo en generarse. La primera línea espera unos 4 segundos más mientras se carga el modelo, y la primera línea con la propia voz de un hablante unos 5 segundos más mientras se aprende la voz.
  • Procesador: un procesador Intel o AMD de 64 bits con AVX2 (Intel desde 2013, AMD desde 2015), o Apple Silicon. No se usa la tarjeta gráfica.

Voces

En la pestaña Hablantes, elige ZONOS3-Mini como Motor de doblaje de un hablante y luego elige una Voz. Activa Ajustar el doblaje a la duración del subtítulo para que cada línea de ese hablante se estire o se comprima hasta su subtítulo.

28 voces.

Grabada en Mujeres Hombres
Inglés Imogen (británica), Morgana (bruja), Sakura (anime), Savannah (estadounidense), Willow (ASMR) Cillian (irlandés), Jett (enérgico), Rupert (británico), Thaddeus (locutor), Wyatt (estadounidense)
Francés Gaspard
Alemán Liesel Wolfgang
Hindi Ananya Arjun
Italiano Ginevra Lorenzo
Coreano Seoyeon Minjun
Mandarín Meilin (enérgica) Haoran (enérgico)
Portugués Leonor Thiago
Español Ximena Rodrigo
Telugu Sravya Chaitanya

Son las voces predeterminadas de la propia Zyphra. Todas las voces hablan todos los idiomas, pero con el acento del idioma en que se grabaron, y en otro idioma ese acento puede ser fuerte: una voz inglesa hablando ruso cuesta de seguir. Para un idioma que no tiene voz propia aquí, usa la propia voz del hablante.

Con Speaker's own voice, Subtitld recorta una muestra de ese hablante del audio del proyecto, de uno de sus subtítulos o de varios cortos unidos. Si separaste la música de la voz en este vídeo, la muestra sale solo de la voz. El Fallback reference clip de los ajustes del complemento solo se usa cuando no se puede recortar ninguna muestra.

ZONOS3-Mini escucha hasta un minuto de la muestra y copia la voz, no las palabras ni su forma de decirlas. La mejor muestra es voz limpia y cerca del micrófono: el ruido y el eco hacen que el clon se parezca menos al hablante, y una grabación de teléfono da una voz que suena a teléfono.

Modelos

El modelo no viene dentro del complemento: se descarga en la caché de modelos compartida de Subtitld la primera vez que una línea lo necesita, desde el repositorio de Zyphra en Hugging Face en una revisión fija, con cada archivo comprobado. Una descarga interrumpida continúa donde se quedó. Actualizar o quitar el complemento lo conserva.

Modelo DescargaIdeal para
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Predeterminado zonos3-mini
1.1 GB
Cada línea, en cada idioma y con cada voz
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
La propia voz del hablante, la primera vez que doblas una

El complemento ejecuta el propio motor ggml de Zyphra, el mismo código que el servidor local de Zyphra, integrado en el complemento sin PyTorch.

Si se le deja solo, el modelo a veces sigue hablando después de una línea corta y añade unas palabras que no están en el subtítulo. Por eso cada línea se ejecuta bajo LACI, la comprobación de alineación de Zyphra: sigue qué parte del texto se está diciendo, repite un pasaje saltado o atascado y detiene la línea en cuanto el texto se ha leído. Después, el complemento corta la línea en el primer silencio tras ese punto. Ese corte es una regla propia del complemento, no de Zyphra. En nuestra prueba con líneas de subtítulos cortas, 61 de 64 salieron limpias de esta forma, frente a 37 de 64 sin ella. Una línea que sale en silencio se vuelve a generar.

Opciones

En Ajustes › Complementos › ZONOS3-Mini (offline, voice clone, 43 languages) › Configurar.

CPU threads
Predeterminado: 0

0 usa los procesadores lógicos del ordenador, como máximo 8. Más rara vez es más rápido; menos mantienen el ordenador más ágil mientras dobla.

Fallback reference clip
Predeterminado: vacío

Un clip para la voz clonada cuando Subtitld no puede recortar uno del vídeo, por ejemplo sin ningún vídeo abierto: de 5 a 20 segundos de una persona hablando, limpios, no una grabación de teléfono.

Idiomas

Árabe, bengalí, búlgaro, chino (mandarín), checo, danés, neerlandés, inglés, finés, francés, georgiano, alemán, griego, guyaratí, hebreo, hindi, húngaro, indonesio, italiano, japonés, canarés, coreano, malayo, malayalam, maratí, noruego, oriya, polaco, portugués, panyabí, rumano, ruso, eslovaco, español, sueco, tagalo, tamil, telugu, tailandés, turco, ucraniano, urdu y vietnamita. Un proyecto en cualquier otro idioma recibe un mensaje que lo indica: elige otro motor de doblaje para él.

El inglés sigue la región del proyecto: el Reino Unido, Irlanda, Australia, Nueva Zelanda, Sudáfrica y la India reciben inglés británico y cualquier otra región, inglés estadounidense. El portugués se lee como portugués de Brasil, y el francés como el francés de Francia.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Plataformas

Sistema DescargaProbado
Linux x86-64 19.0 MBDoblado con el modelo real desde el archivo de la versión en AlmaLinux 8, y en CI
macOS (Apple silicon) 24.0 MBDoblado con el modelo real en CI (Apple Silicon)
Windows x86-64 18.5 MBDoblado con el modelo real en CI

Linux x86-64, macOS en Apple Silicon y Windows x86-64. Cada versión se compila en los tres, y en cada uno la CI instala el complemento como lo hace Subtitld, descarga el modelo y dobla líneas en seis idiomas, una línea corta y una voz clonada.

Solución de problemas

  • network_unavailableNo se pudo descargar el modelo. Comprueba tu conexión y vuelve a intentarlo: la descarga continúa donde se quedó.
  • disk_fullNo hay espacio en disco suficiente para el modelo: 1115 MB, y 45 MB más para la propia voz del hablante.
  • unsupported_languageEl idioma del proyecto no es uno de los 43, o no está definido. Defínelo en el proyecto, o elige otro motor de doblaje.
  • unsupported_voiceEl proyecto indica una voz que esta versión no tiene. Vuelve a elegir la voz en la pestaña Hablantes.
  • bad_paramsLa línea no tiene texto, o la voz clonada no recibió ninguna muestra: abre el vídeo, o define un Fallback reference clip. El mensaje dice cuál.
  • out_of_memoryEl ordenador se quedó sin memoria. Cierra otros programas: ZONOS3-Mini necesita cerca de 2 GB libres.
  • internalAlgo falló dentro del complemento; el mensaje tiene los detalles. En un procesador más antiguo sin AVX2, el mensaje lo indica.

Licencia

Complemento
Apache-2.0
Motor
MIT
El motor de ejecución de ZONOS3-Mini de Zyphra, con ggml
Modelo
Apache-2.0
Pesos de ZONOS3-Mini, de Zyphra
Voces
Apache-2.0
Las voces predeterminadas de Zyphra
Lectura del texto
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm, con gramáticas portadas de NeMo-text-processing de NVIDIA y datos de Unicode CLDR

El complemento es Apache-2.0. Los pesos de ZONOS3-Mini y sus voces predeterminadas son Apache-2.0, y el motor de ejecución de Zyphra es MIT, así que se permite el uso comercial. La lectura del texto, zyphra-textnorm, es MIT, con gramáticas portadas de NeMo-text-processing de NVIDIA (Apache-2.0) y datos de Unicode CLDR.

Los doblajes que hagas son tuyos. Una voz clonada suena como una persona real: clona voces que tengas derecho a usar, e indica que un doblaje es sintético donde importe.

Versiones

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Otros complementos de Voces