VoxMel sin conexión, clonación de voz, 2 idiomas
Dobla tus subtítulos en inglés y chino mandarín con VoxMel de VoxDance Lab, con la propia voz de cada hablante clonada fielmente del vídeo y sus subtítulos, o con una de ocho voces predefinidas. Funciona en tu propio ordenador, y el complemento, el modelo y las voces son todos Apache-2.0.
Ajustes Complementos VoxMel (offline, voice clone, 2 languages) Instalar
Subtitld lo descarga, comprueba su SHA-256 y lo mantiene actualizado.
- Idiomas
- 2
- Modelos
- 1
- Voces
- 9
- Descarga del complemento
- 15–19 MB
- RAM, como mínimo
- 2 GB
Escuchar
Qué hace
Subtitld recorta del vídeo unos segundos de cada hablante y los envía con los subtítulos que se dicen en ellos. VoxMel clona esa voz fielmente, en inglés o en chino mandarín.
Dos mujeres y dos hombres por idioma, para los hablantes que no quieras clonar. Las creó el propio VoxMel: no se grabó la voz de ninguna persona para ellas.
Una línea clonada tarda de dos a cuatro segundos por segundo de voz en el procesador de un portátil reciente.
El complemento, el motor audio.cpp, los pesos de VoxMel y las voces predefinidas son todos Apache-2.0.
Antes de instalar
- Disco: unos 1,2 GB, casi todo el modelo de 1,04 GB, que se descarga con la primera línea que dobles.
- Memoria: unos 2 GB libres.
- Tiempo: en un Intel Core i7-13700T, una línea con la propia voz del hablante tardó de dos a cuatro segundos por segundo de voz. En un Mac con Apple Silicon funciona en la GPU.
- Idiomas: solo inglés y chino mandarín. Para otros idiomas, VoxCPM2 clona voces en 30 y OmniVoice en 646.
Voces
En la pestaña Hablantes, elige VoxMel como Motor de doblaje de un hablante y luego elige una Voz. Activa Ajustar el doblaje a la duración del subtítulo para que cada línea de ese hablante se estire o se comprima hasta su subtítulo: VoxMel por sí mismo no controla el ritmo.
9 voces en 2 idiomas.
en4zh4
La voz clonada
Con Speaker's own voice, Subtitld recorta una muestra de ese hablante del audio del proyecto, de uno de sus subtítulos de 3 a 12 segundos, o de varios cortos unidos, y envía con ella el texto del subtítulo. VoxMel necesita la muestra y sus palabras. El Fallback reference clip de los ajustes del complemento, con su transcripción, solo se usa cuando no se puede recortar ninguna muestra.
VoxMel clona mejor dentro de un mismo idioma. Un doblaje en inglés de un hablante de mandarín funciona bien; un doblaje en mandarín de un hablante de inglés puede emborronar algunas palabras.
Clone the timbre only no funciona con este complemento, porque VoxMel no puede clonar sin las palabras de la muestra. Déjalo desactivado para los hablantes que usan VoxMel.
Voces predefinidas
Cada voz predefinida es un clip corto que VoxMel creó sin ninguna grabación de referencia, guardado con sus palabras exactas. Todas las líneas de un hablante con una voz predefinida clonan ese clip, así que la voz se mantiene igual a lo largo del vídeo. Las voces inglesas van bien con líneas en inglés y las mandarinas con líneas en mandarín.
Modelos
Hay un único modelo, VoxMel 0.6B con su vocoder Vocos, con sus pesos guardados en 8 bits, tal como lo convirtió el proyecto audio.cpp. No viene dentro del complemento: se descarga en la caché de modelos compartida de Subtitld la primera vez que doblas, desde Hugging Face en una revisión fija, y se comprueba. Una descarga interrumpida continúa donde se quedó. Actualizar o quitar el complemento conserva el modelo.
| Modelo | Descarga | Ideal para |
|---|---|---|
| VoxMel 0.6B (8-bit) Predeterminado voxmel | Todas las voces, en inglés y chino mandarín |
La primera línea también carga el modelo, así que tarda más que las siguientes. En un Mac con Apple Silicon, la primerísima vez, el complemento además pronuncia una línea corta de prueba en la GPU, y usa la CPU si eso no funciona. Cancelar detiene una línea entre dos pasos, o detiene la descarga.
Opciones
En Ajustes › Complementos › VoxMel (offline, voice clone, 2 languages) › Configurar.
32Con cuánto detalle dibuja VoxMel cada instante de la voz. 32 es el ajuste propio de VoxMel; menos es más rápido, con menos detalle.
3.5Hasta qué punto la voz sigue el texto. 3,5 es el ajuste propio de VoxMel.
3Hasta qué punto una voz clonada sigue el clip. 3,0 es el ajuste propio de VoxMel; un valor más alto puede sonar más parecido, o forzado.
00 elige los núcleos de rendimiento en las CPU que también tienen núcleos de eficiencia. Menos hilos mantienen el ordenador más ágil mientras dobla.
Un clip para la voz clonada cuando Subtitld no puede recortar uno del vídeo, por ejemplo sin ningún vídeo abierto: de 3 a 15 segundos de una persona hablando.
Exactamente lo que se dice en el clip de reserva, palabra por palabra. VoxMel clona a partir del clip y sus palabras, así que sin ellas el clip de reserva se rechaza.
Idiomas
Inglés y chino mandarín. VoxMel reconoce el idioma por el texto.
enzh
Plataformas
| Sistema | Descarga | Probado |
|---|---|---|
| Linux x86-64 | 18.8 MB | Doblado con el modelo real en una máquina real y en AlmaLinux 8; en CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea |
| macOS (Apple silicon) | 18.1 MB | En CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea (Apple Silicon) |
| Windows x86-64 | 15.4 MB | En CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea |
Linux x86-64 (cualquier distribución de 2018 en adelante, glibc 2.28 o posterior), macOS 13.3 o posterior en Apple Silicon y Windows x86-64. Cada versión se compila en los tres, y en cada uno la CI instala el complemento, descarga el modelo y lo hace hablar, clonar una voz y cancelar una línea.
Solución de problemas
network_unavailableNo se pudo descargar el modelo. Comprueba tu conexión y vuelve a intentarlo: la descarga continúa donde se quedó.disk_fullNo hay espacio en disco suficiente para el modelo. Necesita unos 1,2 GB libres.oomMemoria insuficiente. Cierra otros programas; VoxMel necesita unos 2 GB libres.bad_paramsLa línea no tiene texto, o la voz clonada no recibió ninguna muestra o ninguna palabra con ella. El mensaje dice cuál. Para una voz clonada, abre el vídeo y deja Clone the timbre only desactivado.unsupported_voiceEl proyecto indica una voz que esta versión no tiene. Vuelve a elegir la voz en la pestaña Hablantes.internalAlgo falló dentro del complemento; el mensaje tiene los detalles.
Licencia
Apto para uso comercial: el complemento, sus voces predefinidas, el motor audio.cpp y los pesos de VoxMel son todos Apache-2.0, y el vocoder Vocos y ggml son MIT. Los doblajes que hagas son tuyos. Una voz clonada suena como una persona real: clona voces que tengas derecho a usar, y di que un doblaje es sintético cuando importe.
Versiones
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Otros complementos de Voces
-
Piper Sin conexión
158 voces sin conexión en 49 idiomas, cada una una descarga pequeña aparte.
-
Kokoro Sin conexión
54 voces sin conexión en nueve idiomas, todas de un único modelo de 82 MB.
-
Supertonic Sin conexión
Diez voces sin conexión, cada una capaz de hablar los 31 idiomas del modelo.
-
sanoTTS Sin conexión
Voces sin conexión diminutas, 28 en 14 idiomas, cada una de menos de 10 MB.
-
Parler-TTS Sin conexión
Voces en inglés que siguen una descripción escrita; 34 hablantes con nombre.
-
Qwen3-TTS Clonación
Diez idiomas, nueve voces y clonación desde 3 segundos de un hablante.
-
Coqui XTTS Clonación
Clonación de voz en 16 idiomas, con licencia de modelo no comercial.
-
F5-TTS Clonación
Solo clonación de voz, en inglés y chino; modelo no comercial.
-
VoxCPM2 Clonación
30 idiomas a 48 kHz, con la propia voz del hablante o una descrita. Pesado.
-
Pocket TTS Sin conexión
Rápido y ligero, solo CPU. 23 voces en siete idiomas europeos.
-
Sopro Clonación
La propia voz del hablante, rápido en una CPU. Cuatro idiomas.
-
KittenTTS 2 Clonación
La propia voz del hablante en 16 idiomas, en una CPU. Pesos bajo una licencia restrictiva.
-
Ming-3.0-tts Clonación
7 idiomas a 44,1 kHz: voces clonadas, integradas o descritas, con emoción. Pesado.
-
Scylla's Band Sin conexión
Catorce voces en seis idiomas, ligero y rápido en una CPU. Solo voces predefinidas.
-
Audio8 TTS Clonación
La propia voz del hablante en 23 idiomas, cantonés y árabe incluidos. Lento en una CPU.
-
Inflect Sin conexión
Voz natural en inglés con un modelo diminuto, rápido en cualquier CPU.
-
Paradee Sin conexión
Cuatro voces naturales en inglés, americanas y británicas, con un solo modelo de 8,5 MB.
-
BlueTTS Clonación
Hebreo y yidis, y cinco idiomas más. La propia voz del hablante, rápido en una CPU.
-
ZONOS3-Mini Clonación
43 idiomas, del árabe al vietnamita. La propia voz del hablante, en una CPU.
-
Reverb Clonación
Siete idiomas europeos y la propia voz del hablante, en una CPU; modelo no comercial.
-
OmniVoice Clonación
646 idiomas, la propia voz del hablante de un idioma a otro; modelo no comercial.
-
tiny-voca Sin conexión
Dos voces en inglés americano con un modelo de 4,5 millones de parámetros, sin nada que descargar.
-
Chatterbox Clonación
La propia voz del hablante en 20 idiomas, en una CPU y sin cuenta.