VoxMel sin conexión, clonación de voz, 2 idiomas

VocesSin conexiónGPU opcionalClonación de vozUso comercial permitido

Dobla tus subtítulos en inglés y chino mandarín con VoxMel de VoxDance Lab, con la propia voz de cada hablante clonada fielmente del vídeo y sus subtítulos, o con una de ocho voces predefinidas. Funciona en tu propio ordenador, y el complemento, el modelo y las voces son todos Apache-2.0.

Instálalo desde Subtitld

Ajustes Complementos VoxMel (offline, voice clone, 2 languages) Instalar

Subtitld lo descarga, comprueba su SHA-256 y lo mantiene actualizado.

Código fuente en GitHub
Idiomas
2
Modelos
1
Voces
9
Descarga del complemento
15–19 MB
RAM, como mínimo
2 GB

Escuchar

Qué hace

Clones fieles

Subtitld recorta del vídeo unos segundos de cada hablante y los envía con los subtítulos que se dicen en ellos. VoxMel clona esa voz fielmente, en inglés o en chino mandarín.

Ocho voces predefinidas

Dos mujeres y dos hombres por idioma, para los hablantes que no quieras clonar. Las creó el propio VoxMel: no se grabó la voz de ninguna persona para ellas.

Rápido para un modelo de clonación

Una línea clonada tarda de dos a cuatro segundos por segundo de voz en el procesador de un portátil reciente.

Libre para uso comercial

El complemento, el motor audio.cpp, los pesos de VoxMel y las voces predefinidas son todos Apache-2.0.

Antes de instalar

  • Disco: unos 1,2 GB, casi todo el modelo de 1,04 GB, que se descarga con la primera línea que dobles.
  • Memoria: unos 2 GB libres.
  • Tiempo: en un Intel Core i7-13700T, una línea con la propia voz del hablante tardó de dos a cuatro segundos por segundo de voz. En un Mac con Apple Silicon funciona en la GPU.
  • Idiomas: solo inglés y chino mandarín. Para otros idiomas, VoxCPM2 clona voces en 30 y OmniVoice en 646.

Voces

En la pestaña Hablantes, elige VoxMel como Motor de doblaje de un hablante y luego elige una Voz. Activa Ajustar el doblaje a la duración del subtítulo para que cada línea de ese hablante se estire o se comprima hasta su subtítulo: VoxMel por sí mismo no controla el ritmo.

9 voces en 2 idiomas.

  • en 4
  • zh 4

La voz clonada

Con Speaker's own voice, Subtitld recorta una muestra de ese hablante del audio del proyecto, de uno de sus subtítulos de 3 a 12 segundos, o de varios cortos unidos, y envía con ella el texto del subtítulo. VoxMel necesita la muestra y sus palabras. El Fallback reference clip de los ajustes del complemento, con su transcripción, solo se usa cuando no se puede recortar ninguna muestra.

VoxMel clona mejor dentro de un mismo idioma. Un doblaje en inglés de un hablante de mandarín funciona bien; un doblaje en mandarín de un hablante de inglés puede emborronar algunas palabras.

Clone the timbre only no funciona con este complemento, porque VoxMel no puede clonar sin las palabras de la muestra. Déjalo desactivado para los hablantes que usan VoxMel.

Voces predefinidas

Cada voz predefinida es un clip corto que VoxMel creó sin ninguna grabación de referencia, guardado con sus palabras exactas. Todas las líneas de un hablante con una voz predefinida clonan ese clip, así que la voz se mantiene igual a lo largo del vídeo. Las voces inglesas van bien con líneas en inglés y las mandarinas con líneas en mandarín.

Modelos

Hay un único modelo, VoxMel 0.6B con su vocoder Vocos, con sus pesos guardados en 8 bits, tal como lo convirtió el proyecto audio.cpp. No viene dentro del complemento: se descarga en la caché de modelos compartida de Subtitld la primera vez que doblas, desde Hugging Face en una revisión fija, y se comprueba. Una descarga interrumpida continúa donde se quedó. Actualizar o quitar el complemento conserva el modelo.

Modelo DescargaIdeal para
VoxMel 0.6B (8-bit) Predeterminado voxmel
992 MB
Todas las voces, en inglés y chino mandarín

La primera línea también carga el modelo, así que tarda más que las siguientes. En un Mac con Apple Silicon, la primerísima vez, el complemento además pronuncia una línea corta de prueba en la GPU, y usa la CPU si eso no funciona. Cancelar detiene una línea entre dos pasos, o detiene la descarga.

Opciones

En Ajustes › Complementos › VoxMel (offline, voice clone, 2 languages) › Configurar.

Quality steps
Predeterminado: 32

Con cuánto detalle dibuja VoxMel cada instante de la voz. 32 es el ajuste propio de VoxMel; menos es más rápido, con menos detalle.

Text guidance
Predeterminado: 3.5

Hasta qué punto la voz sigue el texto. 3,5 es el ajuste propio de VoxMel.

Voice guidance
Predeterminado: 3

Hasta qué punto una voz clonada sigue el clip. 3,0 es el ajuste propio de VoxMel; un valor más alto puede sonar más parecido, o forzado.

CPU threads
Predeterminado: 0

0 elige los núcleos de rendimiento en las CPU que también tienen núcleos de eficiencia. Menos hilos mantienen el ordenador más ágil mientras dobla.

Fallback reference clip
Predeterminado: vacío

Un clip para la voz clonada cuando Subtitld no puede recortar uno del vídeo, por ejemplo sin ningún vídeo abierto: de 3 a 15 segundos de una persona hablando.

Fallback reference transcript
Predeterminado: vacío

Exactamente lo que se dice en el clip de reserva, palabra por palabra. VoxMel clona a partir del clip y sus palabras, así que sin ellas el clip de reserva se rechaza.

Idiomas

Inglés y chino mandarín. VoxMel reconoce el idioma por el texto.

  • en
  • zh

Plataformas

Sistema DescargaProbado
Linux x86-64 18.8 MBDoblado con el modelo real en una máquina real y en AlmaLinux 8; en CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea
macOS (Apple silicon) 18.1 MBEn CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea (Apple Silicon)
Windows x86-64 15.4 MBEn CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea

Linux x86-64 (cualquier distribución de 2018 en adelante, glibc 2.28 o posterior), macOS 13.3 o posterior en Apple Silicon y Windows x86-64. Cada versión se compila en los tres, y en cada uno la CI instala el complemento, descarga el modelo y lo hace hablar, clonar una voz y cancelar una línea.

Solución de problemas

  • network_unavailableNo se pudo descargar el modelo. Comprueba tu conexión y vuelve a intentarlo: la descarga continúa donde se quedó.
  • disk_fullNo hay espacio en disco suficiente para el modelo. Necesita unos 1,2 GB libres.
  • oomMemoria insuficiente. Cierra otros programas; VoxMel necesita unos 2 GB libres.
  • bad_paramsLa línea no tiene texto, o la voz clonada no recibió ninguna muestra o ninguna palabra con ella. El mensaje dice cuál. Para una voz clonada, abre el vídeo y deja Clone the timbre only desactivado.
  • unsupported_voiceEl proyecto indica una voz que esta versión no tiene. Vuelve a elegir la voz en la pestaña Hablantes.
  • internalAlgo falló dentro del complemento; el mensaje tiene los detalles.

Licencia

Complemento
Apache-2.0
con sus ocho voces predefinidas
Motor
Apache-2.0
audio.cpp, con ggml (MIT)
Modelo
Apache-2.0
Pesos de VoxMel 0.6B, de VoxDance Lab; vocoder Vocos MIT

Apto para uso comercial: el complemento, sus voces predefinidas, el motor audio.cpp y los pesos de VoxMel son todos Apache-2.0, y el vocoder Vocos y ggml son MIT. Los doblajes que hagas son tuyos. Una voz clonada suena como una persona real: clona voces que tengas derecho a usar, y di que un doblaje es sintético cuando importe.

Versiones

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Otros complementos de Voces