BlueTTS sin conexión, clonación de voz, hebreo + 6 idiomas

VocesSin conexiónSolo CPUClonación de vozUso comercial permitido

Dobla tus subtítulos en hebreo, inglés, alemán, español, italiano, ruso y yidis con BlueV3, de Maxim Melichov, con una de 15 voces o con la propia voz de cada hablante clonada a partir de unos diez segundos del vídeo. Funciona en el procesador de tu propio ordenador, de tres a cinco veces más rápido que el tiempo real, sin tarjeta gráfica.

Instálalo desde Subtitld

Ajustes Complementos BlueTTS (offline, voice clone, Hebrew + 6 languages) Instalar

Subtitld lo descarga, comprueba su SHA-256 y lo mantiene actualizado.

Código fuente en GitHub
Idiomas
7
Modelos
5
Voces
16
Descarga del complemento
37–62 MB
RAM, como mínimo
2.5 GB

Qué hace

Hebreo y yidis

BlueTTS se hizo primero para el hebreo: lee texto hebreo sin vocalizar, incluidos números, fechas y precios, y las palabras inglesas dentro de una línea en hebreo se leen en inglés. También habla yidis, algo que pocos motores de doblaje hacen.

La propia voz del hablante

Subtitld recorta del vídeo unos diez segundos de cada hablante y los envía con cada línea. BlueTTS clona esa voz en cualquiera de sus siete idiomas. O elige una de 15 voces.

Rápido en cualquier ordenador

En el procesador de un portátil habla de tres a cinco veces más rápido que el tiempo real. No se usa la tarjeta gráfica.

Sin conexión tras la primera línea

Cada parte se descarga una sola vez, la primera vez que una línea la necesita. A partir de ahí, nada sale de tu ordenador.

Antes de instalar

Lo que necesita BlueTTS depende de los idiomas que dobles:

  • Disco: 428 MB para el modelo, que se descarga con la primera línea. El hebreo añade 1,2 GB (o 312 MB con el modelo de lectura compacto), el yidis 307 MB y la propia voz del hablante 136 MB, cada uno la primera vez que lo usas.
  • Memoria: unos 700 MB mientras habla, unos 2 GB una vez cargado el hebreo.
  • Tiempo: en un Intel Core i7-13700T, un segundo de voz tarda alrededor de una quinta parte de segundo en generarse, un tercio de segundo en hebreo. La primera línea en hebreo espera unos 15 segundos más mientras se carga el modelo de lectura.
  • Procesador: cualquier procesador Intel o AMD de 64 bits, o Apple Silicon. No se usa la tarjeta gráfica.

Voces

En la pestaña Hablantes, elige BlueTTS como Motor de doblaje de un hablante y luego elige una Voz. Activa Ajustar el doblaje a la duración del subtítulo para que cada línea de ese hablante se estire o se comprima hasta su subtítulo.

16 voces.

Voces
Mujeres Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Hombres Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Todas las voces hablan los siete idiomas, cada una a su propio ritmo natural en cada idioma. Se crearon a partir de lectores del corpus de audiolibros LibriTTS-R.

Con Speaker's own voice, Subtitld recorta una muestra de ese hablante del audio del proyecto, de uno de sus subtítulos o de varios cortos unidos. Si separaste la música de la voz en este vídeo, la muestra sale solo de la voz. El Fallback reference clip de los ajustes del complemento solo se usa cuando no se puede recortar ninguna muestra.

BlueTTS escucha más o menos los primeros nueve segundos de la muestra, y copia el timbre y el tono de la voz, no su forma de hablar. La mejor muestra es voz limpia y cerca del micrófono: el ruido y el eco hacen que el clon se parezca menos al hablante, y una grabación de teléfono da una voz que suena a teléfono.

Modelos

El modelo y los modelos de lectura no vienen dentro del complemento: cada uno se descarga en la caché de modelos compartida de Subtitld la primera vez que una línea lo necesita, desde Hugging Face en una revisión fija, con cada archivo comprobado. Una descarga interrumpida continúa donde se quedó. Actualizar o quitar el complemento los conserva.

Modelo DescargaIdeal para
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Predeterminado bluev3
428 MB
Cada línea: las voces, y cómo se leen el inglés, el alemán, el español, el italiano y el ruso
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
La propia voz del hablante, la primera vez que doblas una
RenikudPlus Hebrew G2P renikudplus
1.2 GB
El hebreo, la primera vez que lo doblas (el predeterminado)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
El hebreo, cuando eliges el modelo de lectura compacto
ReNikud-yi Yiddish context model renikud-yi
307 MB
El yidis, la primera vez que lo doblas

El complemento ejecuta el propio código de BlueTTS sobre ONNX Runtime, sin PyTorch. Con la misma voz, la misma línea y la misma semilla, da exactamente lo mismo que el propio paquete de Python de BlueTTS.

Opciones

En Ajustes › Complementos › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Configurar.

CPU threads
Predeterminado: 0

0 usa los procesadores lógicos del ordenador, como máximo 8. Más rara vez es más rápido; menos mantienen el ordenador más ágil mientras dobla.

Quality steps
Predeterminado: 8

Cuántas pasadas hace el modelo sobre cada línea. 8 es el ajuste del propio BlueTTS. 4 es unas 1,7 veces más rápido, con una calidad algo menor.

Hebrew reading model
Predeterminado: accurate

Cómo se convierte el texto hebreo en sonidos. accurate es el modelo completo, 1,2 GB, con unos 2 GB de memoria. compact es el mismo modelo reducido, 312 MB: en nuestra prueba leyó de otra forma cerca de 1 palabra de cada 200, más a menudo mal.

Fallback reference clip
Predeterminado: vacío

Un clip para la voz clonada cuando Subtitld no puede recortar uno del vídeo, por ejemplo sin ningún vídeo abierto: unos 10 segundos de una persona hablando, limpios, no una grabación de teléfono.

Idiomas

Hebreo, inglés, alemán, español, italiano, ruso y yidis. Un proyecto en cualquier otro idioma recibe un mensaje que lo indica: elige otro motor de doblaje para él.

El español sigue la región del proyecto: España recibe castellano y cualquier otra región, español de Latinoamérica. Los números, las fechas, los precios y los códigos se leen como palabras, salvo en yidis: escribe los números en yidis con letras, o la línea se rechaza con un mensaje que lo indica.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Plataformas

Sistema DescargaProbado
Linux x86-64 61.7 MBDoblado con el modelo real en una máquina real, desde el gestor de complementos de Subtitld, y en CI
macOS (Apple silicon) 43.8 MBDoblado con el modelo real en CI (Apple Silicon)
Windows x86-64 37.3 MBDoblado con el modelo real en CI

Linux x86-64, macOS en Apple Silicon y Windows x86-64. Cada versión se compila en los tres, y en cada uno la CI instala el complemento como lo hace Subtitld, descarga los modelos y dobla una línea en cada idioma.

Solución de problemas

  • network_unavailableNo se pudo descargar un modelo. Comprueba tu conexión y vuelve a intentarlo: la descarga continúa donde se quedó.
  • disk_fullNo hay espacio en disco suficiente para el modelo: 428 MB, y hasta 1,7 GB más para el hebreo, el yidis y la propia voz del hablante.
  • unsupported_languageEl idioma del proyecto no es uno de los siete, o no está definido. Defínelo en el proyecto, o elige otro motor de doblaje.
  • unsupported_voiceEl proyecto indica una voz que esta versión no tiene. Vuelve a elegir la voz en la pestaña Hablantes.
  • bad_paramsLa línea no tiene texto, una línea en yidis tiene cifras, o la voz clonada no recibió ninguna muestra: abre el vídeo, o define un Fallback reference clip. El mensaje dice cuál.
  • out_of_memoryEl ordenador se quedó sin memoria. Cierra otros programas: BlueTTS necesita cerca de 1 GB libre, 2,5 GB con hebreo.
  • internalAlgo falló dentro del complemento; el mensaje tiene los detalles.

Licencia

Complemento
Apache-2.0
Motor
MIT
BlueTTS, de Maxim Melichov; ONNX Runtime es MIT
Modelo
MIT, BigScience OpenRAIL-M
Pesos de BlueV3; el vocoder, ajustado a partir de Supertonic-3 de Supertone, es OpenRAIL-M, con restricciones de uso
Voces
CC-BY-4.0
Creadas a partir de hablantes de LibriTTS-R
Modelos de lectura
Apache-2.0, MIT, CC BY-SA
RenikudPlus (hebreo), polyg2p; los léxicos alemán e italiano y parte del de yidis son CC BY-SA

El complemento es Apache-2.0 y el código de BlueTTS es MIT. El modelo de voz también es MIT, salvo su vocoder, la parte que convierte la salida del modelo en sonido: está ajustado a partir de Supertonic-3 de Supertone y lleva la licencia BigScience OpenRAIL-M. Se permite el uso comercial, pero OpenRAIL-M prohíbe algunos usos de lo que genera, entre ellos infringir la ley, engañar a la gente y suplantar a alguien sin su consentimiento. Las 15 voces son CC-BY-4.0. Los léxicos alemán e italiano, y parte del de yidis, son CC BY-SA; se descargan con los modelos y quedan tal como los publican sus autores.

Los doblajes que hagas son tuyos. Una voz clonada suena como una persona real: clona voces que tengas derecho a usar, e indica que un doblaje es sintético donde importe.

Versiones

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Otros complementos de Voces