Dobla tus subtítulos en 16 idiomas con KittenTTS 2 de KittenML, con la propia voz de cada hablante clonada del vídeo, o con una de 115 voces predefinidas. Funciona en el procesador de tu propio ordenador, más o menos en tiempo real, sin tarjeta gráfica.

Qué hace

La propia voz del hablante

Subtitld recorta del vídeo unos segundos de cada hablante y los envía con cada línea, junto con las palabras que se dicen en ellos. KittenTTS 2 clona esa voz y dice con ella la línea traducida, así que el doblaje suena como la persona en pantalla.

16 idiomas, 115 voces

Inglés, español, francés, alemán, italiano, portugués, ruso, chino, japonés, coreano, árabe, hindi, turco, neerlandés, polaco e indonesio, con de 2 a 50 voces predefinidas cada uno.

Más o menos en tiempo real, en una CPU

Un segundo de habla tarda de 1,1 a 1,5 segundos en generarse en el procesador de un portátil, con cerca de 2,3 GB de memoria. No se usa la tarjeta gráfica.

Sin conexión tras la primera línea

El modelo se descarga una sola vez, la primera vez que doblas con él. A partir de ahí, nada sale de tu ordenador.

Una licencia restrictiva en el modelo. El complemento es Apache-2.0, pero los pesos de KittenTTS 2 que descarga son de KittenML, bajo la Stellon Labs Community License. El uso comercial, incluido el doblaje remunerado, solo es gratis mientras tú y tus afiliadas tengáis menos de 1.000.000 US$ de ingresos anuales y menos de 1.000.000 US$ de financiación total, y tienes que registrarte con Stellon Labs. El uso también debe seguir una Política de Uso Aceptable que Stellon Labs no publica, y la licencia puede revocarse. Lee la licencia antes de usarlo para trabajos remunerados. Si sus condiciones no te convienen, VoxCPM2 y Sopro también clonan voces, bajo Apache-2.0.

Antes de instalar

Disco: unos 1,7 GB para el modelo, que se descarga con la primera línea, y 540 MB más para la clonación, con la primera línea clonada.
Memoria: cerca de 2,3 GB mientras habla, así que unos 3 GB libres.
Procesador: en Intel y AMD, uno con AVX2, FMA y F16C, que los procesadores Intel tienen desde 2013 y los AMD desde 2015. Algunos procesadores Celeron, Pentium y Atom no las tienen, y en ellos la primera línea falla con un mensaje que lo indica. Cualquier Mac con Apple Silicon funciona.

Clona una voz solo con el consentimiento de su dueño.

Voces

En la pestaña Hablantes, elige KittenTTS 2 como Motor de doblaje de un hablante y luego elige una Voz. Activa Ajustar el doblaje a la duración del subtítulo para que cada línea de ese hablante se estire o se comprima hasta su subtítulo. Define el idioma del proyecto antes de doblar.

116 voces en 16 idiomas.

ar 4
de 4
en 50
es 5
fr 5
hi 5
id 2
it 6
ja 4
ko 3
nl 3
pl 4
pt 6
ru 7
tr 3
zh 4

Con Speaker's own voice, Subtitld recorta una muestra de ese hablante del audio del proyecto, de 3 a 12 segundos, y la envía con el texto del subtítulo que se dice en ella. KittenTTS continúa a partir de esa muestra, que es lo que más se acerca al hablante y lo más estable. En nuestra prueba, con muestras en inglés y líneas en portugués, los doblajes clonados sonaron casi tan parecidos a sus hablantes como los de VoxCPM2, y fallaron menos palabras. Si separaste la música de la voz en este vídeo, la muestra sale solo de la voz. El Fallback reference clip de los ajustes del complemento solo se usa cuando no se puede recortar ninguna muestra.

Cada voz predefinida pertenece a un idioma: es una grabación, y el modelo continúa con su acento. Por eso la lista de Voz muestra las voces del idioma de tu proyecto. El inglés tiene 50, entre ellas Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki y Leo, de KittenTTS 0.8, y personajes como Marcus, un DJ de radio de voz suave, o Victoria, una narradora majestuosa. Los demás idiomas tienen de 2 a 7 cada uno. KittenML no dice de dónde vienen las grabaciones.

De vez en cuando el modelo se queda en silencio en lugar de decir una línea. El complemento lo nota y vuelve a intentarlo, hasta tres veces, para que no tengas que hacerlo tú.

Modelos

Ningún archivo de KittenML viene dentro del complemento: se descargan en la caché de modelos compartida de Subtitld la primera vez que doblas, desde el repositorio de KittenML en Hugging Face en una revisión fija, con cada archivo comprobado. El codificador de referencia, que convierte una muestra en una voz, viene de la propia versión publicada del complemento, con la primera línea clonada. Una descarga interrumpida continúa donde se quedó. Actualizar o quitar el complemento conserva los modelos.

Modelo	Descarga	Ideal para
KittenTTS 2 (1.7B, ternary) Predeterminado kitten-tts-2	1.6 GB	Todas las voces e idiomas, más o menos en tiempo real en una CPU
Reference encoder, for cloning ref-encoder	517 MB	Solo para la voz clonada, se descarga con su primera línea

El complemento ejecuta el propio programa en C++ de KittenML para KittenTTS 2, que es unas cuatro veces más rápido que el paquete de Python de KittenML y necesita un tercio de su memoria.

Opciones

En Ajustes › Complementos › KittenTTS 2 (offline, voice clone, 16 languages) › Configurar.

Delivery

Predeterminado: stable

Stable sirve para casi cualquier proyecto. Expressive es más vivo, y una línea sale rara más a menudo.

CPU threads

Predeterminado: 0

0 usa los núcleos de rendimiento de un procesador que también tiene núcleos de eficiencia; si no, un hilo por núcleo, como máximo 8. Menos hilos mantienen el ordenador más ágil mientras dobla.

Fallback reference clip

Predeterminado: vacío

Un clip para la voz clonada cuando Subtitld no puede recortar uno del vídeo, por ejemplo sin ningún vídeo abierto: de 3 a 30 segundos de una persona hablando.

Fallback reference transcript

Predeterminado: vacío

The exact words spoken in the fallback clip. With them the clone is closer to the speaker and makes fewer mistakes.

Clone the timbre only

Predeterminado: desactivado

Deja fuera las palabras del clip del hablante y clona solo el timbre. Pruébalo si un doblaje conserva el acento del hablante, o cuando los subtítulos parafrasean lo que se dice.

Idiomas

Inglés, español, francés, alemán, italiano, portugués, ruso, chino, japonés, coreano, árabe, hindi, turco, neerlandés, polaco e indonesio. Un proyecto en cualquier otro idioma recibe un mensaje que lo indica: elige otro motor de doblaje para él.

El texto en inglés se lee como se pretende: "the 3rd of May" se convierte en "the third of May", y "$12.50" en "twelve dollars fifty". En los demás idiomas, escribe los números y los símbolos con letras cuando importe.

en
es
fr
de
it
pt
ru
zh
ja
ko
ar
hi
tr
nl
pl
id

Plataformas

Sistema	Descarga	Probado
Linux x86-64	136.1 MB	Doblado con el modelo real, clonación incluida, en una máquina real y en CI
macOS (Apple silicon)	109.2 MB	Doblado con el modelo real, clonación incluida, en CI (Apple Silicon)
Windows x86-64	96.4 MB	Doblado con el modelo real, clonación incluida, en CI

Linux x86-64, macOS en Apple Silicon y Windows x86-64. Cada versión se compila en los tres, y en cada uno la CI instala el complemento como lo hace Subtitld, descarga el modelo y dobla con él, también con una voz clonada. En Linux necesita glibc 2.35 o posterior.

Solución de problemas

network_unavailableNo se pudo descargar el modelo. Comprueba tu conexión y vuelve a intentarlo: la descarga continúa donde se quedó.
disk_fullNo hay espacio en disco suficiente para el modelo, unos 1,7 GB, o 2,2 GB con la clonación.
unsupported_languageEl idioma del proyecto no es uno de los 16, o no está definido. Defínelo en el proyecto, o elige otro motor de doblaje.
unsupported_voiceEl proyecto indica una voz que esta versión no tiene. Vuelve a elegir la voz en la pestaña Hablantes.
bad_paramsLa línea no tiene texto, o la voz clonada no recibió ninguna muestra: abre el vídeo, o define un Fallback reference clip. El mensaje dice cuál de los dos.
internalAlgo falló dentro del complemento; el mensaje tiene los detalles. Si dice que el procesador no tiene AVX2, FMA y F16C, este ordenador no puede ejecutar KittenTTS 2. Si dice que la línea seguía saliendo en silencio, prueba otra voz o reformula la línea.

Licencia

Complemento

Apache-2.0

Motor

MIT, Apache-2.0

kitten-tts-2-cpp, de KittenML; LibTorch es BSD-3-Clause

Codificador de referencia

MIT

De chatterbox-turbo (ResembleAI) y pyannote

Modelo

Stellon Labs Community License

Pesos de KittenTTS 2; uso comercial gratis solo por debajo de 1 millón de US$ en ingresos o financiación

El complemento es Apache-2.0. El runtime de KittenML es MIT y Apache-2.0, LibTorch es BSD-3-Clause, y las partes del codificador de referencia son MIT. Los pesos de KittenTTS 2 están bajo la Stellon Labs Community License, que aceptas cuando el complemento los descarga: gratis para investigación y uso personal, y para uso comercial solo por debajo de 1.000.000 US$ de ingresos anuales y de financiación total, con registro en Stellon Labs. Los pesos y lo que generan no pueden usarse para entrenar otros modelos. Los doblajes que hagas son tuyos. Powered by KittenML.

KittenTTS 2 (offline, voice clone, 16 languages)