Audio8 TTS (offline, voice clone, 11 languages)

Qué hace

Antes de instalar

Audio8 TTS le exige más a tu ordenador que los motores de doblaje ligeros:

• Disco: cerca de 1 GB para el modelo, que se descarga con la primera línea que dobles.
• Memoria: unos 1,6 GB mientras habla, y hasta 3 GB durante un momento la primera vez que oye a un hablante nuevo.
• Tiempo: cada segundo de voz tarda de dos a tres segundos en generarse, en un Intel Core i7-13700T. Un vídeo de diez minutos puede tardar una media hora.
• Procesador: cualquier procesador Intel o AMD de 64 bits, o Apple Silicon. No se usa la tarjeta gráfica.

Para doblajes rápidos, Sopro o Chatterbox clonan voces más o menos en tiempo real o más rápido, en menos idiomas.

Voces

En la pestaña Hablantes, elige Audio8 TTS como Motor de doblaje de un hablante y luego elige una Voz. Activa Ajustar el doblaje a la duración del subtítulo para que cada línea de ese hablante se estire o se comprima hasta su subtítulo.

1 voz.

Audio8 TTS tiene una sola voz, Speaker's own voice, y ninguna voz predefinida: cada línea clona a un hablante. Subtitld recorta una muestra de ese hablante del audio del proyecto, de uno de sus subtítulos de 3 a 12 segundos, o de varios cortos unidos. Si separaste la música de la voz en este vídeo, la muestra sale solo de la voz. El Fallback reference clip de los ajustes del complemento solo se usa cuando no se puede recortar ninguna muestra.

Subtitld envía el texto del subtítulo con la muestra, y Audio8 TTS lo usa para acercarse más al hablante. Sin él, por ejemplo cuando el idioma original del proyecto no está definido, el complemento clona solo a partir del sonido de la muestra, con algo menos de parecido. Si tus subtítulos parafrasean lo que se dice en lugar de transcribirlo, activa Don't send the subtitles of the reference clip.

La primera línea de cada hablante tarda unos segundos más, mientras el complemento escucha su muestra. La recuerda, así que las siguientes líneas del hablante empiezan enseguida.

Modelos

Hay un único modelo, Audio8 TTS Preview 0.6B, en la versión ONNX de 4 bits que sus creadores publican para procesadores. No viene dentro del complemento: se descarga en la caché de modelos compartida de Subtitld la primera vez que doblas, desde Hugging Face en una revisión fija, con cada archivo comprobado. Una descarga interrumpida continúa donde se quedó. Actualizar o quitar el complemento conserva el modelo.

El complemento ejecuta esa versión sin PyTorch. Con la misma voz, la misma línea y la misma semilla, da exactamente lo mismo que el propio entorno de ejecución de Audio8.

Opciones

En Ajustes › Complementos › Audio8 TTS (offline, voice clone, 11 languages) › Configurar.

Idiomas

Chino, cantonés, japonés, coreano, inglés, neerlandés, francés, alemán, italiano, polaco y español. Un hablante clonado a partir de un clip en uno de ellos habla todos los demás. Un proyecto en cualquier otro idioma recibe un mensaje que lo indica: elige otro motor de doblaje para él.

Audio8 llama a este modelo una versión preliminar: estos son los idiomas que recomienda. Comprobamos una frase en cada uno de ellos, con Whisper y una puntuación de similitud de voz, no de oído en cada idioma.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Plataformas

Linux x86-64, macOS en Apple Silicon y Windows x86-64. Cada versión se compila en los tres, y en cada uno la CI instala el complemento como lo hace Subtitld, descarga el modelo y dobla con él.

Solución de problemas

• network_unavailableNo se pudo descargar el modelo. Comprueba tu conexión y vuelve a intentarlo: la descarga continúa donde se quedó.
• disk_fullNo hay espacio en disco suficiente para el modelo, cerca de 1 GB.
• unsupported_languageEl idioma del proyecto no es uno de los once, o no está definido. Defínelo en el proyecto, o elige otro motor de doblaje.
• unsupported_voiceEl proyecto indica una voz que esta versión no tiene. Vuelve a elegir la voz en la pestaña Hablantes.
• bad_paramsLa línea no tiene texto, o la voz clonada no recibió ninguna muestra: abre el vídeo, o define un Fallback reference clip. El mensaje dice cuál.
• out_of_memoryEl ordenador se quedó sin memoria. Cierra otros programas: Audio8 TTS necesita unos 3 GB libres.
• internalAlgo falló dentro del complemento; el mensaje tiene los detalles.

Licencia

Apto para uso comercial: el complemento es Apache-2.0, igual que el código de Audio8 TTS y los pesos de Audio8 TTS Preview 0.6B. Los doblajes que hagas son tuyos. Una voz clonada suena como una persona real: clona voces que tengas derecho a usar, y di que un doblaje es sintético cuando importe.