Coqui XTTS (offline + voice clone)

VocesSin conexiónGPU opcionalClonación de vozNo comercial

Clona la voz de cada hablante a partir de unos segundos del vídeo y habla tus subtítulos en 16 idiomas, en tu propio ordenador. El modelo es gratuito solo para uso no comercial.

Instálalo desde Subtitld

Ajustes Complementos Coqui XTTS-v2 (offline + voice clone) Instalar

Subtitld lo descarga, comprueba su SHA-256 y lo mantiene actualizado.

Código fuente en GitHub
Idiomas
16
Modelos
3
Voces
3
Descarga del complemento
302–443 MB
RAM, como mínimo
6 GB

Qué hace

Clona desde el vídeo

Elige Custom voice y Subtitld le da al modelo unos segundos de ese hablante, cortados del vídeo. Funciona mejor con 6 segundos o más.

Dos voces integradas

XTTS female 1 y XTTS male 1, para hablantes que no clonas.

16 idiomas

Habla en el idioma del proyecto, o en inglés cuando el proyecto no tiene ninguno.

Carga una vez

La primera línea espera a que el modelo se cargue, y la primera vez también a que se descargue; el resto lo reutiliza. En la CPU, una frase larga puede tardar medio minuto.

Modelo no comercial. Los pesos de XTTS-v2 están bajo la Licencia Pública de Modelos de Coqui (CPML): gratis para uso no comercial, y para cualquier otro uso hace falta una licencia de pago de Coqui. El complemento acepta por ti las condiciones de Coqui cuando carga el modelo, así que no lo verás; las condiciones se aplican igualmente.

Voces

En la pestaña Hablantes, elige Coqui XTTS como Motor de doblaje del hablante y luego una Voz. Custom voice está arriba de la lista. Cada línea sale tan larga como la haga el modelo; activa Ajustar el doblaje a la duración del subtítulo para que el hablante la estire o la comprima hasta su subtítulo.

3 voces en 1 idioma.

  • en 2

La muestra para el clon

Cuando la voz de un hablante es Custom voice, Subtitld corta una muestra de ese hablante del audio del proyecto:

  • su subtítulo más largo entre 3 y 12 segundos;
  • si ninguno encaja, los primeros 12 segundos de uno más largo;
  • si todos duran menos de 3 segundos, varios seguidos, unidos hasta llegar a 3.

XTTS funciona mejor con 6 segundos o más, así que dale a cada hablante al menos una línea de entre 6 y 12 segundos. Si separaste la música de la voz de este vídeo, la muestra sale solo de la voz. Default voice reference en la configuración del complemento se usa solo cuando no se puede cortar ninguna muestra, por ejemplo sin vídeo abierto.

Subtitld guarda la muestra de cada hablante y la vuelve a cortar solo si cambia el archivo de audio. Después de reajustar las líneas de un hablante, borra su muestra para obtener una nueva; su nombre termina con el nombre del hablante.

Sistema Carpeta
Linux ~/.cache/subtitld/clone-refs
macOS ~/Library/Caches/subtitld/clone-refs
Windows %LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs

Modelos

Un modelo, que se descarga la primera vez que generas una línea; los dos archivos pequeños junto a él son su configuración y su vocabulario. El complemento mantiene el modelo cargado hasta que lleva cinco minutos sin uso.

Modelo Descarga
xtts_v2
1.9 GB
xtts_v2_config
1 MB
xtts_v2_vocab
1 MB

Opciones

El complemento los lee al iniciarse, así que un cambio se aplica tras cinco minutos sin uso, o al reiniciar Subtitld.

En Ajustes › Complementos › Coqui XTTS-v2 (offline + voice clone) › Configurar.

Inference device
Predeterminado: cpu

Déjalo en CPU. Las compilaciones publicadas se hacen con el paquete de PyTorch para CPU, así que CUDA no funciona con ellas; MPS está marcado como beta.

Default voice reference (6+ seconds, mono WAV recommended)
Predeterminado: vacío

Un clip que se copia cuando Subtitld no puede tomar una muestra del hablante en el vídeo, por ejemplo sin vídeo abierto. Una muestra del vídeo siempre va primero. Mientras esto esté definido, las dos voces integradas también copian este clip.

Idiomas

El complemento pasa el idioma del proyecto al modelo, sin su región; sin idioma definido, habla inglés.

  • en
  • es
  • fr
  • de
  • it
  • pt
  • pl
  • tr
  • ru
  • nl
  • cs
  • ar
  • zh-cn
  • ja
  • hu
  • ko

Plataformas

Sistema DescargaProbado
Linux x86-64 442.7 MBCompilado y arrancado en CI
macOS (universal) 323.1 MBCompilado y arrancado en CI
Windows x86-64 302.2 MBCompilado y arrancado en CI

Cada versión se compila en Linux, macOS y Windows, y CI comprueba que el programa arranca y lista sus voces. CI no genera voz.

Solución de problemas

  • bad_paramsO bien el subtítulo no tiene texto, o el clon no tiene muestra: Subtitld no pudo cortar una (sin vídeo abierto, o sin subtítulos para ese hablante) y no hay clip predeterminado. Escribe el texto del subtítulo, abre el vídeo, o define Default voice reference.
  • internalEl modelo no cargó o no pudo decir la línea; el mensaje indica cuál. Una descarga fallida en el primer uso también termina aquí: revisa tu conexión y tu espacio libre en disco, e inténtalo de nuevo. Revisa también que el idioma del proyecto sea uno de los listados arriba.

Licencia

Complemento
MIT
Motor
MPL-2.0
coqui-ai-TTS (bifurcación de idiap)
Modelos
CPML
Pesos de XTTS-v2; no comercial sin una licencia de Coqui

No apto para uso comercial salvo que tengas una licencia comercial de Coqui para los pesos de XTTS-v2. El código propio del complemento es MIT.

Versiones

  • 1.0.7

    Automated release for coqui-xtts v1.0.7.

Otros complementos de Voces