Chatterbox sin conexión, clonación de voz, 20 idiomas

VocesSin conexiónSolo CPUClonación de vozUso comercial permitido

Dobla tus subtítulos en 20 idiomas con Chatterbox de Resemble AI, con la propia voz de cada hablante clonada a partir de unos segundos del vídeo, o con una de 8 voces predefinidas. Una voz clonada habla todos los idiomas, sea cual sea el idioma del clip. Funciona en el procesador de tu propio ordenador, aproximadamente en tiempo real, sin tarjeta gráfica.

Instálalo desde Subtitld

Ajustes Complementos Chatterbox (offline, voice clone, 20 languages) Instalar

Subtitld lo descarga, comprueba su SHA-256 y lo mantiene actualizado.

Código fuente en GitHub
Idiomas
20
Modelos
2
Voces
9
Descarga del complemento
39–62 MB
RAM, como mínimo
2 GB

Escuchar

Qué hace

La propia voz del hablante, en otro idioma

Subtitld recorta del vídeo unos segundos de cada hablante y los envía con cada línea. Chatterbox clona esa voz en cualquiera de sus 20 idiomas, así que un actor portugués puede doblarse al alemán y seguir sonando como él mismo.

Dos modelos

Multilingual habla los 20 idiomas. Turbo solo habla inglés, suena más parecido al hablante, necesita menos memoria y lee etiquetas como [laugh] y [sigh] escritas en el subtítulo.

En cualquier ordenador

Funciona en el procesador aproximadamente en tiempo real, sin tarjeta gráfica: una línea de 10 segundos tarda unos 10 segundos.

Libre para uso comercial

El complemento es Apache-2.0, Chatterbox y sus modelos son MIT, y las voces predefinidas son lectores de LibriVox, de dominio público.

Antes de instalar

  • Disco: Multilingual descarga 1,3 GB con su primera línea; Turbo, 725 MB.
  • Memoria: cerca de 1,7 GB mientras habla con Multilingual, cerca de 1 GB con Turbo.
  • Procesador: cualquier procesador Intel o AMD de 64 bits, o Apple Silicon. No se usa la tarjeta gráfica.

Clona una voz solo con el consentimiento de su dueño. Las versiones oficiales de Chatterbox marcan su audio con una marca de agua inaudible; este complemento no lo hace, así que la responsabilidad de cómo se use una voz clonada es tuya.

Voces

En la pestaña Hablantes, elige Chatterbox como Motor de doblaje de un hablante y luego elige una Voz. Activa Ajustar el doblaje a la duración del subtítulo para que cada línea de ese hablante se estire o se comprima hasta su subtítulo.

9 voces.

Con Speaker's own voice, Subtitld recorta una muestra de ese hablante del audio del proyecto, de uno de sus subtítulos o de varios cortos unidos. Si separaste la música de la voz en este vídeo, la muestra sale solo de la voz. El Fallback reference clip de los ajustes del complemento solo se usa cuando no se puede recortar ninguna muestra. La mejor muestra son de 5 a 20 segundos del hablante solo, sin música ni otras voces; el complemento usa sus primeros 10 segundos.

Voces predefinidas
Mujeres Inglés, portugués, francés, alemán
Hombres Inglés, portugués, francés, alemán

Cada voz predefinida es un voluntario de LibriVox que lee un libro en ese idioma, los mismos lectores que en el complemento Sopro. Todas las voces predefinidas hablan los 20 idiomas; su propio idioma solo les da un acento, así que elige la más cercana al idioma de tu proyecto para el doblaje más natural.

Modelos

Ninguno de los dos modelos viene dentro del complemento: el que uses se descarga en la caché de modelos compartida de Subtitld la primera vez que doblas, desde Hugging Face en una revisión fija, con cada archivo comprobado. Una descarga interrumpida continúa donde se quedó. Actualizar o quitar el complemento conserva los modelos.

ModeloIdioma DescargaIdeal para
Chatterbox Multilingual (0.5B, 4-bit ONNX) Predeterminado multilingual
1.3 GB
Los 20 idiomas; el predeterminado
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Solo inglés: más parecido al hablante, menos memoria, y lee [laugh], [sigh] y [cough]

El complemento ejecuta exportaciones de Chatterbox a ONNX, sin PyTorch. En nuestra prueba de 10 frases en inglés, portugués, francés, alemán, español, italiano, ruso y polaco, cada una clonada a partir de dos voces, Multilingual se equivocó en el 2,4 % de las palabras y sonó parecido al hablante; Turbo no falló ninguna en inglés y sonó aún más parecido.

Opciones

En Ajustes › Complementos › Chatterbox (offline, voice clone, 20 languages) › Configurar.

Model
Predeterminado: multilingual

Turbo solo habla inglés. Con Turbo elegido, las líneas en otros idiomas las dice Multilingual. Solo hay un modelo en memoria a la vez.

Expressiveness
Predeterminado: 0.5

Solo Multilingual: cuánta emoción pone la voz. 0,5 es el valor predeterminado del propio Chatterbox; uno más alto es más dramático y suele hablar más rápido.

CPU threads
Predeterminado: 0

0 usa la mitad de los procesadores lógicos del ordenador, como máximo 8. Menos hilos mantienen el ordenador más ágil mientras dobla.

Fallback reference clip
Predeterminado: vacío

Un clip para la voz clonada cuando Subtitld no puede recortar uno del vídeo, por ejemplo sin ningún vídeo abierto: de 5 a 20 segundos de una persona hablando.

Idiomas

Alemán, árabe, coreano, danés, español, finlandés, francés, griego, hindi, inglés, italiano, malayo, neerlandés, noruego, polaco, portugués, ruso, suajili, sueco y turco. Un proyecto en cualquier otro idioma recibe un mensaje que lo indica: elige otro motor de doblaje para él.

Chatterbox también tiene hebreo, japonés y chino, que el complemento deja fuera: el hebreo necesita un segundo modelo que añada sus signos vocálicos, el japonés necesita un conversor cuya licencia no permite incluirlo, y el chino salió ininteligible en nuestras pruebas.

Escribe los números y los símbolos con letras cuando importe. Una línea se dice de una sola vez, hasta 40 segundos de habla.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Plataformas

Sistema DescargaProbado
Linux x86-64 62.5 MBDoblado con los dos modelos en una máquina real y en el propio Subtitld
macOS (Apple silicon) 43.7 MBEn CI, el complemento instalado descarga un modelo y dobla con él (Apple Silicon)
Windows x86-64 38.7 MBEn CI, el complemento instalado descarga un modelo y dobla con él

Linux x86-64, macOS en Apple Silicon y Windows x86-64. Cada versión se compila en los tres, y en cada uno la CI instala el complemento como lo hace Subtitld, descarga un modelo y dobla con él.

Solución de problemas

  • network_unavailableNo se pudo descargar el modelo. Comprueba tu conexión y vuelve a intentarlo: la descarga continúa donde se quedó.
  • disk_fullNo hay espacio en disco suficiente para el modelo: 1,3 GB para Multilingual, 725 MB para Turbo.
  • unsupported_languageEl idioma del proyecto no es uno de los 20, o no está definido. Defínelo en el proyecto, o elige otro motor de doblaje.
  • unsupported_voiceEl proyecto indica una voz que esta versión no tiene. Vuelve a elegir la voz en la pestaña Hablantes.
  • bad_paramsLa línea no tiene texto, o la voz clonada no recibió ninguna muestra: abre el vídeo, o define un Fallback reference clip. El mensaje dice cuál de los dos.
  • out_of_memoryEl ordenador se quedó sin memoria. Cierra otros programas, o elige Turbo para inglés: necesita cerca de 1 GB.
  • internalAlgo falló dentro del complemento; el mensaje tiene los detalles.

Licencia

Complemento
Apache-2.0
Motor
MIT
Chatterbox, de Resemble AI; ONNX Runtime es MIT
Modelo
MIT
Pesos de Chatterbox Multilingual y Turbo, en sus exportaciones a ONNX
Voces predefinidas
Public domain, CC-BY-4.0
Lectores de LibriVox; las de inglés a través de LibriTTS-R

Apto para uso comercial: el complemento es Apache-2.0, y Chatterbox y los dos modelos son MIT. Las voces predefinidas son grabaciones de LibriVox, de dominio público; las de inglés llegan a través de LibriTTS-R, bajo CC-BY-4.0, y el complemento da crédito a cada una. Los doblajes que hagas son tuyos.

Versiones

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Otros complementos de Voces