Reverb sin conexión, clonación de voz, 7 idiomas, no comercial

VocesSin conexiónSolo CPUClonación de vozNo comercial

Dobla tus subtítulos al inglés, alemán, francés, español, italiano, polaco y portugués con Reverb-TTS, de Software Mansion AI Labs, con una de 16 voces o con la propia voz de cada hablante, clonada a partir de unos segundos del vídeo y sus subtítulos. Funciona con el procesador de tu propio ordenador, sin tarjeta gráfica. El modelo es solo para uso no comercial.

Instálalo desde Subtitld

Ajustes Complementos Reverb (offline, voice clone, 7 languages, non-commercial) Instalar

Subtitld lo descarga, comprueba su SHA-256 y lo mantiene actualizado.

Código fuente en GitHub
Idiomas
7
Modelos
3
Voces
17
Descarga del complemento
40–65 MB
RAM, como mínimo
2.5 GB

Qué hace

Siete idiomas

Inglés, alemán, francés, español, italiano, polaco y portugués. Los números, las fechas, los precios y las unidades se leen como palabras, a la manera de cada idioma.

La propia voz del hablante

Subtitld recorta del vídeo unos segundos de cada hablante y los envía con los subtítulos que se dicen en ellos. Reverb clona esa voz en cualquiera de sus siete idiomas. O elige una de 16 voces.

Exact o Fast

Exact ejecuta el modelo tal como se publicó. Fast es aproximadamente el doble de rápido y una descarga más pequeña, a cambio de un poco de precisión.

Sin conexión tras la primera línea

El modelo se descarga una sola vez, la primera vez que una línea lo necesita. A partir de ahí, nada sale de tu ordenador.

Modelo no comercial. Los pesos de Reverb-TTS y sus voces predefinidas están bajo CC-BY-NC-4.0, que no permite el uso comercial. El código del complemento es Apache-2.0, pero eso no cambia las condiciones de los pesos. Para trabajo comercial, ZONOS3-Mini también clona voces en estos siete idiomas, y sus pesos son Apache-2.0.

Antes de instalar

  • Disco: 640 MB para el modelo, que se descarga con la primera línea; 378 MB en su lugar si eliges Fast antes de la primera línea. La primera vez que usas la propia voz de un hablante, 327 MB más.
  • Memoria: unos 1,5 GB mientras habla.
  • Tiempo: en un Intel Core i7-13700T ocupado con otro trabajo, un segundo de voz tardaba unos 0,8 segundos en generarse en velocidad Exact y unos 0,6 segundos en Fast.
  • Procesador: un procesador Intel o AMD de 64 bits, o Apple Silicon. No se usa la tarjeta gráfica.

Voces

En la pestaña Hablantes, elige Reverb como Motor de doblaje de un hablante y luego elige una Voz. Activa Ajustar el doblaje a la duración del subtítulo para que cada línea de ese hablante se estire o se comprima hasta su subtítulo.

17 voces.

Grabada en Mujeres Hombres
Inglés Narradora, susurrando Narrador 1, narrador 2, enfadado
Francés Mujer francesa Hombre francés
Alemán Mujer alemana Hombre alemán
Italiano Hombre italiano, hombre italiano expresivo
Polaco Hombre polaco
Portugués Mujer portuguesa Hombre portugués
Español Hombre español 1, hombre español 2

Estas son las voces predefinidas propias de Reverb. Cada voz habla todos los idiomas, pero con el acento del idioma en que se grabó. Para un idioma sin voz propia aquí, o sin voz de mujer, usa la propia voz del hablante.

Con Speaker's own voice, Subtitld recorta una muestra de ese hablante del audio del proyecto, de uno de sus subtítulos o de varios cortos unidos, y envía lo que se dice en ella: el texto de esos subtítulos. Reverb necesita ambas cosas. Continúa a partir de la muestra y sus palabras, y sin las palabras se comería las primeras palabras de cada línea.

Así que los subtítulos tienen que estar en el idioma que se habla en el vídeo. Si los tradujiste, Subtitld envía el texto original, siempre que sepa en qué idioma está el audio: indícalo en Idioma del subtítulo del panel Transcripción. Si no, la línea se detiene con un mensaje que lo dice. Los subtítulos que parafrasean lo que se dice, en lugar de transcribirlo, empeoran el clon.

La mejor muestra son de 3 a 10 segundos de una sola persona hablando, limpia y cerca del micrófono. Una muestra de menos de 2 segundos se rechaza, y una de más de 15 segundos suele dar peores líneas. El Fallback reference clip de los ajustes del complemento, con su Fallback clip's transcript, solo se usa cuando no se puede recortar ninguna muestra.

Cada línea se genera con la semilla que envía Subtitld, así que la misma línea con la misma voz sale igual cada vez.

Modelos

El modelo no está dentro del complemento: se descarga en la caché de modelos compartida de Subtitld la primera vez que una línea lo necesita, desde la propia versión del complemento en GitHub, donde se guardan los pesos de Reverb convertidos para ONNX Runtime, cada archivo verificado. Una descarga interrumpida se reanuda donde se quedó. Actualizar o quitar el complemento lo conserva.

Modelo DescargaIdeal para
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Predeterminado reverb
640 MB
Cada línea en velocidad Exact, la predeterminada: la red, el decodificador y las 16 voces
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Cada línea en velocidad Fast, en lugar de la red Exact: 378 MB en total con el decodificador
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
La propia voz del hablante, la primera vez que doblas una

Exact y Fast comparten el decodificador y las voces (111 MB): solo cambia la red, 529 MB para Exact y 266 MB para Fast. Si cambias de una a otra más adelante, la otra red se descarga la primera vez que una línea la necesita.

El complemento ejecuta Reverb sobre ONNX Runtime, sin PyTorch. El muestreador y la preparación del texto de Reverb están portados del código propio de Software Mansion. Sus números aleatorios vienen de otra fuente, así que una semilla da aquí una toma distinta que en el paquete propio de Reverb; se comprueba que la red Exact predice lo mismo que ese paquete.

Opciones

En Ajustes › Complementos › Reverb (offline, voice clone, 7 languages, non-commercial) › Configurar.

CPU threads
Predeterminado: 0

0 usa los procesadores lógicos del ordenador, como máximo 8. Más rara vez es más rápido; menos mantiene el ordenador más ágil mientras dobla.

Quality steps
Predeterminado: 8

Cuántas pasadas hace el modelo sobre cada línea. 8 es el ajuste propio de Reverb; menos es más rápido, con más fallos.

Speed
Predeterminado: exact

Exact ejecuta el modelo tal como lo publicó Software Mansion. Fast lo ejecuta en enteros de 8 bits, aproximadamente el doble de rápido, con su propia descarga de 266 MB: sus líneas suelen sonar igual, pero se aleja más del modelo publicado y falla más a menudo.

Fallback reference clip
Predeterminado: vacío

Un clip para la voz clonada cuando Subtitld no puede recortar uno del vídeo, por ejemplo sin un vídeo abierto: de 3 a 10 segundos de una sola persona hablando, limpios.

Fallback clip's transcript
Predeterminado: vacío

Exactamente lo que se dice en el clip de reserva, palabra por palabra. Reverb clona a partir del clip y sus palabras, así que sin ellas el clip de reserva se rechaza.

Idiomas

Inglés, alemán, francés, español, italiano, polaco y portugués. Un proyecto en cualquier otro idioma recibe un mensaje que lo dice: elige otro motor de doblaje para él.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Plataformas

Sistema DescargaProbado
Linux x86-64 64.9 MBHabló los siete idiomas y clonó una voz con el modelo real en CI
macOS (Apple silicon) 45.6 MBHabló los siete idiomas y clonó una voz con el modelo real en CI (Apple Silicon)
Windows x86-64 40.5 MBHabló los siete idiomas y clonó una voz con el modelo real en CI

Linux x86-64 (glibc 2.35 o posterior, como en Ubuntu 22.04, Debian 12 o Fedora 36), macOS en Apple Silicon y Windows x86-64. Cada versión se compila en las tres, y en cada una la CI instala el complemento como lo hace Subtitld, descarga el modelo, dice una línea en cada idioma y clona una voz.

Solución de problemas

  • network_unavailableNo se pudo descargar el modelo. Comprueba tu conexión e inténtalo de nuevo: la descarga se reanuda.
  • disk_fullNo hay espacio en disco suficiente para el modelo: 640 MB (378 MB en Fast), y 327 MB más para la propia voz del hablante.
  • unsupported_languageEl idioma del proyecto no es uno de los siete, o no está definido. Defínelo en el proyecto, o elige otro motor de doblaje.
  • unsupported_voiceEl proyecto indica una voz que esta versión no tiene. Vuelve a elegir la voz en la pestaña Hablantes.
  • bad_paramsLa línea no tiene texto, o la voz clonada no recibió ninguna muestra o ninguna transcripción de ella. En un proyecto traducido, pon Idioma del subtítulo en el idioma hablado; sin un vídeo abierto, define un Fallback reference clip y su transcripción. El mensaje dice cuál.
  • out_of_memoryEl ordenador se quedó sin memoria. Cierra otros programas: Reverb necesita unos 1,5 GB libres.
  • internalAlgo falló dentro del complemento; el mensaje tiene los detalles.

Licencia

Complemento
Apache-2.0
con el código propio de Reverb, portado a numpy
Motor
MIT
ONNX Runtime
Modelo
CC-BY-NC-4.0
Pesos de Reverb-TTS v1.0.0, de Software Mansion AI Labs; solo no comercial
Voces
CC-BY-NC-4.0
Las 16 voces predefinidas de Reverb; solo no comercial
Lectura del texto
MIT, Unicode-3.0
Verbalis, de Software Mansion, con una tabla de la Unicode Character Database

El complemento es Apache-2.0, y también lo es el código de Reverb que porta. Los pesos de Reverb-TTS y sus 16 voces predefinidas son CC-BY-NC-4.0: solo para uso no comercial. Un archivo de licencia que acompaña al modelo indica qué se cambió al convertirlo. ONNX Runtime es MIT, y Verbalis, que lee los números y las fechas, es MIT.

Úsalo de forma responsable. Una voz clonada suena como una persona real. Clona solo voces que tengas derecho a usar, con el consentimiento del hablante; no suplantes a personas reales, y no uses la voz que generes para engañar, estafar o acosar. Avisa a tus oyentes cuando escuchen una voz sintética.

Versiones

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Otros complementos de Voces