OmniVoice sin conexión, clonación de voz, 646 idiomas, no comercial
Dobla tus subtítulos a cualquiera de 646 idiomas con OmniVoice de k2-fsa, con la propia voz de cada hablante clonada del vídeo, incluso a otro idioma, o con una voz diseñada a partir de unos pocos rasgos. Funciona en tu propio ordenador. El modelo es solo para uso no comercial.
Ajustes Complementos OmniVoice (offline, voice clone, 646 languages, non-commercial) Instalar
Subtitld lo descarga, comprueba su SHA-256 y lo mantiene actualizado.
- Idiomas
- 655
- Modelos
- 1
- Voces
- 12
- Descarga del complemento
- 14–17 MB
- RAM, como mínimo
- 2.5 GB
Qué hace
Del afrikáans al zulú, con muchos idiomas que ningún otro complemento habla, y variedades regionales del árabe, el chino y otros.
Subtitld recorta del vídeo unos segundos de cada hablante y los envía con los subtítulos que se dicen en ellos. OmniVoice clona esa voz y la mantiene cuando el doblaje es a otro idioma.
Diez voces listas, desde un niño hasta un hombre mayor, o una que compones a partir de unos pocos rasgos: género, edad, tono, un acento inglés, un susurro.
El modelo se descarga una sola vez, la primera vez que una línea lo necesita. A partir de ahí, nada sale de tu ordenador.
Modelo no comercial. Los pesos de OmniVoice están bajo CC-BY-NC, que no permite el uso comercial. El código del complemento es Apache-2.0, pero eso no cambia las condiciones de los pesos. Para trabajo comercial, VoxCPM2 (30 idiomas) y ZONOS3-Mini (43 idiomas) también clonan voces, y sus pesos son Apache-2.0.
Antes de instalar
- Disco: unos 1,5 GB, casi todo el modelo de 1,35 GB, que se descarga con la primera línea que dobles.
- Memoria: unos 2,5 GB libres.
- Tiempo: en una CPU, cada segundo de voz tarda varios segundos en generarse. En un Intel Core i7-13700T, una línea con la propia voz del hablante tardó unos 6 segundos por segundo de voz, y la primera línea de una voz diseñada tarda más, mientras el complemento crea la voz. En un Mac con Apple Silicon funciona en la GPU.
Para doblajes rápidos, Piper o Kokoro son mucho más ligeros, y Piper también cubre muchos idiomas.
Voces
En la pestaña Hablantes, elige OmniVoice como Motor de doblaje de un hablante y luego elige una Voz. Activa Ajustar el doblaje a la duración del subtítulo para que cada línea de ese hablante se estire o se comprima hasta su subtítulo.
12 voces.
La voz clonada
Con Speaker's own voice, Subtitld recorta una muestra de ese hablante del audio del proyecto, de uno de sus subtítulos de 3 a 12 segundos, o de varios cortos unidos, y envía con ella el texto del subtítulo. OmniVoice necesita la muestra y sus palabras. El doblaje puede ser en cualquiera de sus idiomas, sea cual sea el idioma de la muestra. El Fallback reference clip de los ajustes del complemento, con su transcripción, solo se usa cuando no se puede recortar ninguna muestra.
Clone the timbre only no funciona con este complemento, porque OmniVoice no puede clonar sin las palabras de la muestra. Déjalo desactivado para los hablantes que usan OmniVoice.
Voces diseñadas
OmniVoice crea una voz nueva cada vez que lee un conjunto de rasgos. Por eso el complemento crea la voz de cada hablante una sola vez, como una frase corta, y todas las líneas de ese hablante la reutilizan: la voz se mantiene igual a lo largo del vídeo, y dos hablantes con la misma voz diseñada siguen sonando como dos personas.
Modelos
Hay un único modelo, OmniVoice, con sus pesos guardados en 8 bits, tal como lo convirtió el proyecto audio.cpp. No viene dentro del complemento: se descarga en la caché de modelos compartida de Subtitld la primera vez que doblas, desde Hugging Face en una revisión fija, y se comprueba. Una descarga interrumpida continúa donde se quedó. Actualizar o quitar el complemento conserva el modelo.
| Modelo | Descarga | Ideal para |
|---|---|---|
| OmniVoice (8-bit) Predeterminado omnivoice | Todas las voces, en los 646 idiomas |
La primera línea también carga el modelo, así que tarda más que las siguientes. En un Mac con Apple Silicon, la primerísima vez, el complemento además pronuncia una línea corta de prueba en la GPU, y usa la CPU si eso no funciona. Cancelar detiene una línea entre dos pasos, o detiene la descarga.
Opciones
En Ajustes › Complementos › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Configurar.
16Cuántas pasadas hace OmniVoice sobre cada línea. 16 es rápido y conserva todas las palabras; 32, el ajuste propio de OmniVoice, tarda el doble y se acerca un poco más al hablante.
2Hasta qué punto la voz sigue el texto y la voz de referencia. 2,0 es el ajuste propio de OmniVoice.
00 elige los núcleos de rendimiento en las CPU que también tienen núcleos de eficiencia. Menos hilos mantienen el ordenador más ágil mientras dobla.
Para la voz "Voz que describes". Deja un rasgo en Any para que OmniVoice lo elija.
Para la voz "Voz que describes": de niño a anciano.
Para la voz "Voz que describes": de muy grave a muy aguda.
Para la voz "Voz que describes": el acento con el que habla inglés, como británico o indio.
Para la voz "Voz que describes": una voz susurrada.
Un clip para la voz clonada cuando Subtitld no puede recortar uno del vídeo, por ejemplo sin ningún vídeo abierto: de 3 a 15 segundos de una persona hablando.
Exactamente lo que se dice en el clip de reserva, palabra por palabra. OmniVoice clona a partir del clip y sus palabras, así que sin ellas el clip de reserva se rechaza.
Idiomas
La propia lista de 646 idiomas de OmniVoice, entre ellos árabe, bengalí, chino y cantonés, inglés, francés, alemán, hindi, indonesio, japonés, coreano, persa, portugués, ruso, español, suajili, turco, urdu, vietnamita, yoruba, zulú y cientos de idiomas regionales. Subtitld le indica el idioma del proyecto; cuando no lo conoce, OmniVoice lo reconoce por el texto.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Plataformas
| Sistema | Descarga | Probado |
|---|---|---|
| Linux x86-64 | 17.3 MB | Doblado con el modelo real en una máquina real y en AlmaLinux 8; en CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea |
| macOS (Apple silicon) | 16.6 MB | En CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea (Apple Silicon) |
| Windows x86-64 | 14.0 MB | En CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea |
Linux x86-64 (cualquier distribución de 2018 en adelante, glibc 2.28 o posterior), macOS 13.3 o posterior en Apple Silicon y Windows x86-64. Cada versión se compila en los tres, y en cada uno la CI instala el complemento, descarga el modelo y lo hace hablar, clonar una voz y cancelar una línea.
Solución de problemas
network_unavailableNo se pudo descargar el modelo. Comprueba tu conexión y vuelve a intentarlo: la descarga continúa donde se quedó.disk_fullNo hay espacio en disco suficiente para el modelo. Necesita unos 1,5 GB libres.oomMemoria insuficiente. Cierra otros programas; OmniVoice necesita unos 2,5 GB libres.bad_paramsLa línea no tiene texto, la voz clonada no recibió ninguna muestra o ninguna palabra con ella, o la voz que describes no tiene ningún rasgo definido. El mensaje dice cuál. Para una voz clonada, abre el vídeo y deja Clone the timbre only desactivado.unsupported_voiceEl proyecto indica una voz que esta versión no tiene. Vuelve a elegir la voz en la pestaña Hablantes.internalAlgo falló dentro del complemento; el mensaje tiene los detalles.
Licencia
El complemento y el motor audio.cpp son Apache-2.0, y ggml, sobre el que funciona audio.cpp, es MIT. Los pesos de OmniVoice, de k2-fsa, son CC-BY-NC: lo que dobles con ellos es solo para uso no comercial. Una voz clonada suena como una persona real: clona voces que tengas derecho a usar, y di que un doblaje es sintético cuando importe.
Versiones
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Otros complementos de Voces
-
Piper Sin conexión
158 voces sin conexión en 49 idiomas, cada una una descarga pequeña aparte.
-
Kokoro Sin conexión
54 voces sin conexión en nueve idiomas, todas de un único modelo de 82 MB.
-
Supertonic Sin conexión
Diez voces sin conexión, cada una capaz de hablar los 31 idiomas del modelo.
-
sanoTTS Sin conexión
Voces sin conexión diminutas, 28 en 14 idiomas, cada una de menos de 10 MB.
-
Parler-TTS Sin conexión
Voces en inglés que siguen una descripción escrita; 34 hablantes con nombre.
-
Qwen3-TTS Clonación
Diez idiomas, nueve voces y clonación desde 3 segundos de un hablante.
-
Coqui XTTS Clonación
Clonación de voz en 16 idiomas, con licencia de modelo no comercial.
-
F5-TTS Clonación
Solo clonación de voz, en inglés y chino; modelo no comercial.
-
VoxCPM2 Clonación
30 idiomas a 48 kHz, con la propia voz del hablante o una descrita. Pesado.
-
Pocket TTS Sin conexión
Rápido y ligero, solo CPU. 23 voces en siete idiomas europeos.
-
Sopro Clonación
La propia voz del hablante, rápido en una CPU. Cuatro idiomas.
-
KittenTTS 2 Clonación
La propia voz del hablante en 16 idiomas, en una CPU. Pesos bajo una licencia restrictiva.
-
Ming-3.0-tts Clonación
7 idiomas a 44,1 kHz: voces clonadas, integradas o descritas, con emoción. Pesado.
-
Scylla's Band Sin conexión
Catorce voces en seis idiomas, ligero y rápido en una CPU. Solo voces predefinidas.
-
Audio8 TTS Clonación
La propia voz del hablante en 23 idiomas, cantonés y árabe incluidos. Lento en una CPU.
-
Inflect Sin conexión
Voz natural en inglés con un modelo diminuto, rápido en cualquier CPU.
-
Paradee Sin conexión
Cuatro voces naturales en inglés, americanas y británicas, con un solo modelo de 8,5 MB.
-
BlueTTS Clonación
Hebreo y yidis, y cinco idiomas más. La propia voz del hablante, rápido en una CPU.
-
ZONOS3-Mini Clonación
43 idiomas, del árabe al vietnamita. La propia voz del hablante, en una CPU.
-
Reverb Clonación
Siete idiomas europeos y la propia voz del hablante, en una CPU; modelo no comercial.
-
Chatterbox Clonación
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…