OmniVoice sin conexión, clonación de voz, 646 idiomas, no comercial

VocesSin conexiónGPU opcionalClonación de vozNo comercial

Dobla tus subtítulos a cualquiera de 646 idiomas con OmniVoice de k2-fsa, con la propia voz de cada hablante clonada del vídeo, incluso a otro idioma, o con una voz diseñada a partir de unos pocos rasgos. Funciona en tu propio ordenador. El modelo es solo para uso no comercial.

Instálalo desde Subtitld

Ajustes Complementos OmniVoice (offline, voice clone, 646 languages, non-commercial) Instalar

Subtitld lo descarga, comprueba su SHA-256 y lo mantiene actualizado.

Código fuente en GitHub
Idiomas
655
Modelos
1
Voces
12
Descarga del complemento
14–17 MB
RAM, como mínimo
2.5 GB

Qué hace

646 idiomas

Del afrikáans al zulú, con muchos idiomas que ningún otro complemento habla, y variedades regionales del árabe, el chino y otros.

La propia voz del hablante, en cualquier idioma

Subtitld recorta del vídeo unos segundos de cada hablante y los envía con los subtítulos que se dicen en ellos. OmniVoice clona esa voz y la mantiene cuando el doblaje es a otro idioma.

O una voz diseñada

Diez voces listas, desde un niño hasta un hombre mayor, o una que compones a partir de unos pocos rasgos: género, edad, tono, un acento inglés, un susurro.

Sin conexión tras la primera línea

El modelo se descarga una sola vez, la primera vez que una línea lo necesita. A partir de ahí, nada sale de tu ordenador.

Modelo no comercial. Los pesos de OmniVoice están bajo CC-BY-NC, que no permite el uso comercial. El código del complemento es Apache-2.0, pero eso no cambia las condiciones de los pesos. Para trabajo comercial, VoxCPM2 (30 idiomas) y ZONOS3-Mini (43 idiomas) también clonan voces, y sus pesos son Apache-2.0.

Antes de instalar

  • Disco: unos 1,5 GB, casi todo el modelo de 1,35 GB, que se descarga con la primera línea que dobles.
  • Memoria: unos 2,5 GB libres.
  • Tiempo: en una CPU, cada segundo de voz tarda varios segundos en generarse. En un Intel Core i7-13700T, una línea con la propia voz del hablante tardó unos 6 segundos por segundo de voz, y la primera línea de una voz diseñada tarda más, mientras el complemento crea la voz. En un Mac con Apple Silicon funciona en la GPU.

Para doblajes rápidos, Piper o Kokoro son mucho más ligeros, y Piper también cubre muchos idiomas.

Voces

En la pestaña Hablantes, elige OmniVoice como Motor de doblaje de un hablante y luego elige una Voz. Activa Ajustar el doblaje a la duración del subtítulo para que cada línea de ese hablante se estire o se comprima hasta su subtítulo.

12 voces.

La voz clonada

Con Speaker's own voice, Subtitld recorta una muestra de ese hablante del audio del proyecto, de uno de sus subtítulos de 3 a 12 segundos, o de varios cortos unidos, y envía con ella el texto del subtítulo. OmniVoice necesita la muestra y sus palabras. El doblaje puede ser en cualquiera de sus idiomas, sea cual sea el idioma de la muestra. El Fallback reference clip de los ajustes del complemento, con su transcripción, solo se usa cuando no se puede recortar ninguna muestra.

Clone the timbre only no funciona con este complemento, porque OmniVoice no puede clonar sin las palabras de la muestra. Déjalo desactivado para los hablantes que usan OmniVoice.

Voces diseñadas

OmniVoice crea una voz nueva cada vez que lee un conjunto de rasgos. Por eso el complemento crea la voz de cada hablante una sola vez, como una frase corta, y todas las líneas de ese hablante la reutilizan: la voz se mantiene igual a lo largo del vídeo, y dos hablantes con la misma voz diseñada siguen sonando como dos personas.

Modelos

Hay un único modelo, OmniVoice, con sus pesos guardados en 8 bits, tal como lo convirtió el proyecto audio.cpp. No viene dentro del complemento: se descarga en la caché de modelos compartida de Subtitld la primera vez que doblas, desde Hugging Face en una revisión fija, y se comprueba. Una descarga interrumpida continúa donde se quedó. Actualizar o quitar el complemento conserva el modelo.

Modelo DescargaIdeal para
OmniVoice (8-bit) Predeterminado omnivoice
1.3 GB
Todas las voces, en los 646 idiomas

La primera línea también carga el modelo, así que tarda más que las siguientes. En un Mac con Apple Silicon, la primerísima vez, el complemento además pronuncia una línea corta de prueba en la GPU, y usa la CPU si eso no funciona. Cancelar detiene una línea entre dos pasos, o detiene la descarga.

Opciones

En Ajustes › Complementos › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Configurar.

Quality steps
Predeterminado: 16

Cuántas pasadas hace OmniVoice sobre cada línea. 16 es rápido y conserva todas las palabras; 32, el ajuste propio de OmniVoice, tarda el doble y se acerca un poco más al hablante.

Guidance
Predeterminado: 2

Hasta qué punto la voz sigue el texto y la voz de referencia. 2,0 es el ajuste propio de OmniVoice.

CPU threads
Predeterminado: 0

0 elige los núcleos de rendimiento en las CPU que también tienen núcleos de eficiencia. Menos hilos mantienen el ordenador más ágil mientras dobla.

Voice gender
Predeterminado: vacío

Para la voz "Voz que describes". Deja un rasgo en Any para que OmniVoice lo elija.

Voice age
Predeterminado: vacío

Para la voz "Voz que describes": de niño a anciano.

Voice pitch
Predeterminado: vacío

Para la voz "Voz que describes": de muy grave a muy aguda.

Accent (English)
Predeterminado: vacío

Para la voz "Voz que describes": el acento con el que habla inglés, como británico o indio.

Whisper
Predeterminado: desactivado

Para la voz "Voz que describes": una voz susurrada.

Fallback reference clip
Predeterminado: vacío

Un clip para la voz clonada cuando Subtitld no puede recortar uno del vídeo, por ejemplo sin ningún vídeo abierto: de 3 a 15 segundos de una persona hablando.

Fallback reference transcript
Predeterminado: vacío

Exactamente lo que se dice en el clip de reserva, palabra por palabra. OmniVoice clona a partir del clip y sus palabras, así que sin ellas el clip de reserva se rechaza.

Idiomas

La propia lista de 646 idiomas de OmniVoice, entre ellos árabe, bengalí, chino y cantonés, inglés, francés, alemán, hindi, indonesio, japonés, coreano, persa, portugués, ruso, español, suajili, turco, urdu, vietnamita, yoruba, zulú y cientos de idiomas regionales. Subtitld le indica el idioma del proyecto; cuando no lo conoce, OmniVoice lo reconoce por el texto.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

Plataformas

Sistema DescargaProbado
Linux x86-64 17.3 MBDoblado con el modelo real en una máquina real y en AlmaLinux 8; en CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea
macOS (Apple silicon) 16.6 MBEn CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea (Apple Silicon)
Windows x86-64 14.0 MBEn CI, el complemento instalado descarga el modelo, habla, clona una voz y cancela una línea

Linux x86-64 (cualquier distribución de 2018 en adelante, glibc 2.28 o posterior), macOS 13.3 o posterior en Apple Silicon y Windows x86-64. Cada versión se compila en los tres, y en cada uno la CI instala el complemento, descarga el modelo y lo hace hablar, clonar una voz y cancelar una línea.

Solución de problemas

  • network_unavailableNo se pudo descargar el modelo. Comprueba tu conexión y vuelve a intentarlo: la descarga continúa donde se quedó.
  • disk_fullNo hay espacio en disco suficiente para el modelo. Necesita unos 1,5 GB libres.
  • oomMemoria insuficiente. Cierra otros programas; OmniVoice necesita unos 2,5 GB libres.
  • bad_paramsLa línea no tiene texto, la voz clonada no recibió ninguna muestra o ninguna palabra con ella, o la voz que describes no tiene ningún rasgo definido. El mensaje dice cuál. Para una voz clonada, abre el vídeo y deja Clone the timbre only desactivado.
  • unsupported_voiceEl proyecto indica una voz que esta versión no tiene. Vuelve a elegir la voz en la pestaña Hablantes.
  • internalAlgo falló dentro del complemento; el mensaje tiene los detalles.

Licencia

Complemento
Apache-2.0
Motor
Apache-2.0
audio.cpp, con ggml (MIT)
Modelo
CC-BY-NC
Pesos de OmniVoice, de k2-fsa; solo no comercial

El complemento y el motor audio.cpp son Apache-2.0, y ggml, sobre el que funciona audio.cpp, es MIT. Los pesos de OmniVoice, de k2-fsa, son CC-BY-NC: lo que dobles con ellos es solo para uso no comercial. Una voz clonada suena como una persona real: clona voces que tengas derecho a usar, y di que un doblaje es sintético cuando importe.

Versiones

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Otros complementos de Voces