OmniVoice offline, clonagem de voz, 646 idiomas, não comercial

VozesOfflineGPU opcionalClonagem de vozNão comercial

Dubla suas legendas em qualquer um de 646 idiomas com o OmniVoice da k2-fsa, na própria voz de cada pessoa que fala, clonada do vídeo, mesmo para outro idioma, ou numa voz montada a partir de algumas características. Roda no seu próprio computador. O modelo é só para uso não comercial.

Instale pelo Subtitld

Configurações Complementos OmniVoice (offline, voice clone, 646 languages, non-commercial) Instalar

O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.

Código-fonte no GitHub
Idiomas
655
Modelos
1
Vozes
12
Download do complemento
14–17 MB
RAM, no mínimo
2.5 GB

O que faz

646 idiomas

Do africâner ao zulu, com muitos idiomas que nenhum outro complemento fala, e variedades regionais do árabe, do chinês e de outros.

A própria voz de quem fala, em qualquer idioma

O Subtitld recorta do vídeo alguns segundos de cada pessoa que fala e os envia com as legendas ditas neles. O OmniVoice clona essa voz, e a mantém quando a dublagem é em outro idioma.

Ou uma voz montada

Dez vozes prontas, de uma criança a um senhor, ou uma que você monta a partir de algumas características: gênero, idade, tom, um sotaque no inglês, um sussurro.

Offline depois da primeira fala

O modelo é baixado uma vez, na primeira vez que uma fala precisa dele. Depois disso, nada sai do seu computador.

Modelo não comercial. Os pesos do OmniVoice estão sob CC-BY-NC, que não permite uso comercial. O código do complemento é Apache-2.0, mas isso não muda os termos dos pesos. Para trabalho comercial, o VoxCPM2 (30 idiomas) e o ZONOS3-Mini (43 idiomas) também clonam vozes, e os pesos deles são Apache-2.0.

Antes de instalar

  • Disco: cerca de 1,5 GB, a maior parte o modelo de 1,35 GB, baixado na primeira fala que você dublar.
  • Memória: cerca de 2,5 GB livres.
  • Tempo: na CPU, cada segundo de fala leva vários segundos para ser gerado. Num Intel Core i7-13700T, uma fala na própria voz de quem fala levou cerca de 6 segundos por segundo de fala, e a primeira fala de uma voz montada demora mais, enquanto o complemento cria a voz. Num Mac com Apple Silicon, roda na GPU.

Para dublagens rápidas, o Piper ou o Kokoro são bem mais leves, e o Piper também cobre muitos idiomas.

Vozes

Na aba Locutores, escolha o OmniVoice como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.

12 vozes.

A voz clonada

Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas de 3 a 12 segundos, ou de várias curtas juntas, e envia o texto da legenda com ela. O OmniVoice precisa tanto da amostra quanto das suas palavras. A dublagem pode ser em qualquer um dos seus idiomas, seja qual for o idioma da amostra. O Fallback reference clip nas configurações do complemento, com a sua transcrição, só é usado quando nenhuma amostra pode ser recortada.

Clone the timbre only não funciona com este complemento, porque o OmniVoice não consegue clonar sem as palavras da amostra. Deixe essa opção desligada para as pessoas que usam o OmniVoice.

Vozes montadas

O OmniVoice cria uma voz nova toda vez que lê um conjunto de características. Por isso o complemento cria a voz de cada pessoa uma vez, como uma frase curta, e todas as falas dessa pessoa a reutilizam: a voz continua a mesma ao longo do vídeo, e duas pessoas com a mesma voz montada ainda soam como duas pessoas.

Modelos

Há um único modelo, o OmniVoice, com os pesos guardados em 8 bits, como o projeto audio.cpp o converteu. Ele não vem dentro do complemento: é baixado para o cache de modelos compartilhado do Subtitld na primeira dublagem, do Hugging Face numa revisão fixa, e é conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém o modelo.

Modelo DownloadIdeal para
OmniVoice (8-bit) Padrão omnivoice
1.3 GB
Todas as vozes, nos 646 idiomas

A primeira fala também carrega o modelo, por isso demora mais que as seguintes. Num Mac com Apple Silicon, na primeiríssima vez, o complemento também diz uma fala curta de teste na GPU, e usa a CPU se isso não funcionar. Cancelar interrompe uma fala entre dois passos, ou interrompe o download.

Opções

Em Configurações › Complementos › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Configurar.

Quality steps
Padrão: 16

Quantas passadas o OmniVoice faz sobre cada fala. 16 é rápido e mantém todas as palavras; 32, o valor do próprio OmniVoice, leva o dobro do tempo e chega um pouco mais perto de quem fala.

Guidance
Padrão: 2

O quanto a fala segue o texto e a voz. 2,0 é o valor do próprio OmniVoice.

CPU threads
Padrão: 0

0 escolhe os núcleos de desempenho em CPUs que também têm núcleos de eficiência. Menos threads deixam o computador mais ágil enquanto dubla.

Voice gender
Padrão: vazio

Para a voz "Voz que você descreve". Deixe uma característica em Any para o OmniVoice escolhê-la.

Voice age
Padrão: vazio

Para a voz "Voz que você descreve": de criança a idoso.

Voice pitch
Padrão: vazio

Para a voz "Voz que você descreve": de muito grave a muito aguda.

Accent (English)
Padrão: vazio

Para a voz "Voz que você descreve": o sotaque com que ela fala inglês, como britânico ou indiano.

Whisper
Padrão: desligado

Para a voz "Voz que você descreve": uma voz sussurrada.

Fallback reference clip
Padrão: vazio

Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 3 a 15 segundos de uma pessoa falando.

Fallback reference transcript
Padrão: vazio

Exatamente o que é dito no trecho de reserva, palavra por palavra. O OmniVoice clona a partir do trecho e das suas palavras, então o trecho de reserva é recusado sem isso.

Idiomas

A lista do próprio OmniVoice, com 646 idiomas, entre eles árabe, bengali, chinês e cantonês, inglês, francês, alemão, híndi, indonésio, japonês, coreano, persa, português, russo, espanhol, suaíli, turco, urdu, vietnamita, iorubá, zulu e centenas de idiomas regionais. O Subtitld informa o idioma do projeto; quando não sabe o idioma, o OmniVoice o identifica pelo texto.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

Plataformas

Sistema DownloadTestado
Linux x86-64 17.3 MBDublado com o modelo real numa máquina real e no AlmaLinux 8; na CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala
macOS (Apple silicon) 16.6 MBNa CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala (Apple Silicon)
Windows x86-64 14.0 MBNa CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala

Linux x86-64 (qualquer distribuição de 2018 em diante, glibc 2.28 ou mais recente), macOS 13.3 ou mais recente em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento, baixa o modelo e o faz falar, clonar uma voz e cancelar uma fala.

Solução de problemas

  • network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.
  • disk_fullNão há espaço em disco suficiente para o modelo. Ele precisa de cerca de 1,5 GB livres.
  • oomMemória insuficiente. Feche outros programas; o OmniVoice precisa de cerca de 2,5 GB livres.
  • bad_paramsA fala não tem texto, a voz clonada não recebeu amostra ou as palavras dela, ou a voz que você descreve não tem nenhuma característica definida. A mensagem diz qual dos casos. Para uma voz clonada, abra o vídeo e deixe Clone the timbre only desligado.
  • unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.
  • internalAlgo falhou dentro do complemento; a mensagem traz os detalhes.

Licença

Complemento
Apache-2.0
Motor
Apache-2.0
audio.cpp, com ggml (MIT)
Modelo
CC-BY-NC
Pesos do OmniVoice, da k2-fsa; só uso não comercial

O complemento e o motor audio.cpp são Apache-2.0, e o ggml, sobre o qual o audio.cpp roda, é MIT. Os pesos do OmniVoice, da k2-fsa, são CC-BY-NC: o que você dublar com eles é só para uso não comercial. Uma voz clonada soa como uma pessoa real: clone vozes que você tem o direito de usar, e diga que uma dublagem é sintética quando isso importar.

Versões

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Outros complementos de Vozes