OmniVoice offline, clonagem de voz, 646 idiomas, não comercial
Dubla suas legendas em qualquer um de 646 idiomas com o OmniVoice da k2-fsa, na própria voz de cada pessoa que fala, clonada do vídeo, mesmo para outro idioma, ou numa voz montada a partir de algumas características. Roda no seu próprio computador. O modelo é só para uso não comercial.
Configurações Complementos OmniVoice (offline, voice clone, 646 languages, non-commercial) Instalar
O Subtitld baixa, verifica o SHA-256 e mantém o complemento atualizado.
- Idiomas
- 655
- Modelos
- 1
- Vozes
- 12
- Download do complemento
- 14–17 MB
- RAM, no mínimo
- 2.5 GB
O que faz
Do africâner ao zulu, com muitos idiomas que nenhum outro complemento fala, e variedades regionais do árabe, do chinês e de outros.
O Subtitld recorta do vídeo alguns segundos de cada pessoa que fala e os envia com as legendas ditas neles. O OmniVoice clona essa voz, e a mantém quando a dublagem é em outro idioma.
Dez vozes prontas, de uma criança a um senhor, ou uma que você monta a partir de algumas características: gênero, idade, tom, um sotaque no inglês, um sussurro.
O modelo é baixado uma vez, na primeira vez que uma fala precisa dele. Depois disso, nada sai do seu computador.
Modelo não comercial. Os pesos do OmniVoice estão sob CC-BY-NC, que não permite uso comercial. O código do complemento é Apache-2.0, mas isso não muda os termos dos pesos. Para trabalho comercial, o VoxCPM2 (30 idiomas) e o ZONOS3-Mini (43 idiomas) também clonam vozes, e os pesos deles são Apache-2.0.
Antes de instalar
- Disco: cerca de 1,5 GB, a maior parte o modelo de 1,35 GB, baixado na primeira fala que você dublar.
- Memória: cerca de 2,5 GB livres.
- Tempo: na CPU, cada segundo de fala leva vários segundos para ser gerado. Num Intel Core i7-13700T, uma fala na própria voz de quem fala levou cerca de 6 segundos por segundo de fala, e a primeira fala de uma voz montada demora mais, enquanto o complemento cria a voz. Num Mac com Apple Silicon, roda na GPU.
Para dublagens rápidas, o Piper ou o Kokoro são bem mais leves, e o Piper também cobre muitos idiomas.
Vozes
Na aba Locutores, escolha o OmniVoice como Motor de dublagem de uma pessoa, depois escolha uma Voz. Ative Ajustar dublagem à duração da legenda para que cada fala dessa pessoa seja esticada ou comprimida até a duração da sua legenda.
12 vozes.
A voz clonada
Com Speaker's own voice, o Subtitld recorta uma amostra dessa pessoa do áudio do projeto, de uma das suas legendas de 3 a 12 segundos, ou de várias curtas juntas, e envia o texto da legenda com ela. O OmniVoice precisa tanto da amostra quanto das suas palavras. A dublagem pode ser em qualquer um dos seus idiomas, seja qual for o idioma da amostra. O Fallback reference clip nas configurações do complemento, com a sua transcrição, só é usado quando nenhuma amostra pode ser recortada.
Clone the timbre only não funciona com este complemento, porque o OmniVoice não consegue clonar sem as palavras da amostra. Deixe essa opção desligada para as pessoas que usam o OmniVoice.
Vozes montadas
O OmniVoice cria uma voz nova toda vez que lê um conjunto de características. Por isso o complemento cria a voz de cada pessoa uma vez, como uma frase curta, e todas as falas dessa pessoa a reutilizam: a voz continua a mesma ao longo do vídeo, e duas pessoas com a mesma voz montada ainda soam como duas pessoas.
Modelos
Há um único modelo, o OmniVoice, com os pesos guardados em 8 bits, como o projeto audio.cpp o converteu. Ele não vem dentro do complemento: é baixado para o cache de modelos compartilhado do Subtitld na primeira dublagem, do Hugging Face numa revisão fixa, e é conferido. Um download interrompido continua de onde parou. Atualizar ou remover o complemento mantém o modelo.
| Modelo | Download | Ideal para |
|---|---|---|
| OmniVoice (8-bit) Padrão omnivoice | Todas as vozes, nos 646 idiomas |
A primeira fala também carrega o modelo, por isso demora mais que as seguintes. Num Mac com Apple Silicon, na primeiríssima vez, o complemento também diz uma fala curta de teste na GPU, e usa a CPU se isso não funcionar. Cancelar interrompe uma fala entre dois passos, ou interrompe o download.
Opções
Em Configurações › Complementos › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Configurar.
16Quantas passadas o OmniVoice faz sobre cada fala. 16 é rápido e mantém todas as palavras; 32, o valor do próprio OmniVoice, leva o dobro do tempo e chega um pouco mais perto de quem fala.
2O quanto a fala segue o texto e a voz. 2,0 é o valor do próprio OmniVoice.
00 escolhe os núcleos de desempenho em CPUs que também têm núcleos de eficiência. Menos threads deixam o computador mais ágil enquanto dubla.
Para a voz "Voz que você descreve". Deixe uma característica em Any para o OmniVoice escolhê-la.
Para a voz "Voz que você descreve": de criança a idoso.
Para a voz "Voz que você descreve": de muito grave a muito aguda.
Para a voz "Voz que você descreve": o sotaque com que ela fala inglês, como britânico ou indiano.
Para a voz "Voz que você descreve": uma voz sussurrada.
Um trecho para a voz clonada quando o Subtitld não consegue recortar um do vídeo, por exemplo sem nenhum vídeo aberto: de 3 a 15 segundos de uma pessoa falando.
Exatamente o que é dito no trecho de reserva, palavra por palavra. O OmniVoice clona a partir do trecho e das suas palavras, então o trecho de reserva é recusado sem isso.
Idiomas
A lista do próprio OmniVoice, com 646 idiomas, entre eles árabe, bengali, chinês e cantonês, inglês, francês, alemão, híndi, indonésio, japonês, coreano, persa, português, russo, espanhol, suaíli, turco, urdu, vietnamita, iorubá, zulu e centenas de idiomas regionais. O Subtitld informa o idioma do projeto; quando não sabe o idioma, o OmniVoice o identifica pelo texto.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Plataformas
| Sistema | Download | Testado |
|---|---|---|
| Linux x86-64 | 17.3 MB | Dublado com o modelo real numa máquina real e no AlmaLinux 8; na CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala |
| macOS (Apple silicon) | 16.6 MB | Na CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala (Apple Silicon) |
| Windows x86-64 | 14.0 MB | Na CI, o complemento instalado baixa o modelo, fala, clona uma voz e cancela uma fala |
Linux x86-64 (qualquer distribuição de 2018 em diante, glibc 2.28 ou mais recente), macOS 13.3 ou mais recente em Apple Silicon e Windows x86-64. Cada versão é compilada nos três, e em cada um a CI instala o complemento, baixa o modelo e o faz falar, clonar uma voz e cancelar uma fala.
Solução de problemas
network_unavailableNão foi possível baixar o modelo. Verifique sua conexão e tente de novo: o download continua de onde parou.disk_fullNão há espaço em disco suficiente para o modelo. Ele precisa de cerca de 1,5 GB livres.oomMemória insuficiente. Feche outros programas; o OmniVoice precisa de cerca de 2,5 GB livres.bad_paramsA fala não tem texto, a voz clonada não recebeu amostra ou as palavras dela, ou a voz que você descreve não tem nenhuma característica definida. A mensagem diz qual dos casos. Para uma voz clonada, abra o vídeo e deixe Clone the timbre only desligado.unsupported_voiceO projeto indica uma voz que esta versão não tem. Escolha a voz de novo na aba Locutores.internalAlgo falhou dentro do complemento; a mensagem traz os detalhes.
Licença
O complemento e o motor audio.cpp são Apache-2.0, e o ggml, sobre o qual o audio.cpp roda, é MIT. Os pesos do OmniVoice, da k2-fsa, são CC-BY-NC: o que você dublar com eles é só para uso não comercial. Uma voz clonada soa como uma pessoa real: clone vozes que você tem o direito de usar, e diga que uma dublagem é sintética quando isso importar.
Versões
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Outros complementos de Vozes
-
Piper Offline
158 vozes offline em 49 idiomas, cada uma um pequeno download separado.
-
Kokoro Offline
54 vozes offline em nove idiomas, todas de um único modelo de 82 MB.
-
Supertonic Offline
Dez vozes offline, cada uma capaz de falar todos os 31 idiomas.
-
sanoTTS Offline
Vozes offline minúsculas, 28 em 14 idiomas, cada uma com menos de 10 MB.
-
Parler-TTS Offline
Vozes em inglês que seguem uma descrição escrita; 34 locutores nomeados.
-
Qwen3-TTS Clonagem
Dez idiomas, nove vozes e clonagem a partir de 3 segundos de um locutor.
-
Coqui XTTS Clonagem
Clonagem de voz em 16 idiomas, com licença de modelo não comercial.
-
F5-TTS Clonagem
Somente clonagem de voz, em inglês e chinês; modelo não comercial.
-
VoxCPM2 Clonagem
30 idiomas a 48 kHz, na própria voz de quem fala ou numa voz descrita. Pesado.
-
Pocket TTS Offline
Rápido e leve, só CPU. 23 vozes em sete idiomas europeus.
-
Sopro Clonagem
A própria voz de quem fala, rápido na CPU. Quatro idiomas.
-
KittenTTS 2 Clonagem
A própria voz de quem fala em 16 idiomas, na CPU. Pesos sob uma licença restritiva.
-
Ming-3.0-tts Clonagem
7 idiomas a 44,1 kHz: vozes clonadas, integradas ou descritas, com emoção. Pesado.
-
Scylla's Band Offline
Catorze vozes em seis idiomas, leve e rápido na CPU. Só vozes prontas.
-
Audio8 TTS Clonagem
A própria voz de quem fala em 23 idiomas, cantonês e árabe incluídos. Lento numa CPU.
-
Inflect Offline
Fala natural em inglês de um modelo minúsculo, rápido em qualquer CPU.
-
Paradee Offline
Quatro vozes naturais em inglês, americanas e britânicas, de um único modelo de 8,5 MB.
-
BlueTTS Clonagem
Hebraico e iídiche, e mais cinco idiomas. A própria voz de quem fala, rápido na CPU.
-
ZONOS3-Mini Clonagem
43 idiomas, do árabe ao vietnamita. A própria voz de quem fala, na CPU.
-
Reverb Clonagem
Sete idiomas europeus e a própria voz de quem fala, na CPU; modelo não comercial.
-
Chatterbox Clonagem
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…