OmniVoice hors ligne, clonage de voix, 646 langues, non commercial

VoixHors ligneGPU facultatifClonage de voixNon commercial

Double vos sous-titres dans n'importe laquelle de 646 langues avec OmniVoice de k2-fsa, avec la voix de chaque locuteur clonée depuis la vidéo, même dans une autre langue, ou avec une voix conçue à partir de quelques traits. Tout tourne sur votre ordinateur. Le modèle est réservé à un usage non commercial.

Installez-la depuis Subtitld

Paramètres Extensions OmniVoice (offline, voice clone, 646 languages, non-commercial) Installer

Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.

Code source sur GitHub
Langues
655
Modèles
1
Voix
12
Téléchargement de l'extension
14–17 MB
RAM, au minimum
2.5 GB

Ce qu'elle fait

646 langues

De l'afrikaans au zoulou, avec beaucoup de langues qu'aucune autre extension ne parle, et des variétés régionales de l'arabe, du chinois et d'autres.

La voix du locuteur, dans n'importe quelle langue

Subtitld découpe dans la vidéo quelques secondes de chaque locuteur et les envoie avec les sous-titres qui y sont prononcés. OmniVoice clone cette voix, et la garde quand le doublage est dans une autre langue.

Ou une voix conçue

Dix voix prêtes à l'emploi, d'un enfant à un homme âgé, ou une voix que vous composez à partir de quelques traits : genre, âge, hauteur, un accent anglais, un chuchotement.

Hors ligne après la première réplique

Le modèle se télécharge une seule fois, la première fois qu'une réplique en a besoin. Ensuite, rien ne quitte votre ordinateur.

Modèle non commercial. Les poids d'OmniVoice sont sous CC-BY-NC, qui n'autorise pas l'usage commercial. Le code de l'extension est sous Apache-2.0, mais cela ne change pas les conditions des poids. Pour un travail commercial, VoxCPM2 (30 langues) et ZONOS3-Mini (43 langues) clonent aussi les voix, et leurs poids sont sous Apache-2.0.

Avant d'installer

  • Disque : environ 1,5 Go, surtout le modèle de 1,35 Go, téléchargé à la première réplique que vous doublez.
  • Mémoire : environ 2,5 Go libres.
  • Temps : sur un CPU, chaque seconde de voix demande plusieurs secondes de calcul. Sur un Intel Core i7-13700T, une réplique avec la voix du locuteur a pris environ 6 secondes par seconde de voix, et la première réplique d'une voix conçue prend plus longtemps, le temps que l'extension crée la voix. Sur un Mac Apple Silicon, il tourne sur le GPU.

Pour des doublages rapides, Piper ou Kokoro sont bien plus légers, et Piper couvre lui aussi beaucoup de langues.

Voix

Dans l'onglet Locuteurs, choisissez OmniVoice comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.

12 voix.

La voix clonée

Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres de 3 à 12 secondes, ou de plusieurs courts mis bout à bout, et envoie avec lui le texte du sous-titre. OmniVoice a besoin de l'échantillon et de ses mots. Le doublage peut être dans n'importe laquelle de ses langues, quelle que soit la langue de l'échantillon. Le Fallback reference clip des réglages de l'extension, avec sa transcription, ne sert que si aucun échantillon ne peut être découpé.

Clone the timbre only ne fonctionne pas avec cette extension, car OmniVoice ne peut pas cloner sans les mots de l'échantillon. Laissez-le désactivé pour les locuteurs qui utilisent OmniVoice.

Voix conçues

OmniVoice invente une nouvelle voix chaque fois qu'il lit un ensemble de traits. L'extension crée donc la voix de chaque locuteur une seule fois, sous forme d'une courte phrase, et toutes les répliques de ce locuteur la réutilisent : la voix reste la même tout au long de la vidéo, et deux locuteurs avec la même voix conçue sonnent toujours comme deux personnes.

Modèles

Il y a un seul modèle, OmniVoice, avec ses poids stockés sur 8 bits, tel que le projet audio.cpp l'a converti. Il n'est pas inclus dans l'extension : il se télécharge dans le cache de modèles partagé de Subtitld au premier doublage, depuis Hugging Face à une révision fixée, et il est vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension conserve le modèle.

Modèle TéléchargementIdéal pour
OmniVoice (8-bit) Par défaut omnivoice
1.3 GB
Toutes les voix, dans les 646 langues

La première réplique charge aussi le modèle, elle prend donc plus de temps que les suivantes. Sur un Mac Apple Silicon, la toute première fois, l'extension prononce aussi une courte réplique de test sur le GPU, et utilise le CPU si cela ne fonctionne pas. Annuler arrête une réplique entre deux étapes, ou arrête le téléchargement.

Options

Dans Paramètres › Extensions › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Configurer.

Quality steps
Par défaut : 16

Le nombre de passes que fait OmniVoice sur chaque réplique. 16 est rapide et garde chaque mot ; 32, le réglage propre d'OmniVoice, prend deux fois plus de temps et se rapproche un peu plus du locuteur.

Guidance
Par défaut : 2

À quel point la voix produite suit le texte et la voix de référence. 2,0 est le réglage propre d'OmniVoice.

CPU threads
Par défaut : 0

0 choisit les cœurs performance sur les CPU qui ont aussi des cœurs efficacité. Moins de threads gardent l'ordinateur plus réactif pendant le doublage.

Voice gender
Par défaut : vide

Pour la voix « Voix que vous décrivez ». Laissez un trait sur Any pour qu'OmniVoice le choisisse.

Voice age
Par défaut : vide

Pour la voix « Voix que vous décrivez » : de l'enfant à la personne âgée.

Voice pitch
Par défaut : vide

Pour la voix « Voix que vous décrivez » : de très grave à très aiguë.

Accent (English)
Par défaut : vide

Pour la voix « Voix que vous décrivez » : l'accent avec lequel elle parle anglais, par exemple britannique ou indien.

Whisper
Par défaut : désactivé

Pour la voix « Voix que vous décrivez » : une voix chuchotée.

Fallback reference clip
Par défaut : vide

Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : 3 à 15 secondes d'une seule personne qui parle.

Fallback reference transcript
Par défaut : vide

Exactement ce qui est dit dans l'extrait de secours, mot pour mot. OmniVoice clone à partir de l'extrait et de ses mots, donc l'extrait de secours est refusé sans eux.

Langues

La liste propre d'OmniVoice, 646 langues, dont l'arabe, le bengali, le chinois et le cantonais, l'anglais, le français, l'allemand, l'hindi, l'indonésien, le japonais, le coréen, le persan, le portugais, le russe, l'espagnol, le swahili, le turc, l'ourdou, le vietnamien, le yoruba, le zoulou et des centaines de langues régionales. Subtitld lui indique la langue du projet ; quand il ne la connaît pas, OmniVoice la reconnaît d'après le texte.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

Plateformes

Système TéléchargementTesté
Linux x86-64 17.3 MBDoublé avec le vrai modèle sur une vraie machine et sur AlmaLinux 8 ; en CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique
macOS (Apple silicon) 16.6 MBEn CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique (Apple Silicon)
Windows x86-64 14.0 MBEn CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique

Linux x86-64 (toute distribution depuis 2018, glibc 2.28 ou plus récent), macOS 13.3 ou plus récent sur Apple Silicon, et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension, télécharge le modèle, et le fait parler, cloner une voix et annuler une réplique.

Dépannage

  • network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.
  • disk_fullPas assez d'espace disque pour le modèle. Il lui faut environ 1,5 Go libres.
  • oomMémoire insuffisante. Fermez d'autres programmes ; OmniVoice a besoin d'environ 2,5 Go libres.
  • bad_paramsLa réplique n'a pas de texte, la voix clonée n'a reçu aucun échantillon ou aucun mot avec, ou la voix que vous décrivez n'a aucun trait défini. Le message précise lequel. Pour une voix clonée, ouvrez la vidéo et laissez Clone the timbre only désactivé.
  • unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.
  • internalQuelque chose a échoué dans l'extension ; le message donne les détails.

Licence

Extension
Apache-2.0
Moteur
Apache-2.0
audio.cpp, avec ggml (MIT)
Modèle
CC-BY-NC
poids d'OmniVoice, par k2-fsa ; non commercial uniquement

L'extension et le moteur audio.cpp sont sous Apache-2.0, et ggml, sur lequel audio.cpp tourne, est sous MIT. Les poids d'OmniVoice, par k2-fsa, sont sous CC-BY-NC : ce que vous doublez avec eux est réservé à un usage non commercial. Une voix clonée sonne comme une vraie personne : clonez des voix que vous avez le droit d'utiliser, et indiquez qu'un doublage est synthétique quand c'est important.

Versions

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Autres extensions Voix