OmniVoice hors ligne, clonage de voix, 646 langues, non commercial
Double vos sous-titres dans n'importe laquelle de 646 langues avec OmniVoice de k2-fsa, avec la voix de chaque locuteur clonée depuis la vidéo, même dans une autre langue, ou avec une voix conçue à partir de quelques traits. Tout tourne sur votre ordinateur. Le modèle est réservé à un usage non commercial.
Paramètres Extensions OmniVoice (offline, voice clone, 646 languages, non-commercial) Installer
Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.
- Langues
- 655
- Modèles
- 1
- Voix
- 12
- Téléchargement de l'extension
- 14–17 MB
- RAM, au minimum
- 2.5 GB
Ce qu'elle fait
De l'afrikaans au zoulou, avec beaucoup de langues qu'aucune autre extension ne parle, et des variétés régionales de l'arabe, du chinois et d'autres.
Subtitld découpe dans la vidéo quelques secondes de chaque locuteur et les envoie avec les sous-titres qui y sont prononcés. OmniVoice clone cette voix, et la garde quand le doublage est dans une autre langue.
Dix voix prêtes à l'emploi, d'un enfant à un homme âgé, ou une voix que vous composez à partir de quelques traits : genre, âge, hauteur, un accent anglais, un chuchotement.
Le modèle se télécharge une seule fois, la première fois qu'une réplique en a besoin. Ensuite, rien ne quitte votre ordinateur.
Modèle non commercial. Les poids d'OmniVoice sont sous CC-BY-NC, qui n'autorise pas l'usage commercial. Le code de l'extension est sous Apache-2.0, mais cela ne change pas les conditions des poids. Pour un travail commercial, VoxCPM2 (30 langues) et ZONOS3-Mini (43 langues) clonent aussi les voix, et leurs poids sont sous Apache-2.0.
Avant d'installer
- Disque : environ 1,5 Go, surtout le modèle de 1,35 Go, téléchargé à la première réplique que vous doublez.
- Mémoire : environ 2,5 Go libres.
- Temps : sur un CPU, chaque seconde de voix demande plusieurs secondes de calcul. Sur un Intel Core i7-13700T, une réplique avec la voix du locuteur a pris environ 6 secondes par seconde de voix, et la première réplique d'une voix conçue prend plus longtemps, le temps que l'extension crée la voix. Sur un Mac Apple Silicon, il tourne sur le GPU.
Pour des doublages rapides, Piper ou Kokoro sont bien plus légers, et Piper couvre lui aussi beaucoup de langues.
Voix
Dans l'onglet Locuteurs, choisissez OmniVoice comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.
12 voix.
La voix clonée
Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres de 3 à 12 secondes, ou de plusieurs courts mis bout à bout, et envoie avec lui le texte du sous-titre. OmniVoice a besoin de l'échantillon et de ses mots. Le doublage peut être dans n'importe laquelle de ses langues, quelle que soit la langue de l'échantillon. Le Fallback reference clip des réglages de l'extension, avec sa transcription, ne sert que si aucun échantillon ne peut être découpé.
Clone the timbre only ne fonctionne pas avec cette extension, car OmniVoice ne peut pas cloner sans les mots de l'échantillon. Laissez-le désactivé pour les locuteurs qui utilisent OmniVoice.
Voix conçues
OmniVoice invente une nouvelle voix chaque fois qu'il lit un ensemble de traits. L'extension crée donc la voix de chaque locuteur une seule fois, sous forme d'une courte phrase, et toutes les répliques de ce locuteur la réutilisent : la voix reste la même tout au long de la vidéo, et deux locuteurs avec la même voix conçue sonnent toujours comme deux personnes.
Modèles
Il y a un seul modèle, OmniVoice, avec ses poids stockés sur 8 bits, tel que le projet audio.cpp l'a converti. Il n'est pas inclus dans l'extension : il se télécharge dans le cache de modèles partagé de Subtitld au premier doublage, depuis Hugging Face à une révision fixée, et il est vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension conserve le modèle.
| Modèle | Téléchargement | Idéal pour |
|---|---|---|
| OmniVoice (8-bit) Par défaut omnivoice | Toutes les voix, dans les 646 langues |
La première réplique charge aussi le modèle, elle prend donc plus de temps que les suivantes. Sur un Mac Apple Silicon, la toute première fois, l'extension prononce aussi une courte réplique de test sur le GPU, et utilise le CPU si cela ne fonctionne pas. Annuler arrête une réplique entre deux étapes, ou arrête le téléchargement.
Options
Dans Paramètres › Extensions › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Configurer.
16Le nombre de passes que fait OmniVoice sur chaque réplique. 16 est rapide et garde chaque mot ; 32, le réglage propre d'OmniVoice, prend deux fois plus de temps et se rapproche un peu plus du locuteur.
2À quel point la voix produite suit le texte et la voix de référence. 2,0 est le réglage propre d'OmniVoice.
00 choisit les cœurs performance sur les CPU qui ont aussi des cœurs efficacité. Moins de threads gardent l'ordinateur plus réactif pendant le doublage.
Pour la voix « Voix que vous décrivez ». Laissez un trait sur Any pour qu'OmniVoice le choisisse.
Pour la voix « Voix que vous décrivez » : de l'enfant à la personne âgée.
Pour la voix « Voix que vous décrivez » : de très grave à très aiguë.
Pour la voix « Voix que vous décrivez » : l'accent avec lequel elle parle anglais, par exemple britannique ou indien.
Pour la voix « Voix que vous décrivez » : une voix chuchotée.
Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : 3 à 15 secondes d'une seule personne qui parle.
Exactement ce qui est dit dans l'extrait de secours, mot pour mot. OmniVoice clone à partir de l'extrait et de ses mots, donc l'extrait de secours est refusé sans eux.
Langues
La liste propre d'OmniVoice, 646 langues, dont l'arabe, le bengali, le chinois et le cantonais, l'anglais, le français, l'allemand, l'hindi, l'indonésien, le japonais, le coréen, le persan, le portugais, le russe, l'espagnol, le swahili, le turc, l'ourdou, le vietnamien, le yoruba, le zoulou et des centaines de langues régionales. Subtitld lui indique la langue du projet ; quand il ne la connaît pas, OmniVoice la reconnaît d'après le texte.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Plateformes
| Système | Téléchargement | Testé |
|---|---|---|
| Linux x86-64 | 17.3 MB | Doublé avec le vrai modèle sur une vraie machine et sur AlmaLinux 8 ; en CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique |
| macOS (Apple silicon) | 16.6 MB | En CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique (Apple Silicon) |
| Windows x86-64 | 14.0 MB | En CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique |
Linux x86-64 (toute distribution depuis 2018, glibc 2.28 ou plus récent), macOS 13.3 ou plus récent sur Apple Silicon, et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension, télécharge le modèle, et le fait parler, cloner une voix et annuler une réplique.
Dépannage
network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.disk_fullPas assez d'espace disque pour le modèle. Il lui faut environ 1,5 Go libres.oomMémoire insuffisante. Fermez d'autres programmes ; OmniVoice a besoin d'environ 2,5 Go libres.bad_paramsLa réplique n'a pas de texte, la voix clonée n'a reçu aucun échantillon ou aucun mot avec, ou la voix que vous décrivez n'a aucun trait défini. Le message précise lequel. Pour une voix clonée, ouvrez la vidéo et laissez Clone the timbre only désactivé.unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.internalQuelque chose a échoué dans l'extension ; le message donne les détails.
Licence
L'extension et le moteur audio.cpp sont sous Apache-2.0, et ggml, sur lequel audio.cpp tourne, est sous MIT. Les poids d'OmniVoice, par k2-fsa, sont sous CC-BY-NC : ce que vous doublez avec eux est réservé à un usage non commercial. Une voix clonée sonne comme une vraie personne : clonez des voix que vous avez le droit d'utiliser, et indiquez qu'un doublage est synthétique quand c'est important.
Versions
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Autres extensions Voix
-
Piper Hors ligne
158 voix hors ligne en 49 langues, chacune un petit téléchargement à part.
-
Kokoro Hors ligne
54 voix hors ligne en neuf langues, toutes issues d'un seul modèle de 82 Mo.
-
Supertonic Hors ligne
Dix voix hors ligne, chacune capable de parler ses 31 langues.
-
sanoTTS Hors ligne
Petites voix hors ligne, 28 en 14 langues, chacune de moins de 10 Mo.
-
Parler-TTS Hors ligne
Voix anglaises qui suivent une description écrite ; 34 locuteurs nommés.
-
Qwen3-TTS Clonage
Dix langues, neuf voix, et clonage à partir de 3 secondes d'un locuteur.
-
Coqui XTTS Clonage
Clonage de voix en 16 langues, avec une licence de modèle non commerciale.
-
F5-TTS Clonage
Clonage de voix uniquement, en anglais et en chinois ; modèle non commercial.
-
VoxCPM2 Clonage
30 langues en 48 kHz, avec la voix du locuteur ou une voix décrite. Gourmand.
-
Pocket TTS Hors ligne
Rapide et léger, CPU seulement. 23 voix dans sept langues européennes.
-
Sopro Clonage
La voix du locuteur, rapide sur un CPU. Quatre langues.
-
KittenTTS 2 Clonage
La voix du locuteur dans 16 langues, sur un CPU. Poids sous une licence restrictive.
-
Ming-3.0-tts Clonage
7 langues en 44,1 kHz : voix clonées, intégrées ou décrites, avec émotion. Gourmand.
-
Scylla's Band Hors ligne
Quatorze voix en six langues, léger et rapide sur un CPU. Voix intégrées uniquement.
-
Audio8 TTS Clonage
La voix du locuteur en 23 langues, cantonais et arabe compris. Lent sur un CPU.
-
Inflect Hors ligne
Une voix anglaise naturelle issue d'un tout petit modèle, rapide sur n'importe quel CPU.
-
Paradee Hors ligne
Quatre voix anglaises naturelles, américaines et britanniques, issues d'un seul modèle de 8,5 Mo.
-
BlueTTS Clonage
L'hébreu et le yiddish, plus cinq autres langues. La voix du locuteur, rapide sur un CPU.
-
ZONOS3-Mini Clonage
43 langues, de l'arabe au vietnamien. La voix du locuteur, sur un CPU.
-
Reverb Clonage
Sept langues européennes et la voix du locuteur, sur un CPU ; modèle non commercial.
-
Chatterbox Clonage
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…