VoxMel hors ligne, clonage de voix, 2 langues
Double vos sous-titres en anglais et en mandarin avec VoxMel de VoxDance Lab, avec la voix de chaque locuteur clonée fidèlement à partir de la vidéo et de ses sous-titres, ou avec l'une de huit voix prédéfinies. Tout tourne sur votre ordinateur, et l'extension, le modèle et les voix sont tous sous Apache-2.0.
Paramètres Extensions VoxMel (offline, voice clone, 2 languages) Installer
Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.
- Langues
- 2
- Modèles
- 1
- Voix
- 9
- Téléchargement de l'extension
- 15–19 MB
- RAM, au minimum
- 2 GB
Écouter
Ce qu'elle fait
Subtitld découpe dans la vidéo quelques secondes de chaque locuteur et les envoie avec les sous-titres qui y sont prononcés. VoxMel clone cette voix fidèlement, en anglais ou en mandarin.
Deux femmes et deux hommes pour chaque langue, pour les locuteurs que vous ne voulez pas cloner. VoxMel les a créées lui-même : aucune voix humaine n'a été enregistrée pour elles.
Une réplique clonée prend deux à quatre secondes par seconde de voix sur un processeur de portable récent.
L'extension, le moteur audio.cpp, les poids de VoxMel et les voix prédéfinies sont tous sous Apache-2.0.
Avant d'installer
- Disque : environ 1,2 Go, surtout le modèle de 1,04 Go, téléchargé à la première réplique que vous doublez.
- Mémoire : environ 2 Go libres.
- Temps : sur un Intel Core i7-13700T, une réplique avec la voix du locuteur a pris deux à quatre secondes par seconde de voix. Sur un Mac Apple Silicon, il tourne sur le GPU.
- Langues : anglais et mandarin uniquement. Pour d'autres langues, VoxCPM2 clone les voix dans 30 langues et OmniVoice dans 646.
Voix
Dans l'onglet Locuteurs, choisissez VoxMel comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre : VoxMel lui-même ne règle pas le débit.
9 voix en 2 langues.
en4zh4
La voix clonée
Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres de 3 à 12 secondes, ou de plusieurs courts mis bout à bout, et envoie avec lui le texte du sous-titre. VoxMel a besoin de l'échantillon et de ses mots. Le Fallback reference clip des réglages de l'extension, avec sa transcription, ne sert que si aucun échantillon ne peut être découpé.
VoxMel clone mieux au sein d'une même langue. Un doublage en anglais d'un locuteur mandarin fonctionne bien ; un doublage en mandarin d'un locuteur anglophone peut avaler certains mots.
Clone the timbre only ne fonctionne pas avec cette extension, car VoxMel ne peut pas cloner sans les mots de l'échantillon. Laissez-le désactivé pour les locuteurs qui utilisent VoxMel.
Voix prédéfinies
Chaque voix prédéfinie est un court extrait que VoxMel a créé sans aucun enregistrement de référence, conservé avec ses mots exacts. Toutes les répliques d'un locuteur doté d'une voix prédéfinie clonent cet extrait, si bien que la voix reste la même tout au long de la vidéo. Les voix anglaises conviennent aux répliques en anglais, et les voix mandarines aux répliques en mandarin.
Modèles
Il y a un seul modèle, VoxMel 0.6B avec son vocodeur Vocos, avec ses poids stockés sur 8 bits, tel que le projet audio.cpp l'a converti. Il n'est pas inclus dans l'extension : il se télécharge dans le cache de modèles partagé de Subtitld au premier doublage, depuis Hugging Face à une révision fixée, et il est vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension conserve le modèle.
| Modèle | Téléchargement | Idéal pour |
|---|---|---|
| VoxMel 0.6B (8-bit) Par défaut voxmel | Toutes les voix, en anglais et en mandarin |
La première réplique charge aussi le modèle, elle prend donc plus de temps que les suivantes. Sur un Mac Apple Silicon, la toute première fois, l'extension prononce aussi une courte réplique de test sur le GPU, et utilise le CPU si cela ne fonctionne pas. Annuler arrête une réplique entre deux étapes, ou arrête le téléchargement.
Options
Dans Paramètres › Extensions › VoxMel (offline, voice clone, 2 languages) › Configurer.
32Le degré de finesse avec lequel VoxMel dessine chaque instant de la voix. 32 est le réglage propre de VoxMel ; moins va plus vite, avec moins de détail.
3.5À quel point la voix produite suit le texte. 3,5 est le réglage propre de VoxMel.
3À quel point une voix clonée suit l'extrait. 3,0 est le réglage propre de VoxMel ; plus haut peut sonner plus ressemblant, ou forcé.
00 choisit les cœurs performance sur les CPU qui ont aussi des cœurs efficacité. Moins de threads gardent l'ordinateur plus réactif pendant le doublage.
Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : 3 à 15 secondes d'une seule personne qui parle.
Exactement ce qui est dit dans l'extrait de secours, mot pour mot. VoxMel clone à partir de l'extrait et de ses mots, donc l'extrait de secours est refusé sans eux.
Langues
L'anglais et le chinois mandarin. VoxMel reconnaît la langue d'après le texte.
enzh
Plateformes
| Système | Téléchargement | Testé |
|---|---|---|
| Linux x86-64 | 18.8 MB | Doublé avec le vrai modèle sur une vraie machine et sur AlmaLinux 8 ; en CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique |
| macOS (Apple silicon) | 18.1 MB | En CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique (Apple Silicon) |
| Windows x86-64 | 15.4 MB | En CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique |
Linux x86-64 (toute distribution depuis 2018, glibc 2.28 ou plus récent), macOS 13.3 ou plus récent sur Apple Silicon, et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension, télécharge le modèle, et le fait parler, cloner une voix et annuler une réplique.
Dépannage
network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.disk_fullPas assez d'espace disque pour le modèle. Il lui faut environ 1,2 Go libres.oomMémoire insuffisante. Fermez d'autres programmes ; VoxMel a besoin d'environ 2 Go libres.bad_paramsLa réplique n'a pas de texte, ou la voix clonée n'a reçu aucun échantillon ou aucun mot avec. Le message précise lequel. Pour une voix clonée, ouvrez la vidéo et laissez Clone the timbre only désactivé.unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.internalQuelque chose a échoué dans l'extension ; le message donne les détails.
Licence
Utilisable pour un usage commercial : l'extension, ses voix prédéfinies, le moteur audio.cpp et les poids de VoxMel sont tous sous Apache-2.0, et le vocodeur Vocos et ggml sont sous MIT. Les doublages que vous faites vous appartiennent. Une voix clonée sonne comme une vraie personne : clonez des voix que vous avez le droit d'utiliser, et indiquez qu'un doublage est synthétique quand c'est important.
Versions
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Autres extensions Voix
-
Piper Hors ligne
158 voix hors ligne en 49 langues, chacune un petit téléchargement à part.
-
Kokoro Hors ligne
54 voix hors ligne en neuf langues, toutes issues d'un seul modèle de 82 Mo.
-
Supertonic Hors ligne
Dix voix hors ligne, chacune capable de parler ses 31 langues.
-
sanoTTS Hors ligne
Petites voix hors ligne, 28 en 14 langues, chacune de moins de 10 Mo.
-
Parler-TTS Hors ligne
Voix anglaises qui suivent une description écrite ; 34 locuteurs nommés.
-
Qwen3-TTS Clonage
Dix langues, neuf voix, et clonage à partir de 3 secondes d'un locuteur.
-
Coqui XTTS Clonage
Clonage de voix en 16 langues, avec une licence de modèle non commerciale.
-
F5-TTS Clonage
Clonage de voix uniquement, en anglais et en chinois ; modèle non commercial.
-
VoxCPM2 Clonage
30 langues en 48 kHz, avec la voix du locuteur ou une voix décrite. Gourmand.
-
Pocket TTS Hors ligne
Rapide et léger, CPU seulement. 23 voix dans sept langues européennes.
-
Sopro Clonage
La voix du locuteur, rapide sur un CPU. Quatre langues.
-
KittenTTS 2 Clonage
La voix du locuteur dans 16 langues, sur un CPU. Poids sous une licence restrictive.
-
Ming-3.0-tts Clonage
7 langues en 44,1 kHz : voix clonées, intégrées ou décrites, avec émotion. Gourmand.
-
Scylla's Band Hors ligne
Quatorze voix en six langues, léger et rapide sur un CPU. Voix intégrées uniquement.
-
Audio8 TTS Clonage
La voix du locuteur en 23 langues, cantonais et arabe compris. Lent sur un CPU.
-
Inflect Hors ligne
Une voix anglaise naturelle issue d'un tout petit modèle, rapide sur n'importe quel CPU.
-
Paradee Hors ligne
Quatre voix anglaises naturelles, américaines et britanniques, issues d'un seul modèle de 8,5 Mo.
-
BlueTTS Clonage
L'hébreu et le yiddish, plus cinq autres langues. La voix du locuteur, rapide sur un CPU.
-
ZONOS3-Mini Clonage
43 langues, de l'arabe au vietnamien. La voix du locuteur, sur un CPU.
-
Reverb Clonage
Sept langues européennes et la voix du locuteur, sur un CPU ; modèle non commercial.
-
OmniVoice Clonage
646 langues, la voix du locuteur d'une langue à l'autre ; modèle non commercial.
-
tiny-voca Hors ligne
Deux voix en anglais américain issues d'un modèle de 4,5 millions de paramètres, sans rien à télécharger.
-
Chatterbox Clonage
La voix du locuteur en 20 langues, sur un CPU, sans compte.