VoxMel hors ligne, clonage de voix, 2 langues

VoixHors ligneGPU facultatifClonage de voixUsage commercial autorisé

Double vos sous-titres en anglais et en mandarin avec VoxMel de VoxDance Lab, avec la voix de chaque locuteur clonée fidèlement à partir de la vidéo et de ses sous-titres, ou avec l'une de huit voix prédéfinies. Tout tourne sur votre ordinateur, et l'extension, le modèle et les voix sont tous sous Apache-2.0.

Installez-la depuis Subtitld

Paramètres Extensions VoxMel (offline, voice clone, 2 languages) Installer

Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.

Code source sur GitHub
Langues
2
Modèles
1
Voix
9
Téléchargement de l'extension
15–19 MB
RAM, au minimum
2 GB

Écouter

Ce qu'elle fait

Des clones fidèles

Subtitld découpe dans la vidéo quelques secondes de chaque locuteur et les envoie avec les sous-titres qui y sont prononcés. VoxMel clone cette voix fidèlement, en anglais ou en mandarin.

Huit voix prédéfinies

Deux femmes et deux hommes pour chaque langue, pour les locuteurs que vous ne voulez pas cloner. VoxMel les a créées lui-même : aucune voix humaine n'a été enregistrée pour elles.

Rapide pour un modèle de clonage

Une réplique clonée prend deux à quatre secondes par seconde de voix sur un processeur de portable récent.

Libre pour un usage commercial

L'extension, le moteur audio.cpp, les poids de VoxMel et les voix prédéfinies sont tous sous Apache-2.0.

Avant d'installer

  • Disque : environ 1,2 Go, surtout le modèle de 1,04 Go, téléchargé à la première réplique que vous doublez.
  • Mémoire : environ 2 Go libres.
  • Temps : sur un Intel Core i7-13700T, une réplique avec la voix du locuteur a pris deux à quatre secondes par seconde de voix. Sur un Mac Apple Silicon, il tourne sur le GPU.
  • Langues : anglais et mandarin uniquement. Pour d'autres langues, VoxCPM2 clone les voix dans 30 langues et OmniVoice dans 646.

Voix

Dans l'onglet Locuteurs, choisissez VoxMel comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre : VoxMel lui-même ne règle pas le débit.

9 voix en 2 langues.

  • en 4
  • zh 4

La voix clonée

Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres de 3 à 12 secondes, ou de plusieurs courts mis bout à bout, et envoie avec lui le texte du sous-titre. VoxMel a besoin de l'échantillon et de ses mots. Le Fallback reference clip des réglages de l'extension, avec sa transcription, ne sert que si aucun échantillon ne peut être découpé.

VoxMel clone mieux au sein d'une même langue. Un doublage en anglais d'un locuteur mandarin fonctionne bien ; un doublage en mandarin d'un locuteur anglophone peut avaler certains mots.

Clone the timbre only ne fonctionne pas avec cette extension, car VoxMel ne peut pas cloner sans les mots de l'échantillon. Laissez-le désactivé pour les locuteurs qui utilisent VoxMel.

Voix prédéfinies

Chaque voix prédéfinie est un court extrait que VoxMel a créé sans aucun enregistrement de référence, conservé avec ses mots exacts. Toutes les répliques d'un locuteur doté d'une voix prédéfinie clonent cet extrait, si bien que la voix reste la même tout au long de la vidéo. Les voix anglaises conviennent aux répliques en anglais, et les voix mandarines aux répliques en mandarin.

Modèles

Il y a un seul modèle, VoxMel 0.6B avec son vocodeur Vocos, avec ses poids stockés sur 8 bits, tel que le projet audio.cpp l'a converti. Il n'est pas inclus dans l'extension : il se télécharge dans le cache de modèles partagé de Subtitld au premier doublage, depuis Hugging Face à une révision fixée, et il est vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension conserve le modèle.

Modèle TéléchargementIdéal pour
VoxMel 0.6B (8-bit) Par défaut voxmel
992 MB
Toutes les voix, en anglais et en mandarin

La première réplique charge aussi le modèle, elle prend donc plus de temps que les suivantes. Sur un Mac Apple Silicon, la toute première fois, l'extension prononce aussi une courte réplique de test sur le GPU, et utilise le CPU si cela ne fonctionne pas. Annuler arrête une réplique entre deux étapes, ou arrête le téléchargement.

Options

Dans Paramètres › Extensions › VoxMel (offline, voice clone, 2 languages) › Configurer.

Quality steps
Par défaut : 32

Le degré de finesse avec lequel VoxMel dessine chaque instant de la voix. 32 est le réglage propre de VoxMel ; moins va plus vite, avec moins de détail.

Text guidance
Par défaut : 3.5

À quel point la voix produite suit le texte. 3,5 est le réglage propre de VoxMel.

Voice guidance
Par défaut : 3

À quel point une voix clonée suit l'extrait. 3,0 est le réglage propre de VoxMel ; plus haut peut sonner plus ressemblant, ou forcé.

CPU threads
Par défaut : 0

0 choisit les cœurs performance sur les CPU qui ont aussi des cœurs efficacité. Moins de threads gardent l'ordinateur plus réactif pendant le doublage.

Fallback reference clip
Par défaut : vide

Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : 3 à 15 secondes d'une seule personne qui parle.

Fallback reference transcript
Par défaut : vide

Exactement ce qui est dit dans l'extrait de secours, mot pour mot. VoxMel clone à partir de l'extrait et de ses mots, donc l'extrait de secours est refusé sans eux.

Langues

L'anglais et le chinois mandarin. VoxMel reconnaît la langue d'après le texte.

  • en
  • zh

Plateformes

Système TéléchargementTesté
Linux x86-64 18.8 MBDoublé avec le vrai modèle sur une vraie machine et sur AlmaLinux 8 ; en CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique
macOS (Apple silicon) 18.1 MBEn CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique (Apple Silicon)
Windows x86-64 15.4 MBEn CI, l'extension installée télécharge le modèle, parle, clone une voix et annule une réplique

Linux x86-64 (toute distribution depuis 2018, glibc 2.28 ou plus récent), macOS 13.3 ou plus récent sur Apple Silicon, et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension, télécharge le modèle, et le fait parler, cloner une voix et annuler une réplique.

Dépannage

  • network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.
  • disk_fullPas assez d'espace disque pour le modèle. Il lui faut environ 1,2 Go libres.
  • oomMémoire insuffisante. Fermez d'autres programmes ; VoxMel a besoin d'environ 2 Go libres.
  • bad_paramsLa réplique n'a pas de texte, ou la voix clonée n'a reçu aucun échantillon ou aucun mot avec. Le message précise lequel. Pour une voix clonée, ouvrez la vidéo et laissez Clone the timbre only désactivé.
  • unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.
  • internalQuelque chose a échoué dans l'extension ; le message donne les détails.

Licence

Extension
Apache-2.0
avec ses huit voix prédéfinies
Moteur
Apache-2.0
audio.cpp, avec ggml (MIT)
Modèle
Apache-2.0
poids de VoxMel 0.6B, par VoxDance Lab ; vocodeur Vocos sous MIT

Utilisable pour un usage commercial : l'extension, ses voix prédéfinies, le moteur audio.cpp et les poids de VoxMel sont tous sous Apache-2.0, et le vocodeur Vocos et ggml sont sous MIT. Les doublages que vous faites vous appartiennent. Une voix clonée sonne comme une vraie personne : clonez des voix que vous avez le droit d'utiliser, et indiquez qu'un doublage est synthétique quand c'est important.

Versions

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Autres extensions Voix