Ming-3.0-tts (offline, voice clone, 7 languages)

Ce qu'elle fait

Avant d'installer

Ming-3.0-tts est un gros modèle, environ 1,5 milliard de paramètres avec son codec audio. Il en demande beaucoup à votre ordinateur :

• Disque : environ 3,4 Go, surtout le modèle de 2,99 Go, téléchargé à la première réplique que vous doublez.
• Mémoire : environ 5 Go libres. Avec moins, il fonctionne encore, mais bien plus lentement.
• Temps : sur un CPU, chaque seconde de voix demande environ quatre à cinq secondes de calcul, sur un Intel Core i7-13700T. Une vidéo de dix minutes peut prendre environ trois quarts d'heure.

Pour des doublages rapides sur des ordinateurs modestes, Piper ou Kokoro sont bien plus légers.

Voix

Dans l'onglet Locuteurs, choisissez Ming-3.0-tts comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.

12 voix.

La voix clonée

Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres de 3 à 12 secondes, ou de plusieurs courts mis bout à bout. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon vient de la voix seule. Le Fallback reference clip des réglages de l'extension ne sert que si aucun échantillon ne peut être découpé.

Subtitld envoie le texte du sous-titre avec l'échantillon, et Ming-3.0-tts le prolonge, ce qui se rapproche le plus du locuteur, diction comprise. Si un doublage dans une autre langue garde l'accent du locuteur, activez Clone the timbre only.

Voix intégrées

Emma (américaine), George et Charlotte (britanniques), Ling Xiaorou et Ling Kai (chinois) sont des locuteurs que le modèle a appris. Chacun sonne pareil à chaque réplique, et chacun parle les sept langues.

Voix décrites

Ming-3.0-tts invente une nouvelle voix chaque fois qu'il lit une description. L'extension crée donc la voix de chaque locuteur une seule fois, et toutes les répliques de ce locuteur la réutilisent : la voix reste la même tout au long de la vidéo, et deux locuteurs avec la même description sonnent toujours comme deux personnes.

Émotion, vitesse, hauteur et volume

Ce sont des réglages de l'extension, ils s'appliquent donc à tous les locuteurs doublés avec une voix clonée ou décrite. Ce sont les réglages propres au modèle, qui reprennent le son de la voix du locuteur mais pas sa façon de parler, et ils fonctionnent un seul à la fois : une émotion, quand elle est définie, prend le pas sur la vitesse, la hauteur et le volume. Les voix intégrées les ignorent.

Dans les répliques en chinois ou en anglais, le modèle produit aussi des sons écrits dans le texte : [Laughter], [Sigh], [Breathing], [Cough], [Uhm] et quelques autres.

Modèles

Il y a un seul modèle, Ming-3.0-tts-0.5B. Il n'est pas inclus dans l'extension : il se télécharge dans le cache de modèles partagé de Subtitld au premier doublage, depuis Hugging Face à une révision fixée, chaque fichier vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension conserve le modèle.

La première réplique charge aussi le modèle, elle prend donc plus de temps que les suivantes. Annuler arrête une réplique entre deux étapes, ou arrête le téléchargement.

Options

Dans Paramètres › Extensions › Ming-3.0-tts (offline, voice clone, 7 languages) › Configurer.

Langues

Chinois, anglais, japonais, coréen, allemand, français et espagnol. Chaque voix les parle toutes.

• zh
• en
• ja
• ko
• de
• fr
• es

Plateformes

Linux x86-64, macOS sur Apple Silicon et Windows x86-64. Chaque version est compilée sur les trois, et la CI vérifie que tout ce qu'il faut pour parler se trouve dans la compilation. La CI n'exécute pas le modèle lui-même.

Dépannage

• network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.
• disk_fullPas assez d'espace disque pour le modèle. Il lui faut environ 3,4 Go libres.
• oomMémoire insuffisante. Fermez d'autres programmes ; Ming-3.0-tts a besoin d'environ 5 Go libres.
• bad_paramsLa réplique n'a pas de texte, la voix clonée n'a reçu aucun échantillon, ou Voix que vous décrivez n'a pas de description. Le message précise lequel : ouvrez la vidéo, définissez un Fallback reference clip, ou écrivez une Voice description.
• unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.
• internalQuelque chose a échoué dans l'extension ; le message donne les détails. Si vous avez modifié Inference device, remettez-le sur Automatique.

Licence

Utilisable pour un usage commercial : l'extension est sous Apache-2.0, et le code de Ming-3.0-tts et les poids de Ming-3.0-tts-0.5B sont sous MIT. Les doublages que vous faites vous appartiennent. Une voix clonée sonne comme une vraie personne : clonez des voix que vous avez le droit d'utiliser, et indiquez qu'un doublage est synthétique quand c'est important.