VoxCPM2 (offline, voice clone, 30 languages)

Ce qu'elle fait

Avant d'installer

VoxCPM2 est un gros modèle, 2,4 milliards de paramètres. Il donne les doublages les plus naturels des extensions hors ligne, et c'est lui qui en demande le plus à votre ordinateur :

• Disque : environ 5,6 Go, surtout le modèle de 4,96 Go, téléchargé à la première réplique que vous doublez.
• Mémoire : environ 7 Go libres. Avec moins, il fonctionne encore, mais bien plus lentement.
• Temps : sur un CPU, chaque seconde de voix demande plusieurs secondes de calcul : 5 à 6 secondes sur un Intel Core i7-13700T. Une vidéo de dix minutes peut prendre environ une heure. Sur un Mac Apple Silicon, il tourne sur le GPU.

Pour des doublages rapides sur des ordinateurs modestes, Piper ou Kokoro sont bien plus légers.

Voix

Dans l'onglet Locuteurs, choisissez VoxCPM2 comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.

9 voix.

La voix clonée

Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres de 3 à 12 secondes, ou de plusieurs courts mis bout à bout. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon vient de la voix seule. Le Fallback reference clip des réglages de l'extension ne sert que si aucun échantillon ne peut être découpé.

Subtitld envoie le texte du sous-titre avec l'échantillon, et VoxCPM2 le prolonge, ce qui se rapproche le plus du locuteur, diction comprise. Si un doublage dans une autre langue garde l'accent du locuteur, activez Clone the timbre only.

Voix décrites

VoxCPM2 invente une nouvelle voix chaque fois qu'il lit une description. L'extension crée donc la voix de chaque locuteur une seule fois, et toutes les répliques de ce locuteur la réutilisent : la voix reste la même tout au long de la vidéo, et deux locuteurs avec la même description sonnent toujours comme deux personnes.

Modèles

Il y a un seul modèle, VoxCPM2. Il n'est pas inclus dans l'extension : il se télécharge dans le cache de modèles partagé de Subtitld au premier doublage, depuis Hugging Face à une révision fixée, chaque fichier vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension conserve le modèle.

La première réplique charge aussi le modèle, elle prend donc plus de temps que les suivantes. Annuler arrête une réplique entre deux étapes, ou arrête le téléchargement.

Options

Dans Paramètres › Extensions › VoxCPM2 (offline, voice clone, 30 languages) › Configurer.

Langues

Arabe, birman, chinois, danois, néerlandais, anglais, finnois, français, allemand, grec, hébreu, hindi, indonésien, italien, japonais, khmer, coréen, lao, malais, norvégien, polonais, portugais, russe, espagnol, swahili, suédois, tagalog, thaï, turc et vietnamien. VoxCPM2 reconnaît la langue d'après le texte lui-même, donc chaque voix parle toutes les langues.

• ar
• my
• zh
• da
• nl
• en
• fi
• fr
• de
• el
• he
• hi
• id
• it
• ja
• km
• ko
• lo
• ms
• no
• pl
• pt
• ru
• es
• sw
• sv
• tl
• th
• tr
• vi

Plateformes

Linux x86-64, macOS sur Apple Silicon et Windows x86-64. Chaque version est compilée sur les trois, et la CI vérifie que tout ce qu'il faut pour parler se trouve dans la compilation. La CI n'exécute pas le modèle lui-même.

Dépannage

• network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.
• disk_fullPas assez d'espace disque pour le modèle. Il lui faut environ 5 Go libres.
• oomMémoire insuffisante. Fermez d'autres programmes ; VoxCPM2 a besoin d'environ 7 Go libres, 11 Go en float32.
• bad_paramsLa réplique n'a pas de texte, ou la voix clonée n'a reçu aucun échantillon : ouvrez la vidéo, ou définissez un Fallback reference clip. Le message précise lequel.
• unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.
• internalQuelque chose a échoué dans l'extension ; le message donne les détails. Si vous avez modifié Inference device, remettez-le sur Automatique.

Licence

Utilisable pour un usage commercial : l'extension, VoxCPM et les poids de VoxCPM2 sont tous sous Apache-2.0. Les doublages que vous faites vous appartiennent. Une voix clonée sonne comme une vraie personne : clonez des voix que vous avez le droit d'utiliser, et indiquez qu'un doublage est synthétique quand c'est important.