Audio8 TTS (offline, voice clone, 11 languages)

Ce qu'elle fait

Avant d'installer

Audio8 TTS en demande plus à votre ordinateur que les moteurs de doublage légers :

• Disque : environ 1 Go pour le modèle, téléchargé à la première réplique que vous doublez.
• Mémoire : environ 1,6 Go pendant qu'il parle, et jusqu'à 3 Go un court instant la première fois qu'il entend un nouveau locuteur.
• Temps : chaque seconde de voix demande deux à trois secondes de calcul, sur un Intel Core i7-13700T. Une vidéo de dix minutes peut prendre environ une demi-heure.
• Processeur : n'importe quel processeur Intel ou AMD 64 bits, ou Apple Silicon. Aucune carte graphique n'est utilisée.

Pour des doublages rapides, Sopro ou Chatterbox clonent les voix à peu près en temps réel ou plus vite, dans moins de langues.

Voix

Dans l'onglet Locuteurs, choisissez Audio8 TTS comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.

1 voix.

Audio8 TTS a une seule voix, Speaker's own voice, et aucune voix prédéfinie : chaque réplique clone un locuteur. Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres de 3 à 12 secondes, ou de plusieurs courts mis bout à bout. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon vient de la voix seule. Le Fallback reference clip des réglages de l'extension ne sert que si aucun échantillon ne peut être découpé.

Subtitld envoie le texte du sous-titre avec l'échantillon, et Audio8 TTS s'en sert pour se rapprocher du locuteur. Sans lui, par exemple quand la langue d'origine du projet n'est pas définie, l'extension clone à partir du seul son de l'échantillon, un peu moins fidèlement. Si vos sous-titres reformulent ce qui est dit au lieu de le transcrire, activez Don't send the subtitles of the reference clip.

La première réplique de chaque locuteur prend quelques secondes de plus, le temps que l'extension écoute son échantillon. Elle le garde en mémoire, si bien que les répliques suivantes du locuteur démarrent tout de suite.

Modèles

Il y a un seul modèle, Audio8 TTS Preview 0.6B, dans la version ONNX 4 bits que ses créateurs publient pour les processeurs. Il n'est pas inclus dans l'extension : il se télécharge dans le cache de modèles partagé de Subtitld au premier doublage, depuis Hugging Face à une révision fixée, chaque fichier vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension conserve le modèle.

L'extension exécute cette version sans PyTorch. Avec la même voix, la même réplique et la même graine, elle donne exactement ce que donne le moteur d'exécution d'Audio8 lui-même.

Options

Dans Paramètres › Extensions › Audio8 TTS (offline, voice clone, 11 languages) › Configurer.

Langues

Chinois, cantonais, japonais, coréen, anglais, néerlandais, français, allemand, italien, polonais et espagnol. Un locuteur cloné à partir d'un extrait dans l'une d'elles parle toutes les autres. Un projet dans une autre langue reçoit un message qui le dit : choisissez un autre moteur de doublage pour lui.

Audio8 présente ce modèle comme une préversion : ce sont les langues qu'il recommande. Nous avons vérifié une phrase dans chacune d'elles, avec Whisper et un score de similarité de voix, pas à l'oreille dans chaque langue.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Plateformes

Linux x86-64, macOS sur Apple Silicon et Windows x86-64. Chaque version est compilée sur les trois, et sur chacune la CI installe l'extension comme le fait Subtitld, télécharge le modèle et double avec lui.

Dépannage

• network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.
• disk_fullPas assez d'espace disque pour le modèle, environ 1 Go.
• unsupported_languageLa langue du projet ne fait pas partie des onze, ou n'est pas définie. Réglez-la dans le projet, ou choisissez un autre moteur de doublage.
• unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.
• bad_paramsLa réplique n'a pas de texte, ou la voix clonée n'a reçu aucun échantillon : ouvrez la vidéo, ou définissez un Fallback reference clip. Le message précise lequel.
• out_of_memoryL'ordinateur a manqué de mémoire. Fermez d'autres programmes : Audio8 TTS a besoin d'environ 3 Go libres.
• internalQuelque chose a échoué dans l'extension ; le message donne les détails.

Licence

Utilisable pour un usage commercial : l'extension est sous Apache-2.0, tout comme le code d'Audio8 TTS et les poids d'Audio8 TTS Preview 0.6B. Les doublages que vous faites vous appartiennent. Une voix clonée sonne comme une vraie personne : clonez des voix que vous avez le droit d'utiliser, et indiquez qu'un doublage est synthétique quand c'est important.