Coqui XTTS (offline + voice clone)

VoixHors ligneGPU facultatifClonage de voixNon commercial

Clone la voix de chaque locuteur à partir de quelques secondes de la vidéo, et fait parler vos sous-titres en 16 langues, sur votre propre ordinateur. Le modèle n'est libre que pour un usage non commercial.

Installez-la depuis Subtitld

Paramètres Extensions Coqui XTTS-v2 (offline + voice clone) Installer

Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.

Code source sur GitHub
Langues
16
Modèles
3
Voix
3
Téléchargement de l'extension
302–443 MB
RAM, au minimum
6 GB

Ce qu'elle fait

Cloner depuis la vidéo

Choisissez Custom voice et Subtitld fournit au modèle quelques secondes de ce locuteur, découpées dans la vidéo. Il fonctionne mieux avec 6 secondes ou plus.

Deux voix intégrées

XTTS female 1 et XTTS male 1, pour les locuteurs que vous ne clonez pas.

16 langues

Elle parle la langue du projet, ou l'anglais lorsque le projet n'en a pas.

Chargé une fois

La première réplique attend le chargement du modèle, et la toute première fois aussi son téléchargement ; les suivantes le réutilisent. Sur processeur, une longue phrase peut prendre une demi-minute.

Modèle non commercial. Les poids de XTTS-v2 sont sous licence Coqui Public Model License (CPML) : gratuits pour un usage non commercial, une licence payante de Coqui étant nécessaire pour tout le reste. L'extension accepte pour vous les conditions de Coqui lorsqu'elle charge le modèle, si bien que vous ne les voyez pas ; elles s'appliquent malgré tout.

Voix

Dans l'onglet Locuteurs, choisissez Coqui XTTS comme Moteur de doublage d'un locuteur, puis une Voix. Custom voice est en tête de liste. Chaque réplique a la durée que le modèle lui donne ; activez Ajuster le doublage à la durée du sous-titre pour que le locuteur l'étire ou la comprime à la durée de son sous-titre.

3 voix en 1 langue.

  • en 2

L'échantillon du clone

Lorsque la voix d'un locuteur est Custom voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet :

  • son sous-titre le plus long entre 3 et 12 secondes ;
  • si aucun ne convient, les 12 premières secondes d'un sous-titre plus long ;
  • si tous durent moins de 3 secondes, plusieurs à la suite, réunis jusqu'à atteindre 3 secondes.

XTTS fonctionne mieux avec 6 secondes ou plus ; donnez donc à chaque locuteur au moins une réplique de 6 à 12 secondes. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon provient de la voix seule. Default voice reference dans les réglages de l'extension n'est utilisé que lorsqu'aucun échantillon ne peut être découpé, par exemple sans vidéo ouverte.

Subtitld garde l'échantillon de chaque locuteur et ne le redécoupe que si le fichier audio change. Après avoir recalé les répliques d'un locuteur, supprimez son échantillon pour en obtenir un nouveau ; son nom se termine par celui du locuteur.

Système Dossier
Linux ~/.cache/subtitld/clone-refs
macOS ~/Library/Caches/subtitld/clone-refs
Windows %LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs

Modèles

Un seul modèle, téléchargé la première fois que vous générez une réplique ; les deux petits fichiers à côté sont ses réglages et son vocabulaire. L'extension le garde chargé jusqu'à cinq minutes d'inactivité.

Modèle Téléchargement
xtts_v2
1.9 GB
xtts_v2_config
1 MB
xtts_v2_vocab
1 MB

Options

L'extension lit ces réglages au démarrage : une modification s'applique donc une fois qu'elle est restée inactive pendant cinq minutes, ou après le redémarrage de Subtitld.

Dans Paramètres › Extensions › Coqui XTTS-v2 (offline + voice clone) › Configurer.

Inference device
Par défaut : cpu

Laissez sur CPU. Les builds publiés sont faits avec le paquet CPU de PyTorch : CUDA ne fonctionnera donc pas avec eux ; MPS est marqué en bêta.

Default voice reference (6+ seconds, mono WAV recommended)
Par défaut : vide

Un clip à copier lorsque Subtitld ne peut pas prélever un échantillon du locuteur dans la vidéo, par exemple sans vidéo ouverte. Un échantillon de la vidéo passe toujours en premier. Tant que ce champ est renseigné, les deux voix intégrées copient aussi ce clip.

Langues

L'extension transmet la langue du projet au modèle, sans sa région ; sans langue définie, elle parle anglais.

  • en
  • es
  • fr
  • de
  • it
  • pt
  • pl
  • tr
  • ru
  • nl
  • cs
  • ar
  • zh-cn
  • ja
  • hu
  • ko

Plateformes

Système TéléchargementTesté
Linux x86-64 442.7 MBCompilé et démarré en CI
macOS (universel) 323.1 MBCompilé et démarré en CI
Windows x86-64 302.2 MBCompilé et démarré en CI

Chaque version est compilée sous Linux, macOS et Windows, et la CI vérifie que le programme démarre et liste ses voix. La CI ne génère pas de parole.

Dépannage

  • bad_paramsSoit le sous-titre n'a pas de texte, soit le clone n'a pas d'échantillon : Subtitld n'a pas pu en découper (pas de vidéo ouverte, ou pas de sous-titre pour ce locuteur) et aucun clip par défaut n'est défini. Ajoutez du texte au sous-titre, ouvrez la vidéo, ou définissez Default voice reference.
  • internalLe modèle n'a pas pu se charger, ou n'a pas pu prononcer la réplique ; le message indique lequel. Un téléchargement raté au premier usage aboutit aussi ici : vérifiez votre connexion et l'espace disque libre, puis réessayez. Vérifiez aussi que la langue du projet fait partie de celles listées plus haut.

Licence

Extension
MIT
Moteur
MPL-2.0
coqui-ai-TTS (fork idiap)
Modèles
CPML
poids XTTS-v2 ; non commercial sans licence Coqui

Pas pour un usage commercial, sauf si vous disposez d'une licence commerciale de Coqui pour les poids de XTTS-v2. Le code de l'extension est sous MIT.

Versions

  • 1.0.7

    Automated release for coqui-xtts v1.0.7.

Autres extensions Voix