Sopro (offline, voice clone, 4 languages)

VoixHors ligneCPU uniquementClonage de voixUsage commercial autorisé

Double vos sous-titres en anglais, portugais européen, français et allemand avec Sopro V2 Turbo, avec la voix de chaque locuteur clonée à partir de quelques secondes de la vidéo, ou avec l'une de 8 voix prédéfinies. Tout tourne sur le processeur de votre ordinateur, environ deux fois plus vite que le temps réel, sans carte graphique.

Installez-la depuis Subtitld

Paramètres Extensions Sopro (offline, voice clone, 4 languages) Installer

Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.

Code source sur GitHub
Langues
4
Modèles
1
Voix
9
Téléchargement de l'extension
38–61 MB
RAM, au minimum
1.5 GB

Ce qu'elle fait

La voix du locuteur

Subtitld découpe dans la vidéo quelques secondes de chaque locuteur et les envoie avec chaque réplique. Sopro clone cette voix, si bien que le doublage sonne comme la personne à l'écran, dans n'importe laquelle de ses quatre langues.

Rapide sur n'importe quel ordinateur

Sopro V2 Turbo est un petit modèle de 120 millions de paramètres. Sur le processeur d'un ordinateur portable, il parle environ deux fois plus vite que le temps réel, avec environ 1 Go de mémoire.

Hors ligne après la première réplique

Le modèle se télécharge une seule fois, la première fois que vous doublez avec lui. Ensuite, rien ne quitte votre ordinateur.

Libre pour un usage commercial

L'extension, Sopro et son modèle sont sous Apache-2.0. Les voix prédéfinies sont des lecteurs de LibriVox, dont les enregistrements sont dans le domaine public.

Avant d'installer

Sopro demande peu à votre ordinateur :

  • Disque : environ 340 Mo pour le modèle, téléchargé à la première réplique.
  • Mémoire : environ 1 Go pendant qu'il parle.
  • Processeur : n'importe quel processeur Intel ou AMD 64 bits, ou Apple Silicon. Aucune carte graphique n'est utilisée.

Ne clonez une voix qu'avec le consentement de la personne à qui elle appartient. L'auteur de Sopro demande qu'il ne serve jamais à se faire passer pour quelqu'un d'autre.

Voix

Dans l'onglet Locuteurs, choisissez Sopro comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.

9 voix.

Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres ou de plusieurs courts mis bout à bout. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon vient de la voix seule. Le Fallback reference clip des réglages de l'extension ne sert que si aucun échantillon ne peut être découpé. Le meilleur échantillon, ce sont 5 à 20 secondes du locuteur seul, sans musique ni autres voix.

Voix prédéfinies
Femmes Anglais, portugais, français, allemand
Hommes Anglais, portugais, français, allemand

Chaque voix prédéfinie est celle d'un bénévole de LibriVox qui lit un livre dans cette langue. Toutes les voix prédéfinies parlent les quatre langues ; leur propre langue ne leur donne qu'un accent, alors choisissez-en une dans la langue de votre projet pour le doublage le plus naturel.

Modèles

Sopro a un seul modèle pour les quatre langues. Il n'est pas inclus dans l'extension : il se télécharge dans le cache de modèles partagé de Subtitld au premier doublage, depuis Hugging Face à une révision fixée, chaque fichier vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension conserve le modèle.

Modèle TéléchargementIdéal pour
Sopro V2 Turbo (120M, ONNX) Par défaut sopro-v2-turbo
336 MB
Toutes les voix, dans les quatre langues, environ 2,5× le temps réel

L'extension exécute la version ONNX de Sopro que publie son auteur, sans PyTorch. Nous l'avons comparée à la version PyTorch officielle sur les mêmes répliques dans les quatre langues : elle n'a pas fait plus d'erreurs et ressemblait autant au locuteur.

Options

Dans Paramètres › Extensions › Sopro (offline, voice clone, 4 languages) › Configurer.

CPU threads
Par défaut : 0

0 utilise la moitié des processeurs logiques de l'ordinateur, 8 au maximum. Moins de threads gardent l'ordinateur plus réactif pendant le doublage.

Variation
Par défaut : 0.8

Plus bas, c'est plus stable et plus plat ; plus haut, plus vivant, mais avec plus de ratés. 0,8 est la valeur par défaut de Sopro lui-même.

Fallback reference clip
Par défaut : vide

Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : 5 à 20 secondes d'une seule personne qui parle.

Langues

Anglais, portugais européen, français et allemand. Le texte en portugais du Brésil est lu aussi, avec un accent européen. Un projet dans une autre langue reçoit un message qui le dit : choisissez un autre moteur de doublage pour lui.

Écrivez les nombres et les symboles en toutes lettres quand c'est important : Sopro lit « 1 + 2 » moins sûrement que « un plus deux ». Un mot d'une autre langue au milieu d'une phrase peut être mal prononcé.

  • en
  • pt
  • fr
  • de

Plateformes

Système TéléchargementTesté
Linux x86-64 61.1 MBDoublé avec le vrai modèle sur une vraie machine et en CI
macOS (Apple silicon) 43.2 MBDoublé avec le vrai modèle en CI (Apple Silicon)
Windows x86-64 38.1 MBDoublé avec le vrai modèle en CI

Linux x86-64, macOS sur Apple Silicon et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension comme le fait Subtitld, télécharge le modèle et double avec lui.

Dépannage

  • network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.
  • disk_fullPas assez d'espace disque pour le modèle, environ 340 Mo.
  • unsupported_languageLa langue du projet ne fait pas partie des quatre, ou n'est pas définie. Réglez-la dans le projet, ou choisissez un autre moteur de doublage.
  • unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.
  • bad_paramsLa réplique n'a pas de texte, ou la voix clonée n'a reçu aucun échantillon : ouvrez la vidéo, ou définissez un Fallback reference clip. Le message précise lequel.
  • out_of_memoryL'ordinateur a manqué de mémoire. Fermez d'autres programmes : Sopro a besoin d'environ 1 Go.
  • internalQuelque chose a échoué dans l'extension ; le message donne les détails.

Licence

Extension
Apache-2.0
Moteur
Apache-2.0
Sopro, par Samuel Vitorino ; ONNX Runtime est sous MIT
Modèle
Apache-2.0
poids de Sopro V2 Turbo
Voix prédéfinies
Public domain, CC-BY-4.0
lecteurs de LibriVox ; les voix anglaises via LibriTTS-R

Utilisable pour un usage commercial : l'extension, Sopro et le modèle Sopro V2 Turbo sont sous Apache-2.0. Les voix prédéfinies sont des enregistrements de LibriVox, dans le domaine public ; les voix anglaises proviennent de LibriTTS-R, sous CC-BY-4.0, et l'extension crédite chacune d'elles. Les doublages que vous faites vous appartiennent.

Versions

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Sopro V2 Turbo: English, European Portuguese, French and German at 24 kHz, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. The 336 MB model downloads on the first line, at a pinned revision, checked by sha256. It runs on the CPU, about twice as fast as real time.

    The add-on and the Sopro model are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/sopro_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is sopro-<version>-libquadmath-source.tar.gz in this release.

Autres extensions Voix