Reverb hors ligne, clonage de voix, 7 langues, non commercial

VoixHors ligneCPU uniquementClonage de voixNon commercial

Double vos sous-titres en anglais, allemand, français, espagnol, italien, polonais et portugais avec Reverb-TTS, de Software Mansion AI Labs, dans l'une de 16 voix ou dans la voix de chaque locuteur, clonée à partir de quelques secondes de la vidéo et de ses sous-titres. Il tourne sur le processeur de votre propre ordinateur, sans carte graphique. Le modèle est réservé à un usage non commercial.

Installez-la depuis Subtitld

Paramètres Extensions Reverb (offline, voice clone, 7 languages, non-commercial) Installer

Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.

Code source sur GitHub
Langues
7
Modèles
3
Voix
17
Téléchargement de l'extension
40–65 MB
RAM, au minimum
2.5 GB

Ce qu'elle fait

Sept langues

Anglais, allemand, français, espagnol, italien, polonais et portugais. Les nombres, dates, prix et unités sont lus en toutes lettres, à la manière de chaque langue.

La voix du locuteur

Subtitld découpe dans la vidéo quelques secondes de chaque locuteur et les envoie avec les sous-titres qui y sont prononcés. Reverb clone cette voix dans n'importe laquelle de ses sept langues. Ou choisissez l'une de 16 voix.

Exact ou Fast

Exact exécute le modèle tel qu'il a été publié. Fast est environ deux fois plus rapide et plus léger à télécharger, au prix d'un peu de précision.

Hors ligne après la première réplique

Le modèle se télécharge une seule fois, la première fois qu'une réplique en a besoin. Ensuite, rien ne quitte votre ordinateur.

Modèle non commercial. Les poids de Reverb-TTS et ses voix prédéfinies sont sous CC-BY-NC-4.0, qui n'autorise pas l'usage commercial. Le code de l'extension est sous Apache-2.0, mais cela ne change pas les conditions des poids. Pour un travail commercial, ZONOS3-Mini clone aussi les voix dans ces sept langues, et ses poids sont sous Apache-2.0.

Avant d'installer

  • Disque : 640 Mo pour le modèle, téléchargé à la première réplique ; 378 Mo à la place si vous choisissez Fast avant la première réplique. La première fois que vous utilisez la voix d'un locuteur, 327 Mo de plus.
  • Mémoire : environ 1,5 Go pendant qu'il parle.
  • Temps : sur un Intel Core i7-13700T occupé par d'autres tâches, une seconde de parole prenait environ 0,8 seconde à produire en vitesse Exact et environ 0,6 seconde en Fast.
  • Processeur : un processeur Intel ou AMD 64 bits, ou Apple Silicon. Aucune carte graphique n'est utilisée.

Voix

Dans l'onglet Locuteurs, choisissez Reverb comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.

17 voix.

Enregistrée en Femmes Hommes
Anglais Narratrice, chuchotante Narrateur 1, narrateur 2, en colère
Français Française Français
Allemand Allemande Allemand
Italien Italien, Italien expressif
Polonais Polonais
Portugais Portugaise Portugais
Espagnol Espagnol 1, Espagnol 2

Ce sont les voix prédéfinies propres à Reverb. Chaque voix parle toutes les langues, mais avec l'accent de la langue dans laquelle elle a été enregistrée. Pour une langue qui n'a pas de voix à elle ici, ou pas de voix de femme, utilisez la voix du locuteur.

Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres ou de plusieurs courts mis bout à bout, et envoie ce qui y est dit : le texte de ces sous-titres. Reverb a besoin des deux. Il prolonge l'échantillon et ses mots, et sans les mots il laisserait tomber les premiers mots de chaque réplique.

Les sous-titres doivent donc être dans la langue parlée dans la vidéo. Si vous les avez traduits, Subtitld envoie le texte original, à condition de savoir dans quelle langue est l'audio : indiquez-la dans Langue des sous-titres du panneau Transcription. Sinon, la réplique s'arrête avec un message qui le dit. Des sous-titres qui paraphrasent ce qui est dit, au lieu de le transcrire, dégradent le clone.

Le meilleur échantillon fait 3 à 10 secondes d'une seule personne qui parle, propre et près du micro. Un échantillon de moins de 2 secondes est refusé, et un de plus de 15 secondes tend à donner de moins bonnes répliques. Le Fallback reference clip des réglages de l'extension, avec son Fallback clip's transcript, ne sert que si aucun échantillon ne peut être découpé.

Chaque réplique est produite avec la graine qu'envoie Subtitld, si bien que la même réplique dans la même voix sort identique à chaque fois.

Modèles

Le modèle n'est pas dans l'extension : il se télécharge dans le cache de modèles partagé de Subtitld la première fois qu'une réplique en a besoin, depuis la version de l'extension elle-même sur GitHub, où les poids de Reverb sont conservés convertis pour ONNX Runtime, chaque fichier vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension le conserve.

Modèle TéléchargementIdéal pour
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Par défaut reverb
640 MB
Chaque réplique en vitesse Exact, par défaut : le réseau, le décodeur et les 16 voix
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Chaque réplique en vitesse Fast, à la place du réseau Exact : 378 Mo en tout avec le décodeur
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
La voix du locuteur, la première fois que vous en doublez une

Exact et Fast partagent le décodeur et les voix (111 Mo) : seul le réseau diffère, 529 Mo pour Exact et 266 Mo pour Fast. Passer plus tard de l'un à l'autre télécharge l'autre réseau la première fois qu'une réplique en a besoin.

L'extension exécute Reverb sur ONNX Runtime, sans PyTorch. L'échantillonneur et la préparation du texte de Reverb sont portés depuis le code propre de Software Mansion. Ses nombres aléatoires viennent d'une autre source, si bien qu'une graine donne ici une prise différente de celle du paquet propre de Reverb ; on vérifie que le réseau Exact prédit ce que ce paquet prédit.

Options

Dans Paramètres › Extensions › Reverb (offline, voice clone, 7 languages, non-commercial) › Configurer.

CPU threads
Par défaut : 0

0 utilise les processeurs logiques de l'ordinateur, 8 au maximum. Plus est rarement plus rapide ; moins garde l'ordinateur plus réactif pendant le doublage.

Quality steps
Par défaut : 8

Le nombre de passes que fait le modèle sur chaque réplique. 8 est le réglage propre de Reverb ; moins est plus rapide, avec plus de ratés.

Speed
Par défaut : exact

Exact exécute le modèle tel que Software Mansion l'a publié. Fast l'exécute en entiers 8 bits, environ deux fois plus vite, avec son propre téléchargement de 266 Mo : ses répliques sonnent généralement pareil, mais il s'écarte davantage du modèle publié et rate plus souvent.

Fallback reference clip
Par défaut : vide

Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : 3 à 10 secondes d'une seule personne qui parle, propres.

Fallback clip's transcript
Par défaut : vide

Exactement ce qui est dit dans l'extrait de secours, mot pour mot. Reverb clone à partir de l'extrait et de ses mots, donc l'extrait de secours est refusé sans eux.

Langues

Anglais, allemand, français, espagnol, italien, polonais et portugais. Un projet dans une autre langue reçoit un message qui le dit : choisissez un autre moteur de doublage pour lui.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Plateformes

Système TéléchargementTesté
Linux x86-64 64.9 MBA parlé les sept langues et cloné une voix avec le vrai modèle en CI
macOS (Apple silicon) 45.6 MBA parlé les sept langues et cloné une voix avec le vrai modèle en CI (Apple Silicon)
Windows x86-64 40.5 MBA parlé les sept langues et cloné une voix avec le vrai modèle en CI

Linux x86-64 (glibc 2.35 ou plus récent, comme dans Ubuntu 22.04, Debian 12 ou Fedora 36), macOS sur Apple Silicon et Windows x86-64. Chaque version est construite sur les trois, et sur chacune la CI installe l'extension comme le fait Subtitld, télécharge le modèle, dit une réplique dans chaque langue et clone une voix.

Dépannage

  • network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.
  • disk_fullPas assez d'espace disque pour le modèle : 640 Mo (378 Mo en Fast), et 327 Mo de plus pour la voix du locuteur.
  • unsupported_languageLa langue du projet n'est pas l'une des sept, ou n'est pas définie. Définissez-la dans le projet, ou choisissez un autre moteur de doublage.
  • unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.
  • bad_paramsLa réplique n'a pas de texte, ou la voix clonée n'a reçu aucun échantillon ou aucune transcription de celui-ci. Pour un projet traduit, réglez Langue des sous-titres sur la langue parlée ; sans vidéo ouverte, définissez un Fallback reference clip et sa transcription. Le message précise lequel.
  • out_of_memoryL'ordinateur a manqué de mémoire. Fermez d'autres programmes : Reverb a besoin d'environ 1,5 Go libres.
  • internalQuelque chose a échoué dans l'extension ; le message donne les détails.

Licence

Extension
Apache-2.0
avec le code propre de Reverb, porté vers numpy
Moteur
MIT
ONNX Runtime
Modèle
CC-BY-NC-4.0
poids de Reverb-TTS v1.0.0, par Software Mansion AI Labs ; non commercial uniquement
Voix
CC-BY-NC-4.0
les 16 voix prédéfinies de Reverb ; non commercial uniquement
Lecture du texte
MIT, Unicode-3.0
Verbalis, par Software Mansion, avec une table de l'Unicode Character Database

L'extension est sous Apache-2.0, tout comme le code de Reverb qu'elle porte. Les poids de Reverb-TTS et ses 16 voix prédéfinies sont sous CC-BY-NC-4.0 : usage non commercial uniquement. Un fichier de licence fourni avec le modèle indique ce qui a été modifié lors de sa conversion. ONNX Runtime est sous MIT, et Verbalis, qui lit les nombres et les dates, est sous MIT.

Utilisez-le de manière responsable. Une voix clonée ressemble à celle d'une vraie personne. Ne clonez que des voix que vous avez le droit d'utiliser, avec le consentement du locuteur ; ne vous faites pas passer pour de vraies personnes, et n'utilisez pas la parole que vous produisez pour tromper, escroquer ou harceler. Prévenez vos auditeurs quand ils entendent une voix synthétique.

Versions

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Autres extensions Voix