BlueTTS hors ligne, clonage de voix, hébreu + 6 langues

VoixHors ligneCPU uniquementClonage de voixUsage commercial autorisé

Double vos sous-titres en hébreu, anglais, allemand, espagnol, italien, russe et yiddish avec BlueV3, de Maxim Melichov, avec l'une de 15 voix ou avec la voix de chaque locuteur clonée à partir d'environ dix secondes de la vidéo. Tout tourne sur le processeur de votre ordinateur, trois à cinq fois plus vite que le temps réel, sans carte graphique.

Installez-la depuis Subtitld

Paramètres Extensions BlueTTS (offline, voice clone, Hebrew + 6 languages) Installer

Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.

Code source sur GitHub
Langues
7
Modèles
5
Voix
16
Téléchargement de l'extension
37–62 MB
RAM, au minimum
2.5 GB

Ce qu'elle fait

L'hébreu et le yiddish

BlueTTS a d'abord été conçu pour l'hébreu : il lit l'hébreu sans voyelles, nombres, dates et prix compris, et les mots anglais dans une réplique en hébreu sont lus en anglais. Il parle aussi le yiddish, ce que peu de moteurs de doublage font.

La voix du locuteur

Subtitld découpe dans la vidéo environ dix secondes de chaque locuteur et les envoie avec chaque réplique. BlueTTS clone cette voix dans n'importe laquelle de ses sept langues. Ou choisissez l'une de 15 voix.

Rapide sur n'importe quel ordinateur

Sur le processeur d'un ordinateur portable, il parle trois à cinq fois plus vite que le temps réel. Aucune carte graphique n'est utilisée.

Hors ligne après la première réplique

Chaque partie se télécharge une seule fois, la première fois qu'une réplique en a besoin. Ensuite, rien ne quitte votre ordinateur.

Avant d'installer

Ce dont BlueTTS a besoin dépend des langues que vous doublez :

  • Disque : 428 Mo pour le modèle, téléchargé à la première réplique. L'hébreu ajoute 1,2 Go (ou 312 Mo avec le modèle de lecture compact), le yiddish 307 Mo et la voix du locuteur 136 Mo, chacun la première fois que vous l'utilisez.
  • Mémoire : environ 700 Mo pendant qu'il parle, environ 2 Go une fois l'hébreu chargé.
  • Temps : sur un Intel Core i7-13700T, une seconde de parole prend environ un cinquième de seconde à produire, un tiers de seconde en hébreu. La première réplique en hébreu attend environ 15 secondes de plus, le temps que le modèle de lecture se charge.
  • Processeur : n'importe quel processeur Intel ou AMD 64 bits, ou Apple Silicon. Aucune carte graphique n'est utilisée.

Voix

Dans l'onglet Locuteurs, choisissez BlueTTS comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.

16 voix.

Voix
Femmes Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Hommes Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Chaque voix parle les sept langues, chacune à son propre rythme naturel dans chaque langue. Elles ont été créées à partir de lecteurs du corpus de livres audio LibriTTS-R.

Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres ou de plusieurs courts mis bout à bout. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon vient de la voix seule. Le Fallback reference clip des réglages de l'extension ne sert que si aucun échantillon ne peut être découpé.

BlueTTS écoute à peu près les neuf premières secondes de l'échantillon, et copie le timbre et la hauteur de la voix, pas sa diction. Le meilleur échantillon est une parole propre, près du micro : le bruit et l'écho rendent le clone moins fidèle au locuteur, et un enregistrement de téléphone donne une voix qui sonne comme au téléphone.

Modèles

Le modèle et les modèles de lecture ne sont pas inclus dans l'extension : chacun se télécharge dans le cache de modèles partagé de Subtitld la première fois qu'une réplique en a besoin, depuis Hugging Face à une révision fixée, chaque fichier vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension les conserve.

Modèle TéléchargementIdéal pour
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Par défaut bluev3
428 MB
Chaque réplique : les voix, et la lecture de l'anglais, de l'allemand, de l'espagnol, de l'italien et du russe
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
La voix du locuteur, la première fois que vous en doublez une
RenikudPlus Hebrew G2P renikudplus
1.2 GB
L'hébreu, la première fois que vous le doublez (par défaut)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
L'hébreu, quand vous choisissez le modèle de lecture compact
ReNikud-yi Yiddish context model renikud-yi
307 MB
Le yiddish, la première fois que vous le doublez

L'extension exécute le code de BlueTTS lui-même sur ONNX Runtime, sans PyTorch. Avec la même voix, la même réplique et la même graine, elle donne exactement ce que donne le paquet Python de BlueTTS.

Options

Dans Paramètres › Extensions › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Configurer.

CPU threads
Par défaut : 0

0 utilise les processeurs logiques de l'ordinateur, 8 au maximum. Plus est rarement plus rapide ; moins garde l'ordinateur plus réactif pendant le doublage.

Quality steps
Par défaut : 8

Le nombre de passes que fait le modèle sur chaque réplique. 8 est le réglage de BlueTTS lui-même. 4 est environ 1,7 fois plus rapide, avec une qualité un peu moindre.

Hebrew reading model
Par défaut : accurate

Comment le texte hébreu est converti en sons. accurate est le modèle complet, 1,2 Go, avec environ 2 Go de mémoire. compact est le même modèle réduit, 312 Mo : dans notre test, il a lu environ 1 mot sur 200 différemment, le plus souvent de travers.

Fallback reference clip
Par défaut : vide

Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : environ 10 secondes d'une seule personne qui parle, propres, pas un enregistrement de téléphone.

Langues

Hébreu, anglais, allemand, espagnol, italien, russe et yiddish. Un projet dans une autre langue reçoit un message qui le dit : choisissez un autre moteur de doublage pour lui.

L'espagnol suit la région du projet : l'Espagne reçoit l'espagnol castillan, toute autre région l'espagnol d'Amérique latine. Les nombres, dates, prix et codes sont lus en toutes lettres, sauf en yiddish : écrivez les nombres yiddish en toutes lettres, sinon la réplique est refusée avec un message qui le dit.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Plateformes

Système TéléchargementTesté
Linux x86-64 61.7 MBDoublé avec le vrai modèle sur une vraie machine, via le gestionnaire d'extensions de Subtitld, et en CI
macOS (Apple silicon) 43.8 MBDoublé avec le vrai modèle en CI (Apple Silicon)
Windows x86-64 37.3 MBDoublé avec le vrai modèle en CI

Linux x86-64, macOS sur Apple Silicon et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension comme le fait Subtitld, télécharge les modèles et double une réplique dans chaque langue.

Dépannage

  • network_unavailableUn modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.
  • disk_fullPas assez d'espace disque pour le modèle : 428 Mo, et jusqu'à 1,7 Go de plus pour l'hébreu, le yiddish et la voix du locuteur.
  • unsupported_languageLa langue du projet ne fait pas partie des sept, ou n'est pas définie. Réglez-la dans le projet, ou choisissez un autre moteur de doublage.
  • unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.
  • bad_paramsLa réplique n'a pas de texte, une réplique en yiddish contient des chiffres, ou la voix clonée n'a reçu aucun échantillon : ouvrez la vidéo, ou définissez un Fallback reference clip. Le message précise lequel.
  • out_of_memoryL'ordinateur a manqué de mémoire. Fermez d'autres programmes : BlueTTS a besoin d'environ 1 Go libre, 2,5 Go avec l'hébreu.
  • internalQuelque chose a échoué dans l'extension ; le message donne les détails.

Licence

Extension
Apache-2.0
Moteur
MIT
BlueTTS, par Maxim Melichov ; ONNX Runtime est sous MIT
Modèle
MIT, BigScience OpenRAIL-M
poids de BlueV3 ; le vocodeur, affiné à partir de Supertonic-3 de Supertone, est sous OpenRAIL-M, avec des restrictions d'usage
Voix
CC-BY-4.0
créées à partir de locuteurs de LibriTTS-R
Modèles de lecture
Apache-2.0, MIT, CC BY-SA
RenikudPlus (hébreu), polyg2p ; les lexiques allemand et italien et une partie du lexique yiddish sont sous CC BY-SA

L'extension est sous Apache-2.0 et le code de BlueTTS sous MIT. Le modèle de voix est lui aussi sous MIT, sauf son vocodeur, la partie qui transforme la sortie du modèle en son : il est affiné à partir de Supertonic-3 de Supertone et porte la licence BigScience OpenRAIL-M. L'usage commercial est permis, mais OpenRAIL-M interdit certains usages de ce qu'il produit, entre autres enfreindre la loi, tromper les gens et se faire passer pour quelqu'un sans son consentement. Les 15 voix sont sous CC-BY-4.0. Les lexiques allemand et italien, et une partie du lexique yiddish, sont sous CC BY-SA ; ils se téléchargent avec les modèles et restent tels que leurs auteurs les publient.

Les doublages que vous faites vous appartiennent. Une voix clonée sonne comme une vraie personne : ne clonez que des voix que vous avez le droit d'utiliser, et dites qu'un doublage est synthétique là où cela compte.

Versions

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Autres extensions Voix