BlueTTS hors ligne, clonage de voix, hébreu + 6 langues
Double vos sous-titres en hébreu, anglais, allemand, espagnol, italien, russe et yiddish avec BlueV3, de Maxim Melichov, avec l'une de 15 voix ou avec la voix de chaque locuteur clonée à partir d'environ dix secondes de la vidéo. Tout tourne sur le processeur de votre ordinateur, trois à cinq fois plus vite que le temps réel, sans carte graphique.
Paramètres Extensions BlueTTS (offline, voice clone, Hebrew + 6 languages) Installer
Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.
- Langues
- 7
- Modèles
- 5
- Voix
- 16
- Téléchargement de l'extension
- 37–62 MB
- RAM, au minimum
- 2.5 GB
Ce qu'elle fait
BlueTTS a d'abord été conçu pour l'hébreu : il lit l'hébreu sans voyelles, nombres, dates et prix compris, et les mots anglais dans une réplique en hébreu sont lus en anglais. Il parle aussi le yiddish, ce que peu de moteurs de doublage font.
Subtitld découpe dans la vidéo environ dix secondes de chaque locuteur et les envoie avec chaque réplique. BlueTTS clone cette voix dans n'importe laquelle de ses sept langues. Ou choisissez l'une de 15 voix.
Sur le processeur d'un ordinateur portable, il parle trois à cinq fois plus vite que le temps réel. Aucune carte graphique n'est utilisée.
Chaque partie se télécharge une seule fois, la première fois qu'une réplique en a besoin. Ensuite, rien ne quitte votre ordinateur.
Avant d'installer
Ce dont BlueTTS a besoin dépend des langues que vous doublez :
- Disque : 428 Mo pour le modèle, téléchargé à la première réplique. L'hébreu ajoute 1,2 Go (ou 312 Mo avec le modèle de lecture compact), le yiddish 307 Mo et la voix du locuteur 136 Mo, chacun la première fois que vous l'utilisez.
- Mémoire : environ 700 Mo pendant qu'il parle, environ 2 Go une fois l'hébreu chargé.
- Temps : sur un Intel Core i7-13700T, une seconde de parole prend environ un cinquième de seconde à produire, un tiers de seconde en hébreu. La première réplique en hébreu attend environ 15 secondes de plus, le temps que le modèle de lecture se charge.
- Processeur : n'importe quel processeur Intel ou AMD 64 bits, ou Apple Silicon. Aucune carte graphique n'est utilisée.
Voix
Dans l'onglet Locuteurs, choisissez BlueTTS comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.
16 voix.
| Voix | |
|---|---|
| Femmes | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| Hommes | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
Chaque voix parle les sept langues, chacune à son propre rythme naturel dans chaque langue. Elles ont été créées à partir de lecteurs du corpus de livres audio LibriTTS-R.
Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres ou de plusieurs courts mis bout à bout. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon vient de la voix seule. Le Fallback reference clip des réglages de l'extension ne sert que si aucun échantillon ne peut être découpé.
BlueTTS écoute à peu près les neuf premières secondes de l'échantillon, et copie le timbre et la hauteur de la voix, pas sa diction. Le meilleur échantillon est une parole propre, près du micro : le bruit et l'écho rendent le clone moins fidèle au locuteur, et un enregistrement de téléphone donne une voix qui sonne comme au téléphone.
Modèles
Le modèle et les modèles de lecture ne sont pas inclus dans l'extension : chacun se télécharge dans le cache de modèles partagé de Subtitld la première fois qu'une réplique en a besoin, depuis Hugging Face à une révision fixée, chaque fichier vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension les conserve.
| Modèle | Téléchargement | Idéal pour |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Par défaut bluev3 | Chaque réplique : les voix, et la lecture de l'anglais, de l'allemand, de l'espagnol, de l'italien et du russe | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | La voix du locuteur, la première fois que vous en doublez une | |
| RenikudPlus Hebrew G2P renikudplus | L'hébreu, la première fois que vous le doublez (par défaut) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | L'hébreu, quand vous choisissez le modèle de lecture compact | |
| ReNikud-yi Yiddish context model renikud-yi | Le yiddish, la première fois que vous le doublez |
L'extension exécute le code de BlueTTS lui-même sur ONNX Runtime, sans PyTorch. Avec la même voix, la même réplique et la même graine, elle donne exactement ce que donne le paquet Python de BlueTTS.
Options
Dans Paramètres › Extensions › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Configurer.
00 utilise les processeurs logiques de l'ordinateur, 8 au maximum. Plus est rarement plus rapide ; moins garde l'ordinateur plus réactif pendant le doublage.
8Le nombre de passes que fait le modèle sur chaque réplique. 8 est le réglage de BlueTTS lui-même. 4 est environ 1,7 fois plus rapide, avec une qualité un peu moindre.
accurateComment le texte hébreu est converti en sons. accurate est le modèle complet, 1,2 Go, avec environ 2 Go de mémoire. compact est le même modèle réduit, 312 Mo : dans notre test, il a lu environ 1 mot sur 200 différemment, le plus souvent de travers.
Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : environ 10 secondes d'une seule personne qui parle, propres, pas un enregistrement de téléphone.
Langues
Hébreu, anglais, allemand, espagnol, italien, russe et yiddish. Un projet dans une autre langue reçoit un message qui le dit : choisissez un autre moteur de doublage pour lui.
L'espagnol suit la région du projet : l'Espagne reçoit l'espagnol castillan, toute autre région l'espagnol d'Amérique latine. Les nombres, dates, prix et codes sont lus en toutes lettres, sauf en yiddish : écrivez les nombres yiddish en toutes lettres, sinon la réplique est refusée avec un message qui le dit.
heendeesitruyi
Plateformes
| Système | Téléchargement | Testé |
|---|---|---|
| Linux x86-64 | 61.7 MB | Doublé avec le vrai modèle sur une vraie machine, via le gestionnaire d'extensions de Subtitld, et en CI |
| macOS (Apple silicon) | 43.8 MB | Doublé avec le vrai modèle en CI (Apple Silicon) |
| Windows x86-64 | 37.3 MB | Doublé avec le vrai modèle en CI |
Linux x86-64, macOS sur Apple Silicon et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension comme le fait Subtitld, télécharge les modèles et double une réplique dans chaque langue.
Dépannage
network_unavailableUn modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.disk_fullPas assez d'espace disque pour le modèle : 428 Mo, et jusqu'à 1,7 Go de plus pour l'hébreu, le yiddish et la voix du locuteur.unsupported_languageLa langue du projet ne fait pas partie des sept, ou n'est pas définie. Réglez-la dans le projet, ou choisissez un autre moteur de doublage.unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.bad_paramsLa réplique n'a pas de texte, une réplique en yiddish contient des chiffres, ou la voix clonée n'a reçu aucun échantillon : ouvrez la vidéo, ou définissez un Fallback reference clip. Le message précise lequel.out_of_memoryL'ordinateur a manqué de mémoire. Fermez d'autres programmes : BlueTTS a besoin d'environ 1 Go libre, 2,5 Go avec l'hébreu.internalQuelque chose a échoué dans l'extension ; le message donne les détails.
Licence
L'extension est sous Apache-2.0 et le code de BlueTTS sous MIT. Le modèle de voix est lui aussi sous MIT, sauf son vocodeur, la partie qui transforme la sortie du modèle en son : il est affiné à partir de Supertonic-3 de Supertone et porte la licence BigScience OpenRAIL-M. L'usage commercial est permis, mais OpenRAIL-M interdit certains usages de ce qu'il produit, entre autres enfreindre la loi, tromper les gens et se faire passer pour quelqu'un sans son consentement. Les 15 voix sont sous CC-BY-4.0. Les lexiques allemand et italien, et une partie du lexique yiddish, sont sous CC BY-SA ; ils se téléchargent avec les modèles et restent tels que leurs auteurs les publient.
Les doublages que vous faites vous appartiennent. Une voix clonée sonne comme une vraie personne : ne clonez que des voix que vous avez le droit d'utiliser, et dites qu'un doublage est synthétique là où cela compte.
Versions
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
Autres extensions Voix
-
Piper Hors ligne
158 voix hors ligne en 49 langues, chacune un petit téléchargement à part.
-
Kokoro Hors ligne
54 voix hors ligne en neuf langues, toutes issues d'un seul modèle de 82 Mo.
-
Supertonic Hors ligne
Dix voix hors ligne, chacune capable de parler ses 31 langues.
-
sanoTTS Hors ligne
Petites voix hors ligne, 28 en 14 langues, chacune de moins de 10 Mo.
-
Parler-TTS Hors ligne
Voix anglaises qui suivent une description écrite ; 34 locuteurs nommés.
-
Qwen3-TTS Clonage
Dix langues, neuf voix, et clonage à partir de 3 secondes d'un locuteur.
-
Coqui XTTS Clonage
Clonage de voix en 16 langues, avec une licence de modèle non commerciale.
-
F5-TTS Clonage
Clonage de voix uniquement, en anglais et en chinois ; modèle non commercial.
-
VoxCPM2 Clonage
30 langues en 48 kHz, avec la voix du locuteur ou une voix décrite. Gourmand.
-
Pocket TTS Hors ligne
Rapide et léger, CPU seulement. 23 voix dans sept langues européennes.
-
Sopro Clonage
La voix du locuteur, rapide sur un CPU. Quatre langues.
-
KittenTTS 2 Clonage
La voix du locuteur dans 16 langues, sur un CPU. Poids sous une licence restrictive.
-
Ming-3.0-tts Clonage
7 langues en 44,1 kHz : voix clonées, intégrées ou décrites, avec émotion. Gourmand.
-
Scylla's Band Hors ligne
Quatorze voix en six langues, léger et rapide sur un CPU. Voix intégrées uniquement.
-
Audio8 TTS Clonage
La voix du locuteur en 11 langues, cantonais compris. Lent sur un CPU.
-
Inflect Hors ligne
Une voix anglaise naturelle issue d'un tout petit modèle, rapide sur n'importe quel CPU.
-
Paradee Hors ligne
Quatre voix anglaises naturelles, américaines et britanniques, issues d'un seul modèle de 8,5 Mo.
-
Chatterbox Clonage
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…