ZONOS3-Mini hors ligne, clonage de voix, 43 langues
Double vos sous-titres en 43 langues avec ZONOS3-Mini, de Zyphra, avec l'une de 27 voix ou avec la voix de chaque locuteur clonée à partir de quelques secondes de la vidéo. Tout tourne sur le processeur de votre ordinateur, environ deux fois plus vite que le temps réel, sans carte graphique.
Paramètres Extensions ZONOS3-Mini (offline, voice clone, 43 languages) Installer
Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.
- Langues
- 43
- Modèles
- 2
- Voix
- 28
- Téléchargement de l'extension
- 19–24 MB
- RAM, au minimum
- 2 GB
Ce qu'elle fait
De l'arabe, du bengali et du bulgare au turc, à l'ourdou et au vietnamien, dont le japonais, le coréen, le mandarin, le hindi et huit autres langues de l'Inde. Les nombres, dates, prix et unités sont lus selon la grammaire propre à chaque langue.
Subtitld découpe dans la vidéo un échantillon de chaque locuteur et l'envoie avec chaque réplique. ZONOS3-Mini clone cette voix dans n'importe laquelle de ses langues. Ou choisissez l'une de 27 voix.
Chaque réplique est vérifiée pendant qu'elle est dite, pour qu'aucun mot ne soit sauté, et elle s'arrête quand le texte est lu au lieu de continuer avec des mots qui ne sont pas dans le sous-titre.
Le modèle se télécharge une seule fois, la première fois qu'une réplique en a besoin. Ensuite, rien ne quitte votre ordinateur.
Avant d'installer
- Disque : 1 115 Mo pour le modèle, téléchargé à la première réplique, et 45 Mo de plus la première fois que vous utilisez la voix d'un locuteur.
- Mémoire : environ 1,6 Go pendant qu'il parle.
- Temps : sur un Intel Core i7-13700T, une seconde de parole prend environ une demi-seconde à produire. La première réplique attend environ 4 secondes de plus, le temps que le modèle se charge, et la première réplique avec la voix d'un locuteur environ 5 secondes de plus, le temps que la voix soit apprise.
- Processeur : un processeur Intel ou AMD 64 bits avec AVX2 (Intel depuis 2013, AMD depuis 2015), ou Apple Silicon. Aucune carte graphique n'est utilisée.
Voix
Dans l'onglet Locuteurs, choisissez ZONOS3-Mini comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.
28 voix.
| Enregistrée en | Femmes | Hommes |
|---|---|---|
| Anglais | Imogen (britannique), Morgana (sorcière), Sakura (anime), Savannah (américaine), Willow (ASMR) | Cillian (irlandais), Jett (énergique), Rupert (britannique), Thaddeus (annonceur), Wyatt (américain) |
| Français | Gaspard | |
| Allemand | Liesel | Wolfgang |
| Hindi | Ananya | Arjun |
| Italien | Ginevra | Lorenzo |
| Coréen | Seoyeon | Minjun |
| Mandarin | Meilin (énergique) | Haoran (énergique) |
| Portugais | Leonor | Thiago |
| Espagnol | Ximena | Rodrigo |
| Télougou | Sravya | Chaitanya |
Ce sont les voix par défaut de Zyphra. Chaque voix parle toutes les langues, mais avec l'accent de la langue dans laquelle elle a été enregistrée, et dans une autre langue cet accent peut être fort : une voix anglaise qui parle russe est difficile à suivre. Pour une langue qui n'a pas de voix à elle ici, utilisez la voix du locuteur.
Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres ou de plusieurs courts mis bout à bout. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon vient de la voix seule. Le Fallback reference clip des réglages de l'extension ne sert que si aucun échantillon ne peut être découpé.
ZONOS3-Mini écoute jusqu'à une minute de l'échantillon et copie la voix, pas les mots ni leur diction. Le meilleur échantillon est une parole propre, près du micro : le bruit et l'écho rendent le clone moins fidèle au locuteur, et un enregistrement de téléphone donne une voix qui sonne comme au téléphone.
Modèles
Le modèle n'est pas inclus dans l'extension : il se télécharge dans le cache de modèles partagé de Subtitld la première fois qu'une réplique en a besoin, depuis le dépôt Hugging Face de Zyphra à une révision fixée, chaque fichier vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension le conserve.
| Modèle | Téléchargement | Idéal pour |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Par défaut zonos3-mini | Chaque réplique, dans chaque langue et chaque voix | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | La voix du locuteur, la première fois que vous en doublez une |
L'extension exécute le moteur ggml de Zyphra lui-même, le même code que le serveur local de Zyphra, intégré à l'extension sans PyTorch.
Livré à lui-même, le modèle continue parfois de parler après une réplique courte, en ajoutant quelques mots qui ne sont pas dans le sous-titre. Chaque réplique passe donc par LACI, la vérification d'alignement de Zyphra : elle suit quelle partie du texte est en train d'être dite, reprend un passage sauté ou bloqué, et arrête la réplique une fois le texte lu. L'extension coupe ensuite la réplique au premier silence après ce point. Cette coupe est une règle propre à l'extension, pas à Zyphra. Dans notre test sur de courtes répliques de sous-titres, 61 sur 64 sont sorties propres de cette façon, contre 37 sur 64 sans. Une réplique qui sort muette est refaite.
Options
Dans Paramètres › Extensions › ZONOS3-Mini (offline, voice clone, 43 languages) › Configurer.
00 utilise les processeurs logiques de l'ordinateur, 8 au maximum. Plus est rarement plus rapide ; moins garde l'ordinateur plus réactif pendant le doublage.
Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : 5 à 20 secondes d'une seule personne qui parle, propres, pas un enregistrement de téléphone.
Langues
Arabe, bengali, bulgare, chinois (mandarin), tchèque, danois, néerlandais, anglais, finnois, français, géorgien, allemand, grec, gujarati, hébreu, hindi, hongrois, indonésien, italien, japonais, kannada, coréen, malais, malayalam, marathi, norvégien, odia, polonais, portugais, pendjabi, roumain, russe, slovaque, espagnol, suédois, tagalog, tamoul, télougou, thaï, turc, ukrainien, ourdou et vietnamien. Un projet dans une autre langue reçoit un message qui le dit : choisissez un autre moteur de doublage pour lui.
L'anglais suit la région du projet : le Royaume-Uni, l'Irlande, l'Australie, la Nouvelle-Zélande, l'Afrique du Sud et l'Inde reçoivent l'anglais britannique, toute autre région l'anglais américain. Le portugais est lu comme le portugais du Brésil, et le français comme le français de France.
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
Plateformes
| Système | Téléchargement | Testé |
|---|---|---|
| Linux x86-64 | 19.0 MB | Doublé avec le vrai modèle depuis l'archive de la version sur AlmaLinux 8, et en CI |
| macOS (Apple silicon) | 24.0 MB | Doublé avec le vrai modèle en CI (Apple Silicon) |
| Windows x86-64 | 18.5 MB | Doublé avec le vrai modèle en CI |
Linux x86-64, macOS sur Apple Silicon et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension comme le fait Subtitld, télécharge le modèle et double des répliques dans six langues, une réplique courte et une voix clonée.
Dépannage
network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.disk_fullPas assez d'espace disque pour le modèle : 1 115 Mo, et 45 Mo de plus pour la voix du locuteur.unsupported_languageLa langue du projet ne fait pas partie des 43, ou n'est pas définie. Réglez-la dans le projet, ou choisissez un autre moteur de doublage.unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.bad_paramsLa réplique n'a pas de texte, ou la voix clonée n'a reçu aucun échantillon : ouvrez la vidéo, ou définissez un Fallback reference clip. Le message précise lequel.out_of_memoryL'ordinateur a manqué de mémoire. Fermez d'autres programmes : ZONOS3-Mini a besoin d'environ 2 Go libres.internalQuelque chose a échoué dans l'extension ; le message donne les détails. Sur un processeur plus ancien sans AVX2, le message le dit.
Licence
L'extension est sous Apache-2.0. Les poids de ZONOS3-Mini et ses voix par défaut sont sous Apache-2.0, et le moteur d'exécution de Zyphra sous MIT, donc l'usage commercial est permis. La lecture du texte, zyphra-textnorm, est sous MIT, avec des grammaires portées depuis NeMo-text-processing de NVIDIA (Apache-2.0) et des données d'Unicode CLDR.
Les doublages que vous faites vous appartiennent. Une voix clonée sonne comme une vraie personne : ne clonez que des voix que vous avez le droit d'utiliser, et dites qu'un doublage est synthétique là où cela compte.
Versions
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
Autres extensions Voix
-
Piper Hors ligne
158 voix hors ligne en 49 langues, chacune un petit téléchargement à part.
-
Kokoro Hors ligne
54 voix hors ligne en neuf langues, toutes issues d'un seul modèle de 82 Mo.
-
Supertonic Hors ligne
Dix voix hors ligne, chacune capable de parler ses 31 langues.
-
sanoTTS Hors ligne
Petites voix hors ligne, 28 en 14 langues, chacune de moins de 10 Mo.
-
Parler-TTS Hors ligne
Voix anglaises qui suivent une description écrite ; 34 locuteurs nommés.
-
Qwen3-TTS Clonage
Dix langues, neuf voix, et clonage à partir de 3 secondes d'un locuteur.
-
Coqui XTTS Clonage
Clonage de voix en 16 langues, avec une licence de modèle non commerciale.
-
F5-TTS Clonage
Clonage de voix uniquement, en anglais et en chinois ; modèle non commercial.
-
VoxCPM2 Clonage
30 langues en 48 kHz, avec la voix du locuteur ou une voix décrite. Gourmand.
-
Pocket TTS Hors ligne
Rapide et léger, CPU seulement. 23 voix dans sept langues européennes.
-
Sopro Clonage
La voix du locuteur, rapide sur un CPU. Quatre langues.
-
KittenTTS 2 Clonage
La voix du locuteur dans 16 langues, sur un CPU. Poids sous une licence restrictive.
-
Ming-3.0-tts Clonage
7 langues en 44,1 kHz : voix clonées, intégrées ou décrites, avec émotion. Gourmand.
-
Scylla's Band Hors ligne
Quatorze voix en six langues, léger et rapide sur un CPU. Voix intégrées uniquement.
-
Audio8 TTS Clonage
La voix du locuteur en 11 langues, cantonais compris. Lent sur un CPU.
-
Inflect Hors ligne
Une voix anglaise naturelle issue d'un tout petit modèle, rapide sur n'importe quel CPU.
-
Paradee Hors ligne
Quatre voix anglaises naturelles, américaines et britanniques, issues d'un seul modèle de 8,5 Mo.
-
BlueTTS Clonage
L'hébreu et le yiddish, plus cinq autres langues. La voix du locuteur, rapide sur un CPU.
-
Chatterbox Clonage
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…