ZONOS3-Mini hors ligne, clonage de voix, 43 langues

VoixHors ligneCPU uniquementClonage de voixUsage commercial autorisé

Double vos sous-titres en 43 langues avec ZONOS3-Mini, de Zyphra, avec l'une de 27 voix ou avec la voix de chaque locuteur clonée à partir de quelques secondes de la vidéo. Tout tourne sur le processeur de votre ordinateur, environ deux fois plus vite que le temps réel, sans carte graphique.

Installez-la depuis Subtitld

Paramètres Extensions ZONOS3-Mini (offline, voice clone, 43 languages) Installer

Subtitld la télécharge, vérifie son SHA-256 et la tient à jour.

Code source sur GitHub
Langues
43
Modèles
2
Voix
28
Téléchargement de l'extension
19–24 MB
RAM, au minimum
2 GB

Ce qu'elle fait

43 langues

De l'arabe, du bengali et du bulgare au turc, à l'ourdou et au vietnamien, dont le japonais, le coréen, le mandarin, le hindi et huit autres langues de l'Inde. Les nombres, dates, prix et unités sont lus selon la grammaire propre à chaque langue.

La voix du locuteur

Subtitld découpe dans la vidéo un échantillon de chaque locuteur et l'envoie avec chaque réplique. ZONOS3-Mini clone cette voix dans n'importe laquelle de ses langues. Ou choisissez l'une de 27 voix.

Les répliques finissent là où le texte finit

Chaque réplique est vérifiée pendant qu'elle est dite, pour qu'aucun mot ne soit sauté, et elle s'arrête quand le texte est lu au lieu de continuer avec des mots qui ne sont pas dans le sous-titre.

Hors ligne après la première réplique

Le modèle se télécharge une seule fois, la première fois qu'une réplique en a besoin. Ensuite, rien ne quitte votre ordinateur.

Avant d'installer

  • Disque : 1 115 Mo pour le modèle, téléchargé à la première réplique, et 45 Mo de plus la première fois que vous utilisez la voix d'un locuteur.
  • Mémoire : environ 1,6 Go pendant qu'il parle.
  • Temps : sur un Intel Core i7-13700T, une seconde de parole prend environ une demi-seconde à produire. La première réplique attend environ 4 secondes de plus, le temps que le modèle se charge, et la première réplique avec la voix d'un locuteur environ 5 secondes de plus, le temps que la voix soit apprise.
  • Processeur : un processeur Intel ou AMD 64 bits avec AVX2 (Intel depuis 2013, AMD depuis 2015), ou Apple Silicon. Aucune carte graphique n'est utilisée.

Voix

Dans l'onglet Locuteurs, choisissez ZONOS3-Mini comme Moteur de doublage d'un locuteur, puis choisissez une Voix. Activez Ajuster le doublage à la durée du sous-titre pour que chaque réplique de ce locuteur soit étirée ou resserrée à la durée de son sous-titre.

28 voix.

Enregistrée en Femmes Hommes
Anglais Imogen (britannique), Morgana (sorcière), Sakura (anime), Savannah (américaine), Willow (ASMR) Cillian (irlandais), Jett (énergique), Rupert (britannique), Thaddeus (annonceur), Wyatt (américain)
Français Gaspard
Allemand Liesel Wolfgang
Hindi Ananya Arjun
Italien Ginevra Lorenzo
Coréen Seoyeon Minjun
Mandarin Meilin (énergique) Haoran (énergique)
Portugais Leonor Thiago
Espagnol Ximena Rodrigo
Télougou Sravya Chaitanya

Ce sont les voix par défaut de Zyphra. Chaque voix parle toutes les langues, mais avec l'accent de la langue dans laquelle elle a été enregistrée, et dans une autre langue cet accent peut être fort : une voix anglaise qui parle russe est difficile à suivre. Pour une langue qui n'a pas de voix à elle ici, utilisez la voix du locuteur.

Avec Speaker's own voice, Subtitld découpe un échantillon de ce locuteur dans l'audio du projet, à partir d'un de ses sous-titres ou de plusieurs courts mis bout à bout. Si vous avez séparé la musique de la voix pour cette vidéo, l'échantillon vient de la voix seule. Le Fallback reference clip des réglages de l'extension ne sert que si aucun échantillon ne peut être découpé.

ZONOS3-Mini écoute jusqu'à une minute de l'échantillon et copie la voix, pas les mots ni leur diction. Le meilleur échantillon est une parole propre, près du micro : le bruit et l'écho rendent le clone moins fidèle au locuteur, et un enregistrement de téléphone donne une voix qui sonne comme au téléphone.

Modèles

Le modèle n'est pas inclus dans l'extension : il se télécharge dans le cache de modèles partagé de Subtitld la première fois qu'une réplique en a besoin, depuis le dépôt Hugging Face de Zyphra à une révision fixée, chaque fichier vérifié. Un téléchargement interrompu reprend là où il s'est arrêté. Mettre à jour ou supprimer l'extension le conserve.

Modèle TéléchargementIdéal pour
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Par défaut zonos3-mini
1.1 GB
Chaque réplique, dans chaque langue et chaque voix
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
La voix du locuteur, la première fois que vous en doublez une

L'extension exécute le moteur ggml de Zyphra lui-même, le même code que le serveur local de Zyphra, intégré à l'extension sans PyTorch.

Livré à lui-même, le modèle continue parfois de parler après une réplique courte, en ajoutant quelques mots qui ne sont pas dans le sous-titre. Chaque réplique passe donc par LACI, la vérification d'alignement de Zyphra : elle suit quelle partie du texte est en train d'être dite, reprend un passage sauté ou bloqué, et arrête la réplique une fois le texte lu. L'extension coupe ensuite la réplique au premier silence après ce point. Cette coupe est une règle propre à l'extension, pas à Zyphra. Dans notre test sur de courtes répliques de sous-titres, 61 sur 64 sont sorties propres de cette façon, contre 37 sur 64 sans. Une réplique qui sort muette est refaite.

Options

Dans Paramètres › Extensions › ZONOS3-Mini (offline, voice clone, 43 languages) › Configurer.

CPU threads
Par défaut : 0

0 utilise les processeurs logiques de l'ordinateur, 8 au maximum. Plus est rarement plus rapide ; moins garde l'ordinateur plus réactif pendant le doublage.

Fallback reference clip
Par défaut : vide

Un extrait pour la voix clonée quand Subtitld ne peut pas en découper un dans la vidéo, par exemple sans vidéo ouverte : 5 à 20 secondes d'une seule personne qui parle, propres, pas un enregistrement de téléphone.

Langues

Arabe, bengali, bulgare, chinois (mandarin), tchèque, danois, néerlandais, anglais, finnois, français, géorgien, allemand, grec, gujarati, hébreu, hindi, hongrois, indonésien, italien, japonais, kannada, coréen, malais, malayalam, marathi, norvégien, odia, polonais, portugais, pendjabi, roumain, russe, slovaque, espagnol, suédois, tagalog, tamoul, télougou, thaï, turc, ukrainien, ourdou et vietnamien. Un projet dans une autre langue reçoit un message qui le dit : choisissez un autre moteur de doublage pour lui.

L'anglais suit la région du projet : le Royaume-Uni, l'Irlande, l'Australie, la Nouvelle-Zélande, l'Afrique du Sud et l'Inde reçoivent l'anglais britannique, toute autre région l'anglais américain. Le portugais est lu comme le portugais du Brésil, et le français comme le français de France.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Plateformes

Système TéléchargementTesté
Linux x86-64 19.0 MBDoublé avec le vrai modèle depuis l'archive de la version sur AlmaLinux 8, et en CI
macOS (Apple silicon) 24.0 MBDoublé avec le vrai modèle en CI (Apple Silicon)
Windows x86-64 18.5 MBDoublé avec le vrai modèle en CI

Linux x86-64, macOS sur Apple Silicon et Windows x86-64. Chaque version est compilée sur les trois, et sur chacun la CI installe l'extension comme le fait Subtitld, télécharge le modèle et double des répliques dans six langues, une réplique courte et une voix clonée.

Dépannage

  • network_unavailableLe modèle n'a pas pu être téléchargé. Vérifiez votre connexion et réessayez : le téléchargement reprend.
  • disk_fullPas assez d'espace disque pour le modèle : 1 115 Mo, et 45 Mo de plus pour la voix du locuteur.
  • unsupported_languageLa langue du projet ne fait pas partie des 43, ou n'est pas définie. Réglez-la dans le projet, ou choisissez un autre moteur de doublage.
  • unsupported_voiceLe projet indique une voix que cette version n'a pas. Choisissez de nouveau la voix dans l'onglet Locuteurs.
  • bad_paramsLa réplique n'a pas de texte, ou la voix clonée n'a reçu aucun échantillon : ouvrez la vidéo, ou définissez un Fallback reference clip. Le message précise lequel.
  • out_of_memoryL'ordinateur a manqué de mémoire. Fermez d'autres programmes : ZONOS3-Mini a besoin d'environ 2 Go libres.
  • internalQuelque chose a échoué dans l'extension ; le message donne les détails. Sur un processeur plus ancien sans AVX2, le message le dit.

Licence

Extension
Apache-2.0
Moteur
MIT
le moteur d'exécution de ZONOS3-Mini de Zyphra, avec ggml
Modèle
Apache-2.0
poids de ZONOS3-Mini, par Zyphra
Voix
Apache-2.0
les voix par défaut de Zyphra
Lecture du texte
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm, avec des grammaires portées depuis NeMo-text-processing de NVIDIA et des données d'Unicode CLDR

L'extension est sous Apache-2.0. Les poids de ZONOS3-Mini et ses voix par défaut sont sous Apache-2.0, et le moteur d'exécution de Zyphra sous MIT, donc l'usage commercial est permis. La lecture du texte, zyphra-textnorm, est sous MIT, avec des grammaires portées depuis NeMo-text-processing de NVIDIA (Apache-2.0) et des données d'Unicode CLDR.

Les doublages que vous faites vous appartiennent. Une voix clonée sonne comme une vraie personne : ne clonez que des voix que vous avez le droit d'utiliser, et dites qu'un doublage est synthétique là où cela compte.

Versions

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Autres extensions Voix