ZONOS3-Mini offline, Stimmklonen, 43 Sprachen

StimmenOfflineNur CPUStimmklonenKommerzielle Nutzung erlaubt

Vertont Ihre Untertitel in 43 Sprachen mit ZONOS3-Mini von Zyphra, in einer von 27 Stimmen oder in der eigenen Stimme jedes Sprechers, aus wenigen Sekunden des Videos geklont. Es läuft auf dem Prozessor Ihres eigenen Computers, etwa doppelt so schnell wie Echtzeit, ganz ohne Grafikkarte.

In Subtitld installieren

Einstellungen Erweiterungen ZONOS3-Mini (offline, voice clone, 43 languages) Installieren

Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.

Quellcode auf GitHub
Sprachen
43
Modelle
2
Stimmen
28
Download der Erweiterung
19–24 MB
RAM, mindestens
2 GB

Was es tut

43 Sprachen

Von Arabisch, Bengalisch und Bulgarisch bis Türkisch, Urdu und Vietnamesisch, darunter Japanisch, Koreanisch, Mandarin, Hindi und acht weitere Sprachen Indiens. Zahlen, Daten, Preise und Einheiten werden nach der Grammatik der jeweiligen Sprache vorgelesen.

Die eigene Stimme des Sprechers

Subtitld schneidet eine Probe jedes Sprechers aus dem Video und schickt sie mit jeder Zeile. ZONOS3-Mini klont diese Stimme in jeder seiner Sprachen. Oder wählen Sie eine von 27 Stimmen.

Zeilen enden, wo der Text endet

Jede Zeile wird geprüft, während sie gesprochen wird, damit keine Wörter übersprungen werden, und sie hört auf, wenn der Text gelesen ist, statt mit Wörtern weiterzumachen, die nicht im Untertitel stehen.

Offline nach der ersten Zeile

Das Modell wird einmal heruntergeladen, wenn eine Zeile es zum ersten Mal braucht. Danach verlässt nichts mehr Ihren Computer.

Vor der Installation

  • Festplatte: 1.115 MB für das Modell, heruntergeladen bei der ersten Zeile, und 45 MB mehr, wenn Sie zum ersten Mal die eigene Stimme eines Sprechers verwenden.
  • Arbeitsspeicher: rund 1,6 GB beim Sprechen.
  • Zeit: Auf einem Intel Core i7-13700T braucht eine Sekunde Sprache etwa eine halbe Sekunde. Die erste Zeile wartet etwa 4 Sekunden länger, während das Modell lädt, und die erste Zeile in der eigenen Stimme eines Sprechers etwa 5 Sekunden länger, während die Stimme gelernt wird.
  • Prozessor: ein 64-Bit-Prozessor von Intel oder AMD mit AVX2 (Intel seit 2013, AMD seit 2015) oder Apple Silicon. Eine Grafikkarte wird nicht verwendet.

Stimmen

Im Tab Sprecher wählen Sie ZONOS3-Mini als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.

28 Stimmen.

Aufgenommen auf Frauen Männer
Englisch Imogen (britisch), Morgana (Hexe), Sakura (Anime), Savannah (amerikanisch), Willow (ASMR) Cillian (irisch), Jett (energiegeladen), Rupert (britisch), Thaddeus (Ansager), Wyatt (amerikanisch)
Französisch Gaspard
Deutsch Liesel Wolfgang
Hindi Ananya Arjun
Italienisch Ginevra Lorenzo
Koreanisch Seoyeon Minjun
Mandarin Meilin (energiegeladen) Haoran (energiegeladen)
Portugiesisch Leonor Thiago
Spanisch Ximena Rodrigo
Telugu Sravya Chaitanya

Das sind die eigenen Standardstimmen von Zyphra. Jede Stimme spricht jede Sprache, aber mit dem Akzent der Sprache, in der sie aufgenommen wurde, und in einer anderen Sprache kann dieser Akzent stark sein: Einer englischen Stimme, die Russisch spricht, ist schwer zu folgen. Für eine Sprache, die hier keine eigene Stimme hat, verwenden Sie die eigene Stimme des Sprechers.

Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel oder mehreren kurzen, zusammengefügt. Haben Sie für dieses Video die Musik von der Stimme getrennt, stammt die Probe nur von der Stimme. Fallback reference clip in den Einstellungen der Erweiterung wird nur verwendet, wenn keine Probe geschnitten werden kann.

ZONOS3-Mini hört sich bis zu einer Minute der Probe an und übernimmt die Stimme, nicht die Wörter oder ihre Sprechweise. Die beste Probe ist saubere Sprache nah am Mikrofon: Rauschen und Hall machen den Klon dem Sprecher unähnlicher, und eine Telefonaufnahme ergibt eine Stimme, die nach Telefon klingt.

Modelle

Das Modell steckt nicht in der Erweiterung: Es wird in den gemeinsamen Modell-Cache von Subtitld geladen, wenn eine Zeile es zum ersten Mal braucht, aus dem Hugging-Face-Repository von Zyphra in einer festen Revision, jede Datei geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält es.

Modell DownloadGeeignet für
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Standard zonos3-mini
1.1 GB
Jede Zeile, in jeder Sprache und Stimme
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
Die eigene Stimme des Sprechers, wenn Sie zum ersten Mal eine vertonen

Die Erweiterung führt die eigene ggml-Laufzeit von Zyphra aus, denselben Code wie der lokale Server von Zyphra, in die Erweiterung eingebaut, ohne PyTorch.

Sich selbst überlassen, redet das Modell nach einer kurzen Zeile manchmal weiter und fügt ein paar Wörter hinzu, die nicht im Untertitel stehen. Deshalb läuft jede Zeile unter LACI, der Ausrichtungsprüfung von Zyphra: Sie verfolgt, welcher Teil des Textes gerade gesprochen wird, nimmt eine übersprungene oder hängengebliebene Passage noch einmal und beendet die Zeile, sobald der Text gelesen ist. Die Erweiterung schneidet die Zeile dann an der ersten Stille nach diesem Punkt. Dieser Schnitt ist eine eigene Regel der Erweiterung, nicht eine von Zyphra. In unserem Test mit kurzen Untertitelzeilen kamen so 61 von 64 sauber heraus, gegenüber 37 von 64 ohne. Eine Zeile, die stumm herauskommt, wird neu erzeugt.

Optionen

In Einstellungen › Erweiterungen › ZONOS3-Mini (offline, voice clone, 43 languages) › Konfigurieren.

CPU threads
Standard: 0

0 nutzt die logischen Prozessoren des Computers, höchstens 8. Mehr ist selten schneller; weniger halten den Computer beim Vertonen reaktionsfreudiger.

Fallback reference clip
Standard: leer

Ein Clip für die Klonstimme, wenn Subtitld keinen aus dem Video schneiden kann, etwa ohne geöffnetes Video: 5 bis 20 Sekunden, in denen eine Person spricht, sauber, keine Telefonaufnahme.

Sprachen

Arabisch, Bengalisch, Bulgarisch, Chinesisch (Mandarin), Tschechisch, Dänisch, Niederländisch, Englisch, Finnisch, Französisch, Georgisch, Deutsch, Griechisch, Gujarati, Hebräisch, Hindi, Ungarisch, Indonesisch, Italienisch, Japanisch, Kannada, Koreanisch, Malaiisch, Malayalam, Marathi, Norwegisch, Odia, Polnisch, Portugiesisch, Punjabi, Rumänisch, Russisch, Slowakisch, Spanisch, Schwedisch, Tagalog, Tamil, Telugu, Thai, Türkisch, Ukrainisch, Urdu und Vietnamesisch. Ein Projekt in einer anderen Sprache bekommt eine Meldung, die das sagt: Wählen Sie dafür eine andere Synchronisations-Engine.

Englisch folgt der Region des Projekts: Das Vereinigte Königreich, Irland, Australien, Neuseeland, Südafrika und Indien bekommen britisches Englisch, jede andere Region amerikanisches Englisch. Portugiesisch wird als brasilianisches Portugiesisch gelesen und Französisch als das Französisch Frankreichs.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Plattformen

System DownloadGetestet
Linux x86-64 19.0 MBMit dem echten Modell aus dem Release-Archiv unter AlmaLinux 8 und in der CI vertont
macOS (Apple Silicon) 24.0 MBMit dem echten Modell in der CI vertont (Apple Silicon)
Windows x86-64 18.5 MBMit dem echten Modell in der CI vertont

Linux x86-64, macOS auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung so, wie Subtitld es tut, lädt das Modell herunter und vertont Zeilen in sechs Sprachen, eine kurze Zeile und eine geklonte Stimme.

Fehlerbehebung

  • network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.
  • disk_fullNicht genug Speicherplatz für das Modell: 1.115 MB, und 45 MB mehr für die eigene Stimme des Sprechers.
  • unsupported_languageDie Sprache des Projekts ist keine der 43 oder nicht festgelegt. Legen Sie sie im Projekt fest oder wählen Sie eine andere Synchronisations-Engine.
  • unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.
  • bad_paramsDie Zeile hat keinen Text, oder die Klonstimme hat keine Probe bekommen: Öffnen Sie das Video oder setzen Sie Fallback reference clip. Die Meldung sagt, was zutrifft.
  • out_of_memoryDem Computer ist der Arbeitsspeicher ausgegangen. Schließen Sie andere Programme: ZONOS3-Mini braucht rund 2 GB frei.
  • internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details. Auf einem älteren Prozessor ohne AVX2 sagt die Meldung das.

Lizenz

Erweiterung
Apache-2.0
Engine
MIT
Die ZONOS3-Mini-Laufzeit von Zyphra, mit ggml
Modell
Apache-2.0
ZONOS3-Mini-Gewichte, von Zyphra
Stimmen
Apache-2.0
Die Standardstimmen von Zyphra
Textlesung
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm, mit Grammatiken, portiert aus NeMo-text-processing von NVIDIA, und Daten aus Unicode CLDR

Die Erweiterung steht unter Apache-2.0. Die Gewichte von ZONOS3-Mini und seine Standardstimmen stehen unter Apache-2.0, die Laufzeit von Zyphra unter MIT, kommerzielle Arbeit ist also erlaubt. Die Textlesung, zyphra-textnorm, steht unter MIT, mit Grammatiken, portiert aus NeMo-text-processing von NVIDIA (Apache-2.0), und Daten aus Unicode CLDR.

Die Synchronisationen, die Sie erstellen, gehören Ihnen. Eine geklonte Stimme klingt wie ein echter Mensch: Klonen Sie Stimmen, die Sie verwenden dürfen, und sagen Sie, wo es darauf ankommt, dass eine Synchronisation synthetisch ist.

Versionen

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Weitere Stimmen-Erweiterungen