VoxMel offline, Stimmklonen, 2 Sprachen
Vertont Ihre Untertitel auf Englisch und Mandarin mit VoxMel von VoxDance Lab, in der eigenen Stimme jedes Sprechers, originalgetreu aus dem Video und seinen Untertiteln geklont, oder in einer von acht voreingestellten Stimmen. Es läuft auf Ihrem eigenen Computer, und die Erweiterung, das Modell und die Stimmen stehen alle unter Apache-2.0.
Einstellungen Erweiterungen VoxMel (offline, voice clone, 2 languages) Installieren
Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.
- Sprachen
- 2
- Modelle
- 1
- Stimmen
- 9
- Download der Erweiterung
- 15–19 MB
- RAM, mindestens
- 2 GB
Anhören
Was es tut
Subtitld schneidet ein paar Sekunden jedes Sprechers aus dem Video und schickt sie mit den Untertiteln, die darin gesprochen werden. VoxMel klont diese Stimme originalgetreu, auf Englisch oder Mandarin.
Zwei Frauen und zwei Männer für jede Sprache, für Sprecher, die Sie nicht klonen möchten. VoxMel hat sie selbst erzeugt: Für sie wurde keine Stimme eines Menschen aufgenommen.
Eine geklonte Zeile braucht auf einem aktuellen Laptop-Prozessor zwei bis vier Sekunden pro Sekunde Sprache.
Die Erweiterung, die audio.cpp-Engine, die VoxMel-Gewichte und die voreingestellten Stimmen stehen alle unter Apache-2.0.
Vor der Installation
- Festplatte: rund 1,2 GB, das meiste davon das 1,04 GB große Modell, heruntergeladen bei der ersten Zeile, die Sie vertonen.
- Arbeitsspeicher: rund 2 GB frei.
- Zeit: Auf einem Intel Core i7-13700T brauchte eine Zeile in der eigenen Stimme des Sprechers zwei bis vier Sekunden pro Sekunde Sprache. Auf einem Mac mit Apple Silicon läuft es auf der GPU.
- Sprachen: nur Englisch und Mandarin. Für andere Sprachen klont VoxCPM2 Stimmen in 30 und OmniVoice in 646.
Stimmen
Im Tab Sprecher wählen Sie VoxMel als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht: VoxMel selbst kann das Tempo nicht steuern.
9 Stimmen in 2 Sprachen.
en4zh4
Die Klonstimme
Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel von 3 bis 12 Sekunden oder mehreren kurzen, zusammengefügt, und schickt den Untertiteltext mit. VoxMel braucht beides, die Probe und ihre Wörter. Fallback reference clip in den Einstellungen der Erweiterung, mit seinem Transkript, wird nur verwendet, wenn keine Probe geschnitten werden kann.
VoxMel klont am besten innerhalb einer Sprache. Eine englische Synchronisation eines Mandarin-Sprechers funktioniert gut; eine Mandarin-Synchronisation eines englischen Sprechers kann manche Wörter verschleifen.
Clone the timbre only funktioniert mit dieser Erweiterung nicht, weil VoxMel ohne die Wörter der Probe nicht klonen kann. Lassen Sie es bei Sprechern, die VoxMel verwenden, ausgeschaltet.
Voreingestellte Stimmen
Jede voreingestellte Stimme ist ein kurzer Clip, den VoxMel ganz ohne Referenzaufnahme erzeugt hat, gespeichert mit seinem genauen Wortlaut. Jede Zeile eines Sprechers mit einer voreingestellten Stimme klont diesen Clip, sodass die Stimme im ganzen Video gleich bleibt. Englische Stimmen passen zu englischen Zeilen, Mandarin-Stimmen zu Mandarin-Zeilen.
Modelle
Es gibt ein Modell, VoxMel 0.6B mit seinem Vocos-Vocoder, mit Gewichten in 8 Bit, wie das Projekt audio.cpp es umgewandelt hat. Es steckt nicht in der Erweiterung: Es wird beim ersten Vertonen in den gemeinsamen Modell-Cache von Subtitld geladen, von Hugging Face in einer festen Revision, und wird geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält das Modell.
| Modell | Download | Geeignet für |
|---|---|---|
| VoxMel 0.6B (8-bit) Standard voxmel | Jede Stimme, auf Englisch und Mandarin |
Die erste Zeile lädt auch das Modell, daher dauert sie länger als die folgenden. Auf einem Mac mit Apple Silicon spricht die Erweiterung beim allerersten Mal außerdem eine kurze Testzeile auf der GPU und nutzt die CPU, wenn das nicht klappt. Abbrechen stoppt eine Zeile zwischen zwei Schritten oder stoppt den Download.
Optionen
In Einstellungen › Erweiterungen › VoxMel (offline, voice clone, 2 languages) › Konfigurieren.
32Wie fein VoxMel jeden Moment der Sprache ausarbeitet. 32 ist die eigene Einstellung von VoxMel; weniger ist schneller, mit weniger Details.
3.5Wie genau die Sprache dem Text folgt. 3,5 ist die eigene Einstellung von VoxMel.
3Wie genau eine Klonstimme dem Clip folgt. 3,0 ist die eigene Einstellung von VoxMel; höhere Werte können ähnlicher klingen, oder angestrengt.
00 wählt die Leistungskerne bei CPUs, die auch Effizienzkerne haben. Weniger Threads halten den Computer beim Vertonen reaktionsfreudiger.
Ein Clip für die Klonstimme, wenn Subtitld keinen aus dem Video schneiden kann, etwa ohne geöffnetes Video: 3 bis 15 Sekunden, in denen eine Person spricht.
Genau das, was im Ersatz-Clip gesagt wird, Wort für Wort. VoxMel klont aus dem Clip und seinen Wörtern, daher wird der Ersatz-Clip ohne sie abgelehnt.
Sprachen
Englisch und Mandarin-Chinesisch. VoxMel erkennt die Sprache am Text.
enzh
Plattformen
| System | Download | Getestet |
|---|---|---|
| Linux x86-64 | 18.8 MB | Mit dem echten Modell auf einem echten Rechner und auf AlmaLinux 8 vertont; in der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab |
| macOS (Apple Silicon) | 18.1 MB | In der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab (Apple Silicon) |
| Windows x86-64 | 15.4 MB | In der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab |
Linux x86-64 (jede Distribution ab 2018, glibc 2.28 oder neuer), macOS 13.3 oder neuer auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung, lädt das Modell herunter und lässt es sprechen, eine Stimme klonen und eine Zeile abbrechen.
Fehlerbehebung
network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.disk_fullNicht genug Speicherplatz für das Modell. Es braucht rund 1,2 GB frei.oomNicht genug Arbeitsspeicher. Schließen Sie andere Programme; VoxMel braucht rund 2 GB frei.bad_paramsDie Zeile hat keinen Text, oder die Klonstimme hat keine Probe oder keine Wörter dazu bekommen. Die Meldung sagt, was zutrifft. Öffnen Sie für eine Klonstimme das Video und lassen Sie Clone the timbre only ausgeschaltet.unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details.
Lizenz
Für kommerzielle Arbeit geeignet: Die Erweiterung, ihre voreingestellten Stimmen, die audio.cpp-Engine und die VoxMel-Gewichte stehen alle unter Apache-2.0, und der Vocos-Vocoder und ggml stehen unter MIT. Die Synchronisationen, die Sie erstellen, gehören Ihnen. Eine geklonte Stimme klingt wie eine echte Person: Klonen Sie nur Stimmen, die Sie verwenden dürfen, und sagen Sie, wo es darauf ankommt, dass eine Synchronisation künstlich erzeugt ist.
Versionen
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Weitere Stimmen-Erweiterungen
-
Piper Offline
158 Offline-Stimmen in 49 Sprachen, jede ein eigener kleiner Download.
-
Kokoro Offline
54 Offline-Stimmen in neun Sprachen, alle aus einem 82-MB-Modell.
-
Supertonic Offline
Zehn Offline-Stimmen, jede kann alle 31 ihrer Sprachen sprechen.
-
sanoTTS Offline
Winzige Offline-Stimmen, 28 in 14 Sprachen, jeweils unter 10 MB.
-
Parler-TTS Offline
Englische Stimmen, die einer geschriebenen Beschreibung folgen; 34 benannte Sprecher.
-
Qwen3-TTS Klon
Zehn Sprachen, neun Stimmen und Klonen ab 3 Sekunden eines Sprechers.
-
Coqui XTTS Klon
Stimmklonen in 16 Sprachen, mit einer Modelllizenz für nicht-kommerzielle Nutzung.
-
F5-TTS Klon
Nur Stimmklonen, auf Englisch und Chinesisch; nicht-kommerzielles Modell.
-
VoxCPM2 Klon
30 Sprachen in 48 kHz, in der Stimme des Sprechers oder einer beschriebenen. Schwer.
-
Pocket TTS Offline
Schnell und leicht, nur CPU. 23 Stimmen in sieben europäischen Sprachen.
-
Sopro Klon
Die eigene Stimme des Sprechers, schnell auf einer CPU. Vier Sprachen.
-
KittenTTS 2 Klon
Die eigene Stimme des Sprechers in 16 Sprachen, auf einer CPU. Gewichte unter einer restriktiven Lizenz.
-
Ming-3.0-tts Klon
7 Sprachen in 44,1 kHz: geklonte, eingebaute oder beschriebene Stimmen, mit Emotion. Schwer.
-
Scylla's Band Offline
Vierzehn Stimmen in sechs Sprachen, schlank und schnell auf einer CPU. Nur eingebaute Stimmen.
-
Audio8 TTS Klon
Die eigene Stimme des Sprechers in 23 Sprachen, Kantonesisch und Arabisch inbegriffen. Langsam auf einer CPU.
-
Inflect Offline
Natürliche englische Sprache aus einem winzigen Modell, schnell auf jeder CPU.
-
Paradee Offline
Vier natürliche englische Stimmen, amerikanisch und britisch, aus einem einzigen 8,5-MB-Modell.
-
BlueTTS Klon
Hebräisch und Jiddisch, dazu fünf weitere Sprachen. Die eigene Stimme des Sprechers, schnell auf einer CPU.
-
ZONOS3-Mini Klon
43 Sprachen, von Arabisch bis Vietnamesisch. Die eigene Stimme des Sprechers, auf einer CPU.
-
Reverb Klon
Sieben europäische Sprachen und die eigene Stimme des Sprechers, auf einer CPU; nicht-kommerzielles Modell.
-
OmniVoice Klon
646 Sprachen, die eigene Stimme des Sprechers über Sprachgrenzen hinweg; nicht-kommerzielles Modell.
-
tiny-voca Offline
Zwei Stimmen in amerikanischem Englisch aus einem Modell mit 4,5 Millionen Parametern, ganz ohne Download.
-
Chatterbox Klon
Die eigene Stimme des Sprechers in 20 Sprachen, auf einer CPU, ohne Konto.