VoxMel offline, Stimmklonen, 2 Sprachen

StimmenOfflineGPU optionalStimmklonenKommerzielle Nutzung erlaubt

Vertont Ihre Untertitel auf Englisch und Mandarin mit VoxMel von VoxDance Lab, in der eigenen Stimme jedes Sprechers, originalgetreu aus dem Video und seinen Untertiteln geklont, oder in einer von acht voreingestellten Stimmen. Es läuft auf Ihrem eigenen Computer, und die Erweiterung, das Modell und die Stimmen stehen alle unter Apache-2.0.

In Subtitld installieren

Einstellungen Erweiterungen VoxMel (offline, voice clone, 2 languages) Installieren

Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.

Quellcode auf GitHub
Sprachen
2
Modelle
1
Stimmen
9
Download der Erweiterung
15–19 MB
RAM, mindestens
2 GB

Anhören

Was es tut

Originalgetreue Klone

Subtitld schneidet ein paar Sekunden jedes Sprechers aus dem Video und schickt sie mit den Untertiteln, die darin gesprochen werden. VoxMel klont diese Stimme originalgetreu, auf Englisch oder Mandarin.

Acht voreingestellte Stimmen

Zwei Frauen und zwei Männer für jede Sprache, für Sprecher, die Sie nicht klonen möchten. VoxMel hat sie selbst erzeugt: Für sie wurde keine Stimme eines Menschen aufgenommen.

Schnell für ein Klonmodell

Eine geklonte Zeile braucht auf einem aktuellen Laptop-Prozessor zwei bis vier Sekunden pro Sekunde Sprache.

Frei für kommerzielle Arbeit

Die Erweiterung, die audio.cpp-Engine, die VoxMel-Gewichte und die voreingestellten Stimmen stehen alle unter Apache-2.0.

Vor der Installation

  • Festplatte: rund 1,2 GB, das meiste davon das 1,04 GB große Modell, heruntergeladen bei der ersten Zeile, die Sie vertonen.
  • Arbeitsspeicher: rund 2 GB frei.
  • Zeit: Auf einem Intel Core i7-13700T brauchte eine Zeile in der eigenen Stimme des Sprechers zwei bis vier Sekunden pro Sekunde Sprache. Auf einem Mac mit Apple Silicon läuft es auf der GPU.
  • Sprachen: nur Englisch und Mandarin. Für andere Sprachen klont VoxCPM2 Stimmen in 30 und OmniVoice in 646.

Stimmen

Im Tab Sprecher wählen Sie VoxMel als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht: VoxMel selbst kann das Tempo nicht steuern.

9 Stimmen in 2 Sprachen.

  • en 4
  • zh 4

Die Klonstimme

Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel von 3 bis 12 Sekunden oder mehreren kurzen, zusammengefügt, und schickt den Untertiteltext mit. VoxMel braucht beides, die Probe und ihre Wörter. Fallback reference clip in den Einstellungen der Erweiterung, mit seinem Transkript, wird nur verwendet, wenn keine Probe geschnitten werden kann.

VoxMel klont am besten innerhalb einer Sprache. Eine englische Synchronisation eines Mandarin-Sprechers funktioniert gut; eine Mandarin-Synchronisation eines englischen Sprechers kann manche Wörter verschleifen.

Clone the timbre only funktioniert mit dieser Erweiterung nicht, weil VoxMel ohne die Wörter der Probe nicht klonen kann. Lassen Sie es bei Sprechern, die VoxMel verwenden, ausgeschaltet.

Voreingestellte Stimmen

Jede voreingestellte Stimme ist ein kurzer Clip, den VoxMel ganz ohne Referenzaufnahme erzeugt hat, gespeichert mit seinem genauen Wortlaut. Jede Zeile eines Sprechers mit einer voreingestellten Stimme klont diesen Clip, sodass die Stimme im ganzen Video gleich bleibt. Englische Stimmen passen zu englischen Zeilen, Mandarin-Stimmen zu Mandarin-Zeilen.

Modelle

Es gibt ein Modell, VoxMel 0.6B mit seinem Vocos-Vocoder, mit Gewichten in 8 Bit, wie das Projekt audio.cpp es umgewandelt hat. Es steckt nicht in der Erweiterung: Es wird beim ersten Vertonen in den gemeinsamen Modell-Cache von Subtitld geladen, von Hugging Face in einer festen Revision, und wird geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält das Modell.

Modell DownloadGeeignet für
VoxMel 0.6B (8-bit) Standard voxmel
992 MB
Jede Stimme, auf Englisch und Mandarin

Die erste Zeile lädt auch das Modell, daher dauert sie länger als die folgenden. Auf einem Mac mit Apple Silicon spricht die Erweiterung beim allerersten Mal außerdem eine kurze Testzeile auf der GPU und nutzt die CPU, wenn das nicht klappt. Abbrechen stoppt eine Zeile zwischen zwei Schritten oder stoppt den Download.

Optionen

In Einstellungen › Erweiterungen › VoxMel (offline, voice clone, 2 languages) › Konfigurieren.

Quality steps
Standard: 32

Wie fein VoxMel jeden Moment der Sprache ausarbeitet. 32 ist die eigene Einstellung von VoxMel; weniger ist schneller, mit weniger Details.

Text guidance
Standard: 3.5

Wie genau die Sprache dem Text folgt. 3,5 ist die eigene Einstellung von VoxMel.

Voice guidance
Standard: 3

Wie genau eine Klonstimme dem Clip folgt. 3,0 ist die eigene Einstellung von VoxMel; höhere Werte können ähnlicher klingen, oder angestrengt.

CPU threads
Standard: 0

0 wählt die Leistungskerne bei CPUs, die auch Effizienzkerne haben. Weniger Threads halten den Computer beim Vertonen reaktionsfreudiger.

Fallback reference clip
Standard: leer

Ein Clip für die Klonstimme, wenn Subtitld keinen aus dem Video schneiden kann, etwa ohne geöffnetes Video: 3 bis 15 Sekunden, in denen eine Person spricht.

Fallback reference transcript
Standard: leer

Genau das, was im Ersatz-Clip gesagt wird, Wort für Wort. VoxMel klont aus dem Clip und seinen Wörtern, daher wird der Ersatz-Clip ohne sie abgelehnt.

Sprachen

Englisch und Mandarin-Chinesisch. VoxMel erkennt die Sprache am Text.

  • en
  • zh

Plattformen

System DownloadGetestet
Linux x86-64 18.8 MBMit dem echten Modell auf einem echten Rechner und auf AlmaLinux 8 vertont; in der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab
macOS (Apple Silicon) 18.1 MBIn der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab (Apple Silicon)
Windows x86-64 15.4 MBIn der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab

Linux x86-64 (jede Distribution ab 2018, glibc 2.28 oder neuer), macOS 13.3 oder neuer auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung, lädt das Modell herunter und lässt es sprechen, eine Stimme klonen und eine Zeile abbrechen.

Fehlerbehebung

  • network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.
  • disk_fullNicht genug Speicherplatz für das Modell. Es braucht rund 1,2 GB frei.
  • oomNicht genug Arbeitsspeicher. Schließen Sie andere Programme; VoxMel braucht rund 2 GB frei.
  • bad_paramsDie Zeile hat keinen Text, oder die Klonstimme hat keine Probe oder keine Wörter dazu bekommen. Die Meldung sagt, was zutrifft. Öffnen Sie für eine Klonstimme das Video und lassen Sie Clone the timbre only ausgeschaltet.
  • unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.
  • internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details.

Lizenz

Erweiterung
Apache-2.0
mit ihren acht voreingestellten Stimmen
Engine
Apache-2.0
audio.cpp, mit ggml (MIT)
Modell
Apache-2.0
VoxMel-0.6B-Gewichte, von VoxDance Lab; Vocos-Vocoder unter MIT

Für kommerzielle Arbeit geeignet: Die Erweiterung, ihre voreingestellten Stimmen, die audio.cpp-Engine und die VoxMel-Gewichte stehen alle unter Apache-2.0, und der Vocos-Vocoder und ggml stehen unter MIT. Die Synchronisationen, die Sie erstellen, gehören Ihnen. Eine geklonte Stimme klingt wie eine echte Person: Klonen Sie nur Stimmen, die Sie verwenden dürfen, und sagen Sie, wo es darauf ankommt, dass eine Synchronisation künstlich erzeugt ist.

Versionen

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Weitere Stimmen-Erweiterungen