VoxCPM2 (offline, voice clone, 30 languages)

Was es tut

Vor der Installation

VoxCPM2 ist ein großes Modell mit 2,4 Milliarden Parametern. Es liefert die natürlichsten Synchronisationen der Offline-Erweiterungen und verlangt Ihrem Computer am meisten ab:

• Festplatte: rund 5,6 GB, das meiste davon das 4,96 GB große Modell, heruntergeladen bei der ersten Zeile, die Sie vertonen.
• Arbeitsspeicher: rund 7 GB frei. Mit weniger läuft es noch, aber weit langsamer.
• Zeit: Auf einer CPU braucht jede Sekunde Sprache mehrere Sekunden: 5 bis 6 Sekunden auf einem Intel Core i7-13700T. Ein zehnminütiges Video kann etwa eine Stunde dauern. Auf einem Mac mit Apple Silicon läuft es auf der GPU.

Für schnelle Synchronisationen auf bescheidenen Computern sind Piper oder Kokoro viel leichter.

Stimmen

Im Tab Sprecher wählen Sie VoxCPM2 als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.

9 Stimmen.

Die Klonstimme

Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel von 3 bis 12 Sekunden oder mehreren kurzen, zusammengefügt. Haben Sie für dieses Video die Musik von der Stimme getrennt, stammt die Probe nur von der Stimme. Fallback reference clip in den Einstellungen der Erweiterung wird nur verwendet, wenn keine Probe geschnitten werden kann.

Subtitld schickt den Untertiteltext mit der Probe, und VoxCPM2 setzt sie fort. So kommt es dem Sprecher am nächsten, samt Sprechweise. Behält eine Synchronisation in eine andere Sprache den Akzent des Sprechers, aktivieren Sie Clone the timbre only.

Beschriebene Stimmen

VoxCPM2 erfindet bei jedem Lesen einer Beschreibung eine neue Stimme. Daher erzeugt die Erweiterung die Stimme jedes Sprechers einmal, und jede Zeile dieses Sprechers verwendet sie wieder: Die Stimme bleibt im ganzen Video gleich, und zwei Sprecher mit derselben Beschreibung klingen trotzdem wie zwei Personen.

Modelle

Es gibt ein Modell, VoxCPM2. Es steckt nicht in der Erweiterung: Es wird beim ersten Vertonen in den gemeinsamen Modell-Cache von Subtitld geladen, von Hugging Face in einer festen Revision, jede Datei geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält das Modell.

Die erste Zeile lädt auch das Modell, daher dauert sie länger als die folgenden. Abbrechen stoppt eine Zeile zwischen zwei Schritten oder stoppt den Download.

Optionen

In Einstellungen › Erweiterungen › VoxCPM2 (offline, voice clone, 30 languages) › Konfigurieren.

Sprachen

Arabisch, Birmanisch, Chinesisch, Dänisch, Deutsch, Englisch, Finnisch, Französisch, Griechisch, Hebräisch, Hindi, Indonesisch, Italienisch, Japanisch, Khmer, Koreanisch, Laotisch, Malaiisch, Niederländisch, Norwegisch, Polnisch, Portugiesisch, Russisch, Schwedisch, Spanisch, Suaheli, Tagalog, Thai, Türkisch und Vietnamesisch. VoxCPM2 erkennt die Sprache am Text selbst, daher spricht jede Stimme jede Sprache.

• ar
• my
• zh
• da
• nl
• en
• fi
• fr
• de
• el
• he
• hi
• id
• it
• ja
• km
• ko
• lo
• ms
• no
• pl
• pt
• ru
• es
• sw
• sv
• tl
• th
• tr
• vi

Plattformen

Linux x86-64, macOS auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und die CI prüft, ob alles, was zum Sprechen nötig ist, im Build steckt. Die CI führt das Modell selbst nicht aus.

Fehlerbehebung

• network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.
• disk_fullNicht genug Speicherplatz für das Modell. Es braucht rund 5 GB frei.
• oomNicht genug Arbeitsspeicher. Schließen Sie andere Programme; VoxCPM2 braucht rund 7 GB frei, 11 GB in float32.
• bad_paramsDie Zeile hat keinen Text, oder die Klonstimme hat keine Probe bekommen: Öffnen Sie das Video oder setzen Sie Fallback reference clip. Die Meldung sagt, was zutrifft.
• unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.
• internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details. Haben Sie Inference device geändert, stellen Sie es zurück auf Automatisch.

Lizenz

Für kommerzielle Arbeit geeignet: Die Erweiterung, VoxCPM und die VoxCPM2-Gewichte stehen alle unter Apache-2.0. Die Synchronisationen, die Sie erstellen, gehören Ihnen. Eine geklonte Stimme klingt wie eine echte Person: Klonen Sie nur Stimmen, die Sie verwenden dürfen, und sagen Sie, wo es darauf ankommt, dass eine Synchronisation künstlich erzeugt ist.