Ming-3.0-tts (offline, voice clone, 7 languages)

Was es tut

Vor der Installation

Ming-3.0-tts ist ein großes Modell, mit seinem Audio-Codec rund 1,5 Milliarden Parameter. Es verlangt Ihrem Computer viel ab:

• Festplatte: rund 3,4 GB, das meiste davon das 2,99 GB große Modell, heruntergeladen bei der ersten Zeile, die Sie vertonen.
• Arbeitsspeicher: rund 5 GB frei. Mit weniger läuft es noch, aber weit langsamer.
• Zeit: Auf einer CPU braucht jede Sekunde Sprache etwa vier bis fünf Sekunden, auf einem Intel Core i7-13700T. Ein zehnminütiges Video kann etwa eine Dreiviertelstunde dauern.

Für schnelle Synchronisationen auf bescheidenen Computern sind Piper oder Kokoro viel leichter.

Stimmen

Im Tab Sprecher wählen Sie Ming-3.0-tts als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.

12 Stimmen.

Die Klonstimme

Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel von 3 bis 12 Sekunden oder mehreren kurzen, zusammengefügt. Haben Sie für dieses Video die Musik von der Stimme getrennt, stammt die Probe nur von der Stimme. Fallback reference clip in den Einstellungen der Erweiterung wird nur verwendet, wenn keine Probe geschnitten werden kann.

Subtitld schickt den Untertiteltext mit der Probe, und Ming-3.0-tts setzt sie fort. So kommt es dem Sprecher am nächsten, samt Sprechweise. Behält eine Synchronisation in eine andere Sprache den Akzent des Sprechers, aktivieren Sie Clone the timbre only.

Eingebaute Stimmen

Emma (amerikanisch), George und Charlotte (britisch), Ling Xiaorou und Ling Kai (chinesisch) sind Sprecher, die das Modell gelernt hat. Jede klingt in jeder Zeile gleich, und jede spricht alle sieben Sprachen.

Beschriebene Stimmen

Ming-3.0-tts erfindet bei jedem Lesen einer Beschreibung eine neue Stimme. Daher erzeugt die Erweiterung die Stimme jedes Sprechers einmal, und jede Zeile dieses Sprechers verwendet sie wieder: Die Stimme bleibt im ganzen Video gleich, und zwei Sprecher mit derselben Beschreibung klingen trotzdem wie zwei Personen.

Emotion, Tempo, Tonhöhe und Lautstärke

Das sind Einstellungen der Erweiterung, sie gelten also für jeden Sprecher, der mit einer geklonten oder beschriebenen Stimme vertont wird. Es sind die eigenen Regler des Modells, die den Klang der Stimme des Sprechers übernehmen, aber nicht seine Sprechweise, und sie wirken nur einzeln: Eine gesetzte Emotion hat Vorrang vor Tempo, Tonhöhe und Lautstärke. Eingebaute Stimmen ignorieren sie.

In chinesischen oder englischen Zeilen erzeugt das Modell auch Laute, die in den Text geschrieben sind: [Laughter], [Sigh], [Breathing], [Cough], [Uhm] und einige mehr.

Modelle

Es gibt ein Modell, Ming-3.0-tts-0.5B. Es steckt nicht in der Erweiterung: Es wird beim ersten Vertonen in den gemeinsamen Modell-Cache von Subtitld geladen, von Hugging Face in einer festen Revision, jede Datei geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält das Modell.

Die erste Zeile lädt auch das Modell, daher dauert sie länger als die folgenden. Abbrechen stoppt eine Zeile zwischen zwei Schritten oder stoppt den Download.

Optionen

In Einstellungen › Erweiterungen › Ming-3.0-tts (offline, voice clone, 7 languages) › Konfigurieren.

Sprachen

Chinesisch, Englisch, Japanisch, Koreanisch, Deutsch, Französisch und Spanisch. Jede Stimme spricht jede davon.

• zh
• en
• ja
• ko
• de
• fr
• es

Plattformen

Linux x86-64, macOS auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und die CI prüft, ob alles, was zum Sprechen nötig ist, im Build steckt. Die CI führt das Modell selbst nicht aus.

Fehlerbehebung

• network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.
• disk_fullNicht genug Speicherplatz für das Modell. Es braucht rund 3,4 GB frei.
• oomNicht genug Arbeitsspeicher. Schließen Sie andere Programme; Ming-3.0-tts braucht rund 5 GB frei.
• bad_paramsDie Zeile hat keinen Text, die Klonstimme hat keine Probe bekommen, oder Voice you describe hat keine Beschreibung. Die Meldung sagt, was zutrifft: Öffnen Sie das Video, setzen Sie Fallback reference clip oder schreiben Sie eine Voice description.
• unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.
• internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details. Haben Sie Inference device geändert, stellen Sie es zurück auf Automatisch.

Lizenz

Für kommerzielle Arbeit geeignet: Die Erweiterung steht unter Apache-2.0, Code von Ming-3.0-tts und die Ming-3.0-tts-0.5B-Gewichte stehen unter MIT. Die Synchronisationen, die Sie erstellen, gehören Ihnen. Eine geklonte Stimme klingt wie eine echte Person: Klonen Sie nur Stimmen, die Sie verwenden dürfen, und sagen Sie, wo es darauf ankommt, dass eine Synchronisation künstlich erzeugt ist.