Audio8 TTS (offline, voice clone, 11 languages)

Was es tut

Vor der Installation

Audio8 TTS verlangt Ihrem Computer mehr ab als die leichten Synchronisations-Engines:

• Festplatte: rund 1 GB für das Modell, heruntergeladen bei der ersten Zeile, die Sie vertonen.
• Arbeitsspeicher: rund 1,6 GB beim Sprechen und kurzzeitig bis zu 3 GB, wenn es zum ersten Mal einen neuen Sprecher hört.
• Zeit: Jede Sekunde Sprache braucht zwei bis drei Sekunden, auf einem Intel Core i7-13700T. Ein zehnminütiges Video kann etwa eine halbe Stunde dauern.
• Prozessor: jeder 64-Bit-Prozessor von Intel oder AMD oder Apple Silicon. Eine Grafikkarte wird nicht verwendet.

Für schnelle Synchronisationen klonen Sopro oder Chatterbox Stimmen etwa in Echtzeit oder schneller, in weniger Sprachen.

Stimmen

Im Tab Sprecher wählen Sie Audio8 TTS als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.

1 Stimme.

Audio8 TTS hat eine Stimme, Speaker's own voice, und keine voreingestellten Stimmen: Jede Zeile klont einen Sprecher. Subtitld schneidet eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel von 3 bis 12 Sekunden oder mehreren kurzen, zusammengefügt. Haben Sie für dieses Video die Musik von der Stimme getrennt, stammt die Probe nur von der Stimme. Fallback reference clip in den Einstellungen der Erweiterung wird nur verwendet, wenn keine Probe geschnitten werden kann.

Subtitld schickt den Untertiteltext mit der Probe, und Audio8 TTS nutzt ihn, um dem Sprecher näherzukommen. Ohne ihn, etwa wenn die Originalsprache des Projekts nicht festgelegt ist, klont die Erweiterung allein aus dem Klang der Probe, etwas weniger genau. Wenn Ihre Untertitel das Gesagte umschreiben, statt es wiederzugeben, aktivieren Sie Don't send the subtitles of the reference clip.

Die erste Zeile jedes Sprechers dauert ein paar Sekunden länger, während die Erweiterung seine Probe anhört. Sie merkt sie sich, sodass die nächsten Zeilen des Sprechers sofort beginnen.

Modelle

Es gibt ein Modell, Audio8 TTS Preview 0.6B, im 4-Bit-ONNX-Build, den seine Entwickler für Prozessoren veröffentlichen. Es steckt nicht in der Erweiterung: Es wird beim ersten Vertonen in den gemeinsamen Modell-Cache von Subtitld geladen, von Hugging Face in einer festen Revision, jede Datei geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält das Modell.

Die Erweiterung führt diesen Build ohne PyTorch aus. Mit derselben Stimme, derselben Zeile und demselben Seed liefert sie genau das, was die eigene Laufzeitumgebung von Audio8 liefert.

Optionen

In Einstellungen › Erweiterungen › Audio8 TTS (offline, voice clone, 11 languages) › Konfigurieren.

Sprachen

Chinesisch, Kantonesisch, Japanisch, Koreanisch, Englisch, Niederländisch, Französisch, Deutsch, Italienisch, Polnisch und Spanisch. Ein Sprecher, der aus einem Clip in einer davon geklont wurde, spricht alle anderen. Ein Projekt in einer anderen Sprache bekommt eine Meldung, die das sagt: Wählen Sie dafür eine andere Synchronisations-Engine.

Audio8 nennt dieses Modell eine Vorschau: Dies sind die Sprachen, die es empfiehlt. Wir haben in jeder davon einen Satz geprüft, mit Whisper und einem Wert für Stimmähnlichkeit, nicht in jeder Sprache nach Gehör.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Plattformen

Linux x86-64, macOS auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jeder installiert die CI die Erweiterung so, wie Subtitld es tut, lädt das Modell herunter und vertont damit.

Fehlerbehebung

• network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.
• disk_fullNicht genug Speicherplatz für das Modell, rund 1 GB.
• unsupported_languageDie Sprache des Projekts ist keine der elf oder nicht festgelegt. Legen Sie sie im Projekt fest oder wählen Sie eine andere Synchronisations-Engine.
• unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.
• bad_paramsDie Zeile hat keinen Text, oder die Klonstimme hat keine Probe bekommen: Öffnen Sie das Video oder setzen Sie Fallback reference clip. Die Meldung sagt, was zutrifft.
• out_of_memoryDem Computer ist der Arbeitsspeicher ausgegangen. Schließen Sie andere Programme: Audio8 TTS braucht rund 3 GB frei.
• internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details.

Lizenz

Für kommerzielle Arbeit geeignet: Die Erweiterung steht unter Apache-2.0, ebenso der Code von Audio8 TTS und die Audio8-TTS-Preview-0.6B-Gewichte. Die Synchronisationen, die Sie erstellen, gehören Ihnen. Eine geklonte Stimme klingt wie eine echte Person: Klonen Sie nur Stimmen, die Sie verwenden dürfen, und sagen Sie, wo es darauf ankommt, dass eine Synchronisation künstlich erzeugt ist.