Reverb offline, Stimmklonen, 7 Sprachen, nicht-kommerziell

StimmenOfflineNur CPUStimmklonenNicht kommerziell

Vertont Ihre Untertitel auf Englisch, Deutsch, Französisch, Spanisch, Italienisch, Polnisch und Portugiesisch mit Reverb-TTS von Software Mansion AI Labs, in einer von 16 Stimmen oder in der eigenen Stimme jedes Sprechers, geklont aus wenigen Sekunden des Videos und seinen Untertiteln. Es läuft auf dem Prozessor Ihres eigenen Computers, ganz ohne Grafikkarte. Das Modell ist nur für nicht-kommerzielle Nutzung bestimmt.

In Subtitld installieren

Einstellungen Erweiterungen Reverb (offline, voice clone, 7 languages, non-commercial) Installieren

Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.

Quellcode auf GitHub
Sprachen
7
Modelle
3
Stimmen
17
Download der Erweiterung
40–65 MB
RAM, mindestens
2.5 GB

Was es tut

Sieben Sprachen

Englisch, Deutsch, Französisch, Spanisch, Italienisch, Polnisch und Portugiesisch. Zahlen, Daten, Preise und Einheiten werden als Wörter vorgelesen, so wie es in der jeweiligen Sprache üblich ist.

Die eigene Stimme des Sprechers

Subtitld schneidet ein paar Sekunden jedes Sprechers aus dem Video und schickt sie mit den Untertiteln, die darin gesprochen werden. Reverb klont diese Stimme in jeder seiner sieben Sprachen. Oder wählen Sie eine von 16 Stimmen.

Exact oder Fast

Exact führt das Modell so aus, wie es veröffentlicht wurde. Fast ist etwa doppelt so schnell und ein kleinerer Download, auf Kosten von etwas Genauigkeit.

Offline nach der ersten Zeile

Das Modell wird einmal heruntergeladen, wenn eine Zeile es zum ersten Mal braucht. Danach verlässt nichts mehr Ihren Computer.

Nicht-kommerzielles Modell. Die Reverb-TTS-Gewichte und seine Standardstimmen stehen unter CC-BY-NC-4.0, das keine kommerzielle Nutzung erlaubt. Der Code der Erweiterung steht unter Apache-2.0, aber das ändert nichts an den Bedingungen der Gewichte. Für kommerzielle Arbeit klont auch ZONOS3-Mini Stimmen in allen sieben dieser Sprachen, und seine Gewichte stehen unter Apache-2.0.

Vor der Installation

  • Festplatte: 640 MB für das Modell, heruntergeladen bei der ersten Zeile; stattdessen 378 MB, wenn Sie vor der ersten Zeile Fast wählen. Wenn Sie zum ersten Mal die eigene Stimme eines Sprechers verwenden, 327 MB mehr.
  • Arbeitsspeicher: rund 1,5 GB beim Sprechen.
  • Zeit: Auf einem Intel Core i7-13700T, der mit anderer Arbeit beschäftigt war, brauchte eine Sekunde Sprache mit der Geschwindigkeit Exact etwa 0,8 Sekunden und mit Fast etwa 0,6 Sekunden.
  • Prozessor: ein 64-Bit-Prozessor von Intel oder AMD oder Apple Silicon. Eine Grafikkarte wird nicht verwendet.

Stimmen

Im Tab Sprecher wählen Sie Reverb als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.

17 Stimmen.

Aufgenommen auf Frauen Männer
Englisch Erzählerin, flüsternd Erzähler 1, Erzähler 2, wütend
Französisch Französin Franzose
Deutsch Deutsche Frau Deutscher Mann
Italienisch Italiener, ausdrucksstarker Italiener
Polnisch Pole
Portugiesisch Portugiesin Portugiese
Spanisch Spanier 1, Spanier 2

Das sind die eigenen Standardstimmen von Reverb. Jede Stimme spricht jede Sprache, aber mit dem Akzent der Sprache, in der sie aufgenommen wurde. Für eine Sprache, die hier keine eigene Stimme oder keine Frauenstimme hat, verwenden Sie die eigene Stimme des Sprechers.

Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel oder mehreren kurzen, zusammengefügt, und schickt mit, was darin gesagt wird: den Text dieser Untertitel. Reverb braucht beides. Es setzt die Probe und ihre Wörter fort, und ohne die Wörter würde es die ersten Wörter jeder Zeile verschlucken.

Die Untertitel müssen also in der Sprache sein, die im Video gesprochen wird. Haben Sie sie übersetzt, schickt Subtitld den Originaltext, sofern es weiß, in welcher Sprache das Audio ist: Legen Sie sie unter Untertitelsprache im Bereich Transkription fest. Andernfalls bricht die Zeile mit einer Meldung ab, die das sagt. Untertitel, die das Gesagte umschreiben, statt es wiederzugeben, machen den Klon schlechter.

Die beste Probe sind 3 bis 10 Sekunden, in denen eine Person spricht, sauber und nah am Mikrofon. Eine Probe unter 2 Sekunden wird abgelehnt, und eine über 15 Sekunden ergibt eher schlechtere Zeilen. Fallback reference clip in den Einstellungen der Erweiterung, mit seinem Fallback clip's transcript, wird nur verwendet, wenn keine Probe geschnitten werden kann.

Jede Zeile wird mit dem Seed erzeugt, den Subtitld schickt, sodass dieselbe Zeile in derselben Stimme jedes Mal gleich herauskommt.

Modelle

Das Modell steckt nicht in der Erweiterung: Es wird in den gemeinsamen Modell-Cache von Subtitld geladen, wenn eine Zeile es zum ersten Mal braucht, aus dem eigenen Release der Erweiterung auf GitHub, wo die Gewichte von Reverb für ONNX Runtime konvertiert liegen, jede Datei geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält es.

Modell DownloadGeeignet für
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Standard reverb
640 MB
Jede Zeile mit der Geschwindigkeit Exact, der Standard: das Netz, der Decoder und die 16 Stimmen
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Jede Zeile mit der Geschwindigkeit Fast, anstelle des Exact-Netzes: 378 MB insgesamt mit dem Decoder
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
Die eigene Stimme des Sprechers, wenn Sie zum ersten Mal eine vertonen

Exact und Fast teilen sich den Decoder und die Stimmen (111 MB): Nur das Netz unterscheidet sich, 529 MB für Exact und 266 MB für Fast. Wechseln Sie später vom einen zum anderen, wird das andere Netz heruntergeladen, wenn eine Zeile es zum ersten Mal braucht.

Die Erweiterung führt Reverb auf ONNX Runtime aus, ohne PyTorch. Der Sampler und die Textvorbereitung von Reverb sind aus dem eigenen Code von Software Mansion portiert. Die Zufallszahlen stammen aus einer anderen Quelle, daher ergibt ein Seed hier eine andere Fassung als im eigenen Paket von Reverb; beim Exact-Netz wird geprüft, dass es dasselbe vorhersagt wie dieses Paket.

Optionen

In Einstellungen › Erweiterungen › Reverb (offline, voice clone, 7 languages, non-commercial) › Konfigurieren.

CPU threads
Standard: 0

0 nutzt die logischen Prozessoren des Computers, höchstens 8. Mehr ist selten schneller; weniger halten den Computer beim Vertonen reaktionsfreudiger.

Quality steps
Standard: 8

Wie viele Durchgänge das Modell über jede Zeile macht. 8 ist die eigene Einstellung von Reverb; weniger ist schneller, mit mehr Aussetzern.

Speed
Standard: exact

Exact führt das Modell so aus, wie Software Mansion es veröffentlicht hat. Fast führt es mit 8-Bit-Ganzzahlen aus, etwa doppelt so schnell, mit einem eigenen Download von 266 MB: Seine Zeilen klingen meist gleich, aber es weicht stärker vom veröffentlichten Modell ab und hat öfter Aussetzer.

Fallback reference clip
Standard: leer

Ein Clip für die Klonstimme, wenn Subtitld keinen aus dem Video schneiden kann, etwa ohne geöffnetes Video: 3 bis 10 Sekunden, in denen eine Person spricht, sauber.

Fallback clip's transcript
Standard: leer

Genau das, was im Ersatz-Clip gesagt wird, Wort für Wort. Reverb klont aus dem Clip und seinen Wörtern, daher wird der Ersatz-Clip ohne sie abgelehnt.

Sprachen

Englisch, Deutsch, Französisch, Spanisch, Italienisch, Polnisch und Portugiesisch. Ein Projekt in einer anderen Sprache bekommt eine Meldung, die das sagt: Wählen Sie dafür eine andere Synchronisations-Engine.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Plattformen

System DownloadGetestet
Linux x86-64 64.9 MBAlle sieben Sprachen gesprochen und eine Stimme geklont, mit dem echten Modell in der CI
macOS (Apple Silicon) 45.6 MBAlle sieben Sprachen gesprochen und eine Stimme geklont, mit dem echten Modell in der CI (Apple Silicon)
Windows x86-64 40.5 MBAlle sieben Sprachen gesprochen und eine Stimme geklont, mit dem echten Modell in der CI

Linux x86-64 (glibc 2.35 oder neuer, wie in Ubuntu 22.04, Debian 12 oder Fedora 36), macOS auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung so, wie Subtitld es tut, lädt das Modell herunter, spricht eine Zeile in jeder Sprache und klont eine Stimme.

Fehlerbehebung

  • network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.
  • disk_fullNicht genug Speicherplatz für das Modell: 640 MB (378 MB bei Fast), und 327 MB mehr für die eigene Stimme des Sprechers.
  • unsupported_languageDie Sprache des Projekts ist keine der sieben oder nicht festgelegt. Legen Sie sie im Projekt fest oder wählen Sie eine andere Synchronisations-Engine.
  • unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.
  • bad_paramsDie Zeile hat keinen Text, oder die Klonstimme hat keine Probe oder kein Transkript davon bekommen. Setzen Sie bei einem übersetzten Projekt Untertitelsprache auf die gesprochene Sprache; ohne geöffnetes Video setzen Sie Fallback reference clip und sein Transkript. Die Meldung sagt, was zutrifft.
  • out_of_memoryDem Computer ist der Arbeitsspeicher ausgegangen. Schließen Sie andere Programme: Reverb braucht rund 1,5 GB frei.
  • internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details.

Lizenz

Erweiterung
Apache-2.0
mit dem eigenen Code von Reverb, nach numpy portiert
Engine
MIT
ONNX Runtime
Modell
CC-BY-NC-4.0
Reverb-TTS-v1.0.0-Gewichte, von Software Mansion AI Labs; nur nicht-kommerziell
Stimmen
CC-BY-NC-4.0
Die 16 Standardstimmen von Reverb; nur nicht-kommerziell
Textlesung
MIT, Unicode-3.0
Verbalis, von Software Mansion, mit einer Tabelle aus der Unicode Character Database

Die Erweiterung steht unter Apache-2.0, ebenso der Code von Reverb, den sie portiert. Die Reverb-TTS-Gewichte und seine 16 Standardstimmen stehen unter CC-BY-NC-4.0: nur nicht-kommerzielle Nutzung. Eine Lizenzdatei, die mit dem Modell kommt, sagt, was beim Konvertieren geändert wurde. ONNX Runtime steht unter MIT, und Verbalis, das Zahlen und Daten vorliest, steht unter MIT.

Verwenden Sie es verantwortungsvoll. Eine geklonte Stimme klingt wie ein echter Mensch. Klonen Sie nur Stimmen, die Sie verwenden dürfen, mit Zustimmung des Sprechers; geben Sie sich nicht als echte Personen aus und verwenden Sie die erzeugte Sprache nicht, um zu täuschen, zu betrügen oder zu belästigen. Sagen Sie Ihren Zuhörern, wenn sie eine synthetische Stimme hören.

Versionen

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Weitere Stimmen-Erweiterungen