Reverb offline, Stimmklonen, 7 Sprachen, nicht-kommerziell
Vertont Ihre Untertitel auf Englisch, Deutsch, Französisch, Spanisch, Italienisch, Polnisch und Portugiesisch mit Reverb-TTS von Software Mansion AI Labs, in einer von 16 Stimmen oder in der eigenen Stimme jedes Sprechers, geklont aus wenigen Sekunden des Videos und seinen Untertiteln. Es läuft auf dem Prozessor Ihres eigenen Computers, ganz ohne Grafikkarte. Das Modell ist nur für nicht-kommerzielle Nutzung bestimmt.
Einstellungen Erweiterungen Reverb (offline, voice clone, 7 languages, non-commercial) Installieren
Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.
- Sprachen
- 7
- Modelle
- 3
- Stimmen
- 17
- Download der Erweiterung
- 40–65 MB
- RAM, mindestens
- 2.5 GB
Was es tut
Englisch, Deutsch, Französisch, Spanisch, Italienisch, Polnisch und Portugiesisch. Zahlen, Daten, Preise und Einheiten werden als Wörter vorgelesen, so wie es in der jeweiligen Sprache üblich ist.
Subtitld schneidet ein paar Sekunden jedes Sprechers aus dem Video und schickt sie mit den Untertiteln, die darin gesprochen werden. Reverb klont diese Stimme in jeder seiner sieben Sprachen. Oder wählen Sie eine von 16 Stimmen.
Exact führt das Modell so aus, wie es veröffentlicht wurde. Fast ist etwa doppelt so schnell und ein kleinerer Download, auf Kosten von etwas Genauigkeit.
Das Modell wird einmal heruntergeladen, wenn eine Zeile es zum ersten Mal braucht. Danach verlässt nichts mehr Ihren Computer.
Nicht-kommerzielles Modell. Die Reverb-TTS-Gewichte und seine Standardstimmen stehen unter CC-BY-NC-4.0, das keine kommerzielle Nutzung erlaubt. Der Code der Erweiterung steht unter Apache-2.0, aber das ändert nichts an den Bedingungen der Gewichte. Für kommerzielle Arbeit klont auch ZONOS3-Mini Stimmen in allen sieben dieser Sprachen, und seine Gewichte stehen unter Apache-2.0.
Vor der Installation
- Festplatte: 640 MB für das Modell, heruntergeladen bei der ersten Zeile; stattdessen 378 MB, wenn Sie vor der ersten Zeile Fast wählen. Wenn Sie zum ersten Mal die eigene Stimme eines Sprechers verwenden, 327 MB mehr.
- Arbeitsspeicher: rund 1,5 GB beim Sprechen.
- Zeit: Auf einem Intel Core i7-13700T, der mit anderer Arbeit beschäftigt war, brauchte eine Sekunde Sprache mit der Geschwindigkeit Exact etwa 0,8 Sekunden und mit Fast etwa 0,6 Sekunden.
- Prozessor: ein 64-Bit-Prozessor von Intel oder AMD oder Apple Silicon. Eine Grafikkarte wird nicht verwendet.
Stimmen
Im Tab Sprecher wählen Sie Reverb als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.
17 Stimmen.
| Aufgenommen auf | Frauen | Männer |
|---|---|---|
| Englisch | Erzählerin, flüsternd | Erzähler 1, Erzähler 2, wütend |
| Französisch | Französin | Franzose |
| Deutsch | Deutsche Frau | Deutscher Mann |
| Italienisch | Italiener, ausdrucksstarker Italiener | |
| Polnisch | Pole | |
| Portugiesisch | Portugiesin | Portugiese |
| Spanisch | Spanier 1, Spanier 2 |
Das sind die eigenen Standardstimmen von Reverb. Jede Stimme spricht jede Sprache, aber mit dem Akzent der Sprache, in der sie aufgenommen wurde. Für eine Sprache, die hier keine eigene Stimme oder keine Frauenstimme hat, verwenden Sie die eigene Stimme des Sprechers.
Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel oder mehreren kurzen, zusammengefügt, und schickt mit, was darin gesagt wird: den Text dieser Untertitel. Reverb braucht beides. Es setzt die Probe und ihre Wörter fort, und ohne die Wörter würde es die ersten Wörter jeder Zeile verschlucken.
Die Untertitel müssen also in der Sprache sein, die im Video gesprochen wird. Haben Sie sie übersetzt, schickt Subtitld den Originaltext, sofern es weiß, in welcher Sprache das Audio ist: Legen Sie sie unter Untertitelsprache im Bereich Transkription fest. Andernfalls bricht die Zeile mit einer Meldung ab, die das sagt. Untertitel, die das Gesagte umschreiben, statt es wiederzugeben, machen den Klon schlechter.
Die beste Probe sind 3 bis 10 Sekunden, in denen eine Person spricht, sauber und nah am Mikrofon. Eine Probe unter 2 Sekunden wird abgelehnt, und eine über 15 Sekunden ergibt eher schlechtere Zeilen. Fallback reference clip in den Einstellungen der Erweiterung, mit seinem Fallback clip's transcript, wird nur verwendet, wenn keine Probe geschnitten werden kann.
Jede Zeile wird mit dem Seed erzeugt, den Subtitld schickt, sodass dieselbe Zeile in derselben Stimme jedes Mal gleich herauskommt.
Modelle
Das Modell steckt nicht in der Erweiterung: Es wird in den gemeinsamen Modell-Cache von Subtitld geladen, wenn eine Zeile es zum ersten Mal braucht, aus dem eigenen Release der Erweiterung auf GitHub, wo die Gewichte von Reverb für ONNX Runtime konvertiert liegen, jede Datei geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält es.
| Modell | Download | Geeignet für |
|---|---|---|
| Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Standard reverb | Jede Zeile mit der Geschwindigkeit Exact, der Standard: das Netz, der Decoder und die 16 Stimmen | |
| Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast | Jede Zeile mit der Geschwindigkeit Fast, anstelle des Exact-Netzes: 378 MB insgesamt mit dem Decoder | |
| Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder | Die eigene Stimme des Sprechers, wenn Sie zum ersten Mal eine vertonen |
Exact und Fast teilen sich den Decoder und die Stimmen (111 MB): Nur das Netz unterscheidet sich, 529 MB für Exact und 266 MB für Fast. Wechseln Sie später vom einen zum anderen, wird das andere Netz heruntergeladen, wenn eine Zeile es zum ersten Mal braucht.
Die Erweiterung führt Reverb auf ONNX Runtime aus, ohne PyTorch. Der Sampler und die Textvorbereitung von Reverb sind aus dem eigenen Code von Software Mansion portiert. Die Zufallszahlen stammen aus einer anderen Quelle, daher ergibt ein Seed hier eine andere Fassung als im eigenen Paket von Reverb; beim Exact-Netz wird geprüft, dass es dasselbe vorhersagt wie dieses Paket.
Optionen
In Einstellungen › Erweiterungen › Reverb (offline, voice clone, 7 languages, non-commercial) › Konfigurieren.
00 nutzt die logischen Prozessoren des Computers, höchstens 8. Mehr ist selten schneller; weniger halten den Computer beim Vertonen reaktionsfreudiger.
8Wie viele Durchgänge das Modell über jede Zeile macht. 8 ist die eigene Einstellung von Reverb; weniger ist schneller, mit mehr Aussetzern.
exactExact führt das Modell so aus, wie Software Mansion es veröffentlicht hat. Fast führt es mit 8-Bit-Ganzzahlen aus, etwa doppelt so schnell, mit einem eigenen Download von 266 MB: Seine Zeilen klingen meist gleich, aber es weicht stärker vom veröffentlichten Modell ab und hat öfter Aussetzer.
Ein Clip für die Klonstimme, wenn Subtitld keinen aus dem Video schneiden kann, etwa ohne geöffnetes Video: 3 bis 10 Sekunden, in denen eine Person spricht, sauber.
Genau das, was im Ersatz-Clip gesagt wird, Wort für Wort. Reverb klont aus dem Clip und seinen Wörtern, daher wird der Ersatz-Clip ohne sie abgelehnt.
Sprachen
Englisch, Deutsch, Französisch, Spanisch, Italienisch, Polnisch und Portugiesisch. Ein Projekt in einer anderen Sprache bekommt eine Meldung, die das sagt: Wählen Sie dafür eine andere Synchronisations-Engine.
endefresitplpt
Plattformen
| System | Download | Getestet |
|---|---|---|
| Linux x86-64 | 64.9 MB | Alle sieben Sprachen gesprochen und eine Stimme geklont, mit dem echten Modell in der CI |
| macOS (Apple Silicon) | 45.6 MB | Alle sieben Sprachen gesprochen und eine Stimme geklont, mit dem echten Modell in der CI (Apple Silicon) |
| Windows x86-64 | 40.5 MB | Alle sieben Sprachen gesprochen und eine Stimme geklont, mit dem echten Modell in der CI |
Linux x86-64 (glibc 2.35 oder neuer, wie in Ubuntu 22.04, Debian 12 oder Fedora 36), macOS auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung so, wie Subtitld es tut, lädt das Modell herunter, spricht eine Zeile in jeder Sprache und klont eine Stimme.
Fehlerbehebung
network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.disk_fullNicht genug Speicherplatz für das Modell: 640 MB (378 MB bei Fast), und 327 MB mehr für die eigene Stimme des Sprechers.unsupported_languageDie Sprache des Projekts ist keine der sieben oder nicht festgelegt. Legen Sie sie im Projekt fest oder wählen Sie eine andere Synchronisations-Engine.unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.bad_paramsDie Zeile hat keinen Text, oder die Klonstimme hat keine Probe oder kein Transkript davon bekommen. Setzen Sie bei einem übersetzten Projekt Untertitelsprache auf die gesprochene Sprache; ohne geöffnetes Video setzen Sie Fallback reference clip und sein Transkript. Die Meldung sagt, was zutrifft.out_of_memoryDem Computer ist der Arbeitsspeicher ausgegangen. Schließen Sie andere Programme: Reverb braucht rund 1,5 GB frei.internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details.
Lizenz
Die Erweiterung steht unter Apache-2.0, ebenso der Code von Reverb, den sie portiert. Die Reverb-TTS-Gewichte und seine 16 Standardstimmen stehen unter CC-BY-NC-4.0: nur nicht-kommerzielle Nutzung. Eine Lizenzdatei, die mit dem Modell kommt, sagt, was beim Konvertieren geändert wurde. ONNX Runtime steht unter MIT, und Verbalis, das Zahlen und Daten vorliest, steht unter MIT.
Verwenden Sie es verantwortungsvoll. Eine geklonte Stimme klingt wie ein echter Mensch. Klonen Sie nur Stimmen, die Sie verwenden dürfen, mit Zustimmung des Sprechers; geben Sie sich nicht als echte Personen aus und verwenden Sie die erzeugte Sprache nicht, um zu täuschen, zu betrügen oder zu belästigen. Sagen Sie Ihren Zuhörern, wenn sie eine synthetische Stimme hören.
Versionen
- 26.11.1
Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.
The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's
models-1release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isreverb-<version>-libquadmath-source.tar.gzin this release.
Weitere Stimmen-Erweiterungen
-
Piper Offline
158 Offline-Stimmen in 49 Sprachen, jede ein eigener kleiner Download.
-
Kokoro Offline
54 Offline-Stimmen in neun Sprachen, alle aus einem 82-MB-Modell.
-
Supertonic Offline
Zehn Offline-Stimmen, jede kann alle 31 ihrer Sprachen sprechen.
-
sanoTTS Offline
Winzige Offline-Stimmen, 28 in 14 Sprachen, jeweils unter 10 MB.
-
Parler-TTS Offline
Englische Stimmen, die einer geschriebenen Beschreibung folgen; 34 benannte Sprecher.
-
Qwen3-TTS Klon
Zehn Sprachen, neun Stimmen und Klonen ab 3 Sekunden eines Sprechers.
-
Coqui XTTS Klon
Stimmklonen in 16 Sprachen, mit einer Modelllizenz für nicht-kommerzielle Nutzung.
-
F5-TTS Klon
Nur Stimmklonen, auf Englisch und Chinesisch; nicht-kommerzielles Modell.
-
VoxCPM2 Klon
30 Sprachen in 48 kHz, in der Stimme des Sprechers oder einer beschriebenen. Schwer.
-
Pocket TTS Offline
Schnell und leicht, nur CPU. 23 Stimmen in sieben europäischen Sprachen.
-
Sopro Klon
Die eigene Stimme des Sprechers, schnell auf einer CPU. Vier Sprachen.
-
KittenTTS 2 Klon
Die eigene Stimme des Sprechers in 16 Sprachen, auf einer CPU. Gewichte unter einer restriktiven Lizenz.
-
Ming-3.0-tts Klon
7 Sprachen in 44,1 kHz: geklonte, eingebaute oder beschriebene Stimmen, mit Emotion. Schwer.
-
Scylla's Band Offline
Vierzehn Stimmen in sechs Sprachen, schlank und schnell auf einer CPU. Nur eingebaute Stimmen.
-
Audio8 TTS Klon
Die eigene Stimme des Sprechers in 23 Sprachen, Kantonesisch und Arabisch inbegriffen. Langsam auf einer CPU.
-
Inflect Offline
Natürliche englische Sprache aus einem winzigen Modell, schnell auf jeder CPU.
-
Paradee Offline
Vier natürliche englische Stimmen, amerikanisch und britisch, aus einem einzigen 8,5-MB-Modell.
-
BlueTTS Klon
Hebräisch und Jiddisch, dazu fünf weitere Sprachen. Die eigene Stimme des Sprechers, schnell auf einer CPU.
-
ZONOS3-Mini Klon
43 Sprachen, von Arabisch bis Vietnamesisch. Die eigene Stimme des Sprechers, auf einer CPU.
-
Chatterbox Klon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…