BlueTTS offline, Stimmklonen, Hebräisch + 6 Sprachen

StimmenOfflineNur CPUStimmklonenKommerzielle Nutzung erlaubt

Vertont Ihre Untertitel auf Hebräisch, Englisch, Deutsch, Spanisch, Italienisch, Russisch und Jiddisch mit BlueV3 von Maxim Melichov, in einer von 15 Stimmen oder in der eigenen Stimme jedes Sprechers, aus etwa zehn Sekunden des Videos geklont. Es läuft auf dem Prozessor Ihres eigenen Computers, drei- bis fünfmal so schnell wie Echtzeit, ganz ohne Grafikkarte.

In Subtitld installieren

Einstellungen Erweiterungen BlueTTS (offline, voice clone, Hebrew + 6 languages) Installieren

Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.

Quellcode auf GitHub
Sprachen
7
Modelle
5
Stimmen
16
Download der Erweiterung
37–62 MB
RAM, mindestens
2.5 GB

Was es tut

Hebräisch und Jiddisch

BlueTTS wurde zuerst für Hebräisch gemacht: Es liest unvokalisierten hebräischen Text, samt Zahlen, Daten und Preisen, und englische Wörter in einer hebräischen Zeile werden englisch gelesen. Es spricht auch Jiddisch, was nur wenige Synchronisations-Engines können.

Die eigene Stimme des Sprechers

Subtitld schneidet etwa zehn Sekunden jedes Sprechers aus dem Video und schickt sie mit jeder Zeile. BlueTTS klont diese Stimme in jeder seiner sieben Sprachen. Oder wählen Sie eine von 15 Stimmen.

Schnell auf jedem Computer

Auf einem Laptop-Prozessor spricht es drei- bis fünfmal so schnell wie Echtzeit. Eine Grafikkarte wird nicht verwendet.

Offline nach der ersten Zeile

Jeder Teil wird einmal heruntergeladen, wenn eine Zeile ihn zum ersten Mal braucht. Danach verlässt nichts mehr Ihren Computer.

Vor der Installation

Was BlueTTS braucht, hängt von den Sprachen ab, die Sie vertonen:

  • Festplatte: 428 MB für das Modell, heruntergeladen bei der ersten Zeile. Hebräisch kommt mit 1,2 GB hinzu (oder 312 MB mit dem kompakten Lesemodell), Jiddisch mit 307 MB und die eigene Stimme des Sprechers mit 136 MB, jeweils beim ersten Gebrauch.
  • Arbeitsspeicher: rund 700 MB beim Sprechen, rund 2 GB, sobald Hebräisch geladen ist.
  • Zeit: Auf einem Intel Core i7-13700T braucht eine Sekunde Sprache etwa eine Fünftelsekunde, auf Hebräisch eine Drittelsekunde. Die erste hebräische Zeile wartet etwa 15 Sekunden länger, während das Lesemodell lädt.
  • Prozessor: jeder 64-Bit-Prozessor von Intel oder AMD oder Apple Silicon. Eine Grafikkarte wird nicht verwendet.

Stimmen

Im Tab Sprecher wählen Sie BlueTTS als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.

16 Stimmen.

Stimmen
Frauen Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Männer Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Jede Stimme spricht alle sieben Sprachen, jede in jeder Sprache in ihrem eigenen natürlichen Tempo. Sie wurden aus Sprechern des Hörbuchkorpus LibriTTS-R erstellt.

Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel oder mehreren kurzen, zusammengefügt. Haben Sie für dieses Video die Musik von der Stimme getrennt, stammt die Probe nur von der Stimme. Fallback reference clip in den Einstellungen der Erweiterung wird nur verwendet, wenn keine Probe geschnitten werden kann.

BlueTTS hört sich etwa die ersten neun Sekunden der Probe an und übernimmt Klangfarbe und Tonhöhe der Stimme, nicht ihre Sprechweise. Die beste Probe ist saubere Sprache nah am Mikrofon: Rauschen und Hall machen den Klon dem Sprecher unähnlicher, und eine Telefonaufnahme ergibt eine Stimme, die nach Telefon klingt.

Modelle

Das Modell und die Lesemodelle stecken nicht in der Erweiterung: Jedes wird in den gemeinsamen Modell-Cache von Subtitld geladen, wenn eine Zeile es zum ersten Mal braucht, von Hugging Face in einer festen Revision, jede Datei geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält sie.

Modell DownloadGeeignet für
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Standard bluev3
428 MB
Jede Zeile: die Stimmen und wie Englisch, Deutsch, Spanisch, Italienisch und Russisch gelesen werden
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
Die eigene Stimme des Sprechers, wenn Sie zum ersten Mal eine vertonen
RenikudPlus Hebrew G2P renikudplus
1.2 GB
Hebräisch, wenn Sie es zum ersten Mal vertonen (der Standard)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
Hebräisch, wenn Sie das kompakte Lesemodell wählen
ReNikud-yi Yiddish context model renikud-yi
307 MB
Jiddisch, wenn Sie es zum ersten Mal vertonen

Die Erweiterung führt den eigenen Code von BlueTTS auf ONNX Runtime aus, ohne PyTorch. Mit derselben Stimme, Zeile und demselben Seed liefert sie genau das, was das eigene Python-Paket von BlueTTS liefert.

Optionen

In Einstellungen › Erweiterungen › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Konfigurieren.

CPU threads
Standard: 0

0 nutzt die logischen Prozessoren des Computers, höchstens 8. Mehr ist selten schneller; weniger halten den Computer beim Vertonen reaktionsfreudiger.

Quality steps
Standard: 8

Wie viele Durchgänge das Modell über jede Zeile macht. 8 ist die eigene Einstellung von BlueTTS. 4 ist etwa 1,7-mal so schnell, bei etwas geringerer Qualität.

Hebrew reading model
Standard: accurate

Wie hebräischer Text in Laute umgewandelt wird. accurate ist das vollständige Modell, 1,2 GB, mit rund 2 GB Arbeitsspeicher. compact ist dasselbe Modell verkleinert, 312 MB: In unserem Test las es etwa 1 von 200 Wörtern anders, öfter falsch.

Fallback reference clip
Standard: leer

Ein Clip für die Klonstimme, wenn Subtitld keinen aus dem Video schneiden kann, etwa ohne geöffnetes Video: rund 10 Sekunden, in denen eine Person spricht, sauber, keine Telefonaufnahme.

Sprachen

Hebräisch, Englisch, Deutsch, Spanisch, Italienisch, Russisch und Jiddisch. Ein Projekt in einer anderen Sprache bekommt eine Meldung, die das sagt: Wählen Sie dafür eine andere Synchronisations-Engine.

Spanisch folgt der Region des Projekts: Spanien bekommt kastilisches, jede andere Region lateinamerikanisches Spanisch. Zahlen, Daten, Preise und Codes werden als Wörter gelesen, außer auf Jiddisch: Schreiben Sie jiddische Zahlen als Wörter aus, sonst wird die Zeile mit einer Meldung, die das sagt, abgelehnt.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Plattformen

System DownloadGetestet
Linux x86-64 61.7 MBMit dem echten Modell auf einem echten Rechner über die Erweiterungsverwaltung von Subtitld und in der CI vertont
macOS (Apple Silicon) 43.8 MBMit dem echten Modell in der CI vertont (Apple Silicon)
Windows x86-64 37.3 MBMit dem echten Modell in der CI vertont

Linux x86-64, macOS auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung so, wie Subtitld es tut, lädt die Modelle herunter und vertont eine Zeile in jeder Sprache.

Fehlerbehebung

  • network_unavailableEin Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.
  • disk_fullNicht genug Speicherplatz für das Modell: 428 MB, und bis zu 1,7 GB mehr für Hebräisch, Jiddisch und die eigene Stimme des Sprechers.
  • unsupported_languageDie Sprache des Projekts ist keine der sieben oder nicht festgelegt. Legen Sie sie im Projekt fest oder wählen Sie eine andere Synchronisations-Engine.
  • unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.
  • bad_paramsDie Zeile hat keinen Text, eine jiddische Zeile enthält Ziffern, oder die Klonstimme hat keine Probe bekommen: Öffnen Sie das Video oder setzen Sie Fallback reference clip. Die Meldung sagt, was zutrifft.
  • out_of_memoryDem Computer ist der Arbeitsspeicher ausgegangen. Schließen Sie andere Programme: BlueTTS braucht rund 1 GB frei, 2,5 GB mit Hebräisch.
  • internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details.

Lizenz

Erweiterung
Apache-2.0
Engine
MIT
BlueTTS, von Maxim Melichov; ONNX Runtime steht unter MIT
Modell
MIT, BigScience OpenRAIL-M
BlueV3-Gewichte; der Vocoder, feinabgestimmt aus Supertonic-3 von Supertone, steht unter OpenRAIL-M, mit Nutzungsbeschränkungen
Stimmen
CC-BY-4.0
Aus Sprechern von LibriTTS-R erstellt
Lesemodelle
Apache-2.0, MIT, CC BY-SA
RenikudPlus (Hebräisch), polyg2p; die deutschen und italienischen Lexika und ein Teil des jiddischen stehen unter CC BY-SA

Die Erweiterung steht unter Apache-2.0, der Code von BlueTTS unter MIT. Das Stimmmodell steht ebenfalls unter MIT, mit Ausnahme seines Vocoders, des Teils, der die Ausgabe des Modells in Klang verwandelt: Er ist aus Supertonic-3 von Supertone feinabgestimmt und trägt die Lizenz BigScience OpenRAIL-M. Kommerzielle Arbeit ist erlaubt, aber OpenRAIL-M verbietet manche Verwendungen dessen, was es erzeugt, darunter Gesetzesverstöße, das Täuschen von Menschen und das Nachahmen einer Person ohne deren Einverständnis. Die 15 Stimmen stehen unter CC-BY-4.0. Die deutschen und italienischen Lexika und ein Teil des jiddischen stehen unter CC BY-SA; sie werden mit den Modellen heruntergeladen und bleiben so, wie ihre Autoren sie veröffentlichen.

Die Synchronisationen, die Sie erstellen, gehören Ihnen. Eine geklonte Stimme klingt wie ein echter Mensch: Klonen Sie Stimmen, die Sie verwenden dürfen, und sagen Sie, wo es darauf ankommt, dass eine Synchronisation synthetisch ist.

Versionen

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Weitere Stimmen-Erweiterungen