BlueTTS offline, Stimmklonen, Hebräisch + 6 Sprachen
Vertont Ihre Untertitel auf Hebräisch, Englisch, Deutsch, Spanisch, Italienisch, Russisch und Jiddisch mit BlueV3 von Maxim Melichov, in einer von 15 Stimmen oder in der eigenen Stimme jedes Sprechers, aus etwa zehn Sekunden des Videos geklont. Es läuft auf dem Prozessor Ihres eigenen Computers, drei- bis fünfmal so schnell wie Echtzeit, ganz ohne Grafikkarte.
Einstellungen Erweiterungen BlueTTS (offline, voice clone, Hebrew + 6 languages) Installieren
Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.
- Sprachen
- 7
- Modelle
- 5
- Stimmen
- 16
- Download der Erweiterung
- 37–62 MB
- RAM, mindestens
- 2.5 GB
Was es tut
BlueTTS wurde zuerst für Hebräisch gemacht: Es liest unvokalisierten hebräischen Text, samt Zahlen, Daten und Preisen, und englische Wörter in einer hebräischen Zeile werden englisch gelesen. Es spricht auch Jiddisch, was nur wenige Synchronisations-Engines können.
Subtitld schneidet etwa zehn Sekunden jedes Sprechers aus dem Video und schickt sie mit jeder Zeile. BlueTTS klont diese Stimme in jeder seiner sieben Sprachen. Oder wählen Sie eine von 15 Stimmen.
Auf einem Laptop-Prozessor spricht es drei- bis fünfmal so schnell wie Echtzeit. Eine Grafikkarte wird nicht verwendet.
Jeder Teil wird einmal heruntergeladen, wenn eine Zeile ihn zum ersten Mal braucht. Danach verlässt nichts mehr Ihren Computer.
Vor der Installation
Was BlueTTS braucht, hängt von den Sprachen ab, die Sie vertonen:
- Festplatte: 428 MB für das Modell, heruntergeladen bei der ersten Zeile. Hebräisch kommt mit 1,2 GB hinzu (oder 312 MB mit dem kompakten Lesemodell), Jiddisch mit 307 MB und die eigene Stimme des Sprechers mit 136 MB, jeweils beim ersten Gebrauch.
- Arbeitsspeicher: rund 700 MB beim Sprechen, rund 2 GB, sobald Hebräisch geladen ist.
- Zeit: Auf einem Intel Core i7-13700T braucht eine Sekunde Sprache etwa eine Fünftelsekunde, auf Hebräisch eine Drittelsekunde. Die erste hebräische Zeile wartet etwa 15 Sekunden länger, während das Lesemodell lädt.
- Prozessor: jeder 64-Bit-Prozessor von Intel oder AMD oder Apple Silicon. Eine Grafikkarte wird nicht verwendet.
Stimmen
Im Tab Sprecher wählen Sie BlueTTS als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.
16 Stimmen.
| Stimmen | |
|---|---|
| Frauen | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| Männer | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
Jede Stimme spricht alle sieben Sprachen, jede in jeder Sprache in ihrem eigenen natürlichen Tempo. Sie wurden aus Sprechern des Hörbuchkorpus LibriTTS-R erstellt.
Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel oder mehreren kurzen, zusammengefügt. Haben Sie für dieses Video die Musik von der Stimme getrennt, stammt die Probe nur von der Stimme. Fallback reference clip in den Einstellungen der Erweiterung wird nur verwendet, wenn keine Probe geschnitten werden kann.
BlueTTS hört sich etwa die ersten neun Sekunden der Probe an und übernimmt Klangfarbe und Tonhöhe der Stimme, nicht ihre Sprechweise. Die beste Probe ist saubere Sprache nah am Mikrofon: Rauschen und Hall machen den Klon dem Sprecher unähnlicher, und eine Telefonaufnahme ergibt eine Stimme, die nach Telefon klingt.
Modelle
Das Modell und die Lesemodelle stecken nicht in der Erweiterung: Jedes wird in den gemeinsamen Modell-Cache von Subtitld geladen, wenn eine Zeile es zum ersten Mal braucht, von Hugging Face in einer festen Revision, jede Datei geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält sie.
| Modell | Download | Geeignet für |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Standard bluev3 | Jede Zeile: die Stimmen und wie Englisch, Deutsch, Spanisch, Italienisch und Russisch gelesen werden | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | Die eigene Stimme des Sprechers, wenn Sie zum ersten Mal eine vertonen | |
| RenikudPlus Hebrew G2P renikudplus | Hebräisch, wenn Sie es zum ersten Mal vertonen (der Standard) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | Hebräisch, wenn Sie das kompakte Lesemodell wählen | |
| ReNikud-yi Yiddish context model renikud-yi | Jiddisch, wenn Sie es zum ersten Mal vertonen |
Die Erweiterung führt den eigenen Code von BlueTTS auf ONNX Runtime aus, ohne PyTorch. Mit derselben Stimme, Zeile und demselben Seed liefert sie genau das, was das eigene Python-Paket von BlueTTS liefert.
Optionen
In Einstellungen › Erweiterungen › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Konfigurieren.
00 nutzt die logischen Prozessoren des Computers, höchstens 8. Mehr ist selten schneller; weniger halten den Computer beim Vertonen reaktionsfreudiger.
8Wie viele Durchgänge das Modell über jede Zeile macht. 8 ist die eigene Einstellung von BlueTTS. 4 ist etwa 1,7-mal so schnell, bei etwas geringerer Qualität.
accurateWie hebräischer Text in Laute umgewandelt wird. accurate ist das vollständige Modell, 1,2 GB, mit rund 2 GB Arbeitsspeicher. compact ist dasselbe Modell verkleinert, 312 MB: In unserem Test las es etwa 1 von 200 Wörtern anders, öfter falsch.
Ein Clip für die Klonstimme, wenn Subtitld keinen aus dem Video schneiden kann, etwa ohne geöffnetes Video: rund 10 Sekunden, in denen eine Person spricht, sauber, keine Telefonaufnahme.
Sprachen
Hebräisch, Englisch, Deutsch, Spanisch, Italienisch, Russisch und Jiddisch. Ein Projekt in einer anderen Sprache bekommt eine Meldung, die das sagt: Wählen Sie dafür eine andere Synchronisations-Engine.
Spanisch folgt der Region des Projekts: Spanien bekommt kastilisches, jede andere Region lateinamerikanisches Spanisch. Zahlen, Daten, Preise und Codes werden als Wörter gelesen, außer auf Jiddisch: Schreiben Sie jiddische Zahlen als Wörter aus, sonst wird die Zeile mit einer Meldung, die das sagt, abgelehnt.
heendeesitruyi
Plattformen
| System | Download | Getestet |
|---|---|---|
| Linux x86-64 | 61.7 MB | Mit dem echten Modell auf einem echten Rechner über die Erweiterungsverwaltung von Subtitld und in der CI vertont |
| macOS (Apple Silicon) | 43.8 MB | Mit dem echten Modell in der CI vertont (Apple Silicon) |
| Windows x86-64 | 37.3 MB | Mit dem echten Modell in der CI vertont |
Linux x86-64, macOS auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung so, wie Subtitld es tut, lädt die Modelle herunter und vertont eine Zeile in jeder Sprache.
Fehlerbehebung
network_unavailableEin Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.disk_fullNicht genug Speicherplatz für das Modell: 428 MB, und bis zu 1,7 GB mehr für Hebräisch, Jiddisch und die eigene Stimme des Sprechers.unsupported_languageDie Sprache des Projekts ist keine der sieben oder nicht festgelegt. Legen Sie sie im Projekt fest oder wählen Sie eine andere Synchronisations-Engine.unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.bad_paramsDie Zeile hat keinen Text, eine jiddische Zeile enthält Ziffern, oder die Klonstimme hat keine Probe bekommen: Öffnen Sie das Video oder setzen Sie Fallback reference clip. Die Meldung sagt, was zutrifft.out_of_memoryDem Computer ist der Arbeitsspeicher ausgegangen. Schließen Sie andere Programme: BlueTTS braucht rund 1 GB frei, 2,5 GB mit Hebräisch.internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details.
Lizenz
Die Erweiterung steht unter Apache-2.0, der Code von BlueTTS unter MIT. Das Stimmmodell steht ebenfalls unter MIT, mit Ausnahme seines Vocoders, des Teils, der die Ausgabe des Modells in Klang verwandelt: Er ist aus Supertonic-3 von Supertone feinabgestimmt und trägt die Lizenz BigScience OpenRAIL-M. Kommerzielle Arbeit ist erlaubt, aber OpenRAIL-M verbietet manche Verwendungen dessen, was es erzeugt, darunter Gesetzesverstöße, das Täuschen von Menschen und das Nachahmen einer Person ohne deren Einverständnis. Die 15 Stimmen stehen unter CC-BY-4.0. Die deutschen und italienischen Lexika und ein Teil des jiddischen stehen unter CC BY-SA; sie werden mit den Modellen heruntergeladen und bleiben so, wie ihre Autoren sie veröffentlichen.
Die Synchronisationen, die Sie erstellen, gehören Ihnen. Eine geklonte Stimme klingt wie ein echter Mensch: Klonen Sie Stimmen, die Sie verwenden dürfen, und sagen Sie, wo es darauf ankommt, dass eine Synchronisation synthetisch ist.
Versionen
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
Weitere Stimmen-Erweiterungen
-
Piper Offline
158 Offline-Stimmen in 49 Sprachen, jede ein eigener kleiner Download.
-
Kokoro Offline
54 Offline-Stimmen in neun Sprachen, alle aus einem 82-MB-Modell.
-
Supertonic Offline
Zehn Offline-Stimmen, jede kann alle 31 ihrer Sprachen sprechen.
-
sanoTTS Offline
Winzige Offline-Stimmen, 28 in 14 Sprachen, jeweils unter 10 MB.
-
Parler-TTS Offline
Englische Stimmen, die einer geschriebenen Beschreibung folgen; 34 benannte Sprecher.
-
Qwen3-TTS Klon
Zehn Sprachen, neun Stimmen und Klonen ab 3 Sekunden eines Sprechers.
-
Coqui XTTS Klon
Stimmklonen in 16 Sprachen, mit einer Modelllizenz für nicht-kommerzielle Nutzung.
-
F5-TTS Klon
Nur Stimmklonen, auf Englisch und Chinesisch; nicht-kommerzielles Modell.
-
VoxCPM2 Klon
30 Sprachen in 48 kHz, in der Stimme des Sprechers oder einer beschriebenen. Schwer.
-
Pocket TTS Offline
Schnell und leicht, nur CPU. 23 Stimmen in sieben europäischen Sprachen.
-
Sopro Klon
Die eigene Stimme des Sprechers, schnell auf einer CPU. Vier Sprachen.
-
KittenTTS 2 Klon
Die eigene Stimme des Sprechers in 16 Sprachen, auf einer CPU. Gewichte unter einer restriktiven Lizenz.
-
Ming-3.0-tts Klon
7 Sprachen in 44,1 kHz: geklonte, eingebaute oder beschriebene Stimmen, mit Emotion. Schwer.
-
Scylla's Band Offline
Vierzehn Stimmen in sechs Sprachen, schlank und schnell auf einer CPU. Nur eingebaute Stimmen.
-
Audio8 TTS Klon
Die eigene Stimme des Sprechers in 11 Sprachen, Kantonesisch inbegriffen. Langsam auf einer CPU.
-
Inflect Offline
Natürliche englische Sprache aus einem winzigen Modell, schnell auf jeder CPU.
-
Paradee Offline
Vier natürliche englische Stimmen, amerikanisch und britisch, aus einem einzigen 8,5-MB-Modell.
-
Chatterbox Klon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…