Chatterbox offline, Stimmklonen, 20 Sprachen
Vertont Ihre Untertitel in 20 Sprachen mit Chatterbox von Resemble AI, in der eigenen Stimme jedes Sprechers, aus wenigen Sekunden des Videos geklont, oder in einer von 8 voreingestellten Stimmen. Eine geklonte Stimme spricht jede Sprache, egal in welcher Sprache der Clip ist. Es läuft auf dem Prozessor Ihres eigenen Computers, etwa in Echtzeit, ganz ohne Grafikkarte.
Einstellungen Erweiterungen Chatterbox (offline, voice clone, 20 languages) Installieren
Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.
- Sprachen
- 20
- Modelle
- 2
- Stimmen
- 9
- Download der Erweiterung
- 39–62 MB
- RAM, mindestens
- 2 GB
Anhören
Was es tut
Subtitld schneidet ein paar Sekunden jedes Sprechers aus dem Video und schickt sie mit jeder Zeile. Chatterbox klont diese Stimme in jeder seiner 20 Sprachen, sodass ein portugiesischer Schauspieler auf Deutsch synchronisiert werden kann und trotzdem nach sich selbst klingt.
Multilingual spricht alle 20 Sprachen. Turbo spricht nur Englisch, klingt näher am Sprecher, braucht weniger Speicher und liest Tags wie [laugh] und [sigh], die im Untertitel stehen.
Es läuft auf dem Prozessor etwa in Echtzeit, ohne Grafikkarte: Eine 10-Sekunden-Zeile dauert rund 10 Sekunden.
Die Erweiterung steht unter Apache-2.0, Chatterbox und seine Modelle unter MIT, und die voreingestellten Stimmen sind LibriVox-Sprecher, gemeinfrei.
Vor der Installation
- Festplatte: Multilingual lädt bei der ersten Zeile 1,3 GB herunter, Turbo 725 MB.
- Arbeitsspeicher: rund 1,7 GB beim Sprechen mit Multilingual, rund 1 GB mit Turbo.
- Prozessor: jeder 64-Bit-Prozessor von Intel oder AMD oder Apple Silicon. Eine Grafikkarte wird nicht verwendet.
Klonen Sie eine Stimme nur mit dem Einverständnis der Person, der sie gehört. Die offiziellen Builds von Chatterbox versehen ihr Audio mit einem unhörbaren Wasserzeichen; diese Erweiterung tut das nicht, die Verantwortung dafür, wie eine geklonte Stimme verwendet wird, liegt also bei Ihnen.
Stimmen
Im Tab Sprecher wählen Sie Chatterbox als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.
9 Stimmen.
Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel oder mehreren kurzen, zusammengefügt. Haben Sie für dieses Video die Musik von der Stimme getrennt, stammt die Probe nur von der Stimme. Fallback reference clip in den Einstellungen der Erweiterung wird nur verwendet, wenn keine Probe geschnitten werden kann. Die beste Probe sind 5 bis 20 Sekunden, in denen nur der Sprecher zu hören ist, ohne Musik und andere Stimmen; die Erweiterung nutzt die ersten 10 Sekunden davon.
| Voreingestellte Stimmen | |
|---|---|
| Frauen | Englisch, Portugiesisch, Französisch, Deutsch |
| Männer | Englisch, Portugiesisch, Französisch, Deutsch |
Hinter jeder voreingestellten Stimme steht eine Person, die für LibriVox ehrenamtlich ein Buch in dieser Sprache liest, dieselben Sprecher wie in der Erweiterung Sopro. Jede voreingestellte Stimme spricht alle 20 Sprachen; ihre eigene Sprache gibt ihr nur einen Akzent. Wählen Sie für die natürlichste Synchronisation also die, die der Sprache Ihres Projekts am nächsten ist.
Modelle
Keines der beiden Modelle steckt in der Erweiterung: Das, das Sie verwenden, wird beim ersten Vertonen in den gemeinsamen Modell-Cache von Subtitld geladen, von Hugging Face in einer festen Revision, jede Datei geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält die Modelle.
| Modell | Sprache | Download | Geeignet für |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) Standard multilingual | | Alle 20 Sprachen; die Standardwahl | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Nur Englisch: näher am Sprecher, weniger Speicher, und liest [laugh], [sigh] und [cough] |
Die Erweiterung führt ONNX-Exporte von Chatterbox aus, ohne PyTorch. In unserem Test mit 10 Sätzen auf Englisch, Portugiesisch, Französisch, Deutsch, Spanisch, Italienisch, Russisch und Polnisch, jeweils aus zwei Stimmen geklont, lag Multilingual bei 2,4 % der Wörter falsch und klang dem Sprecher ähnlich; Turbo machte auf Englisch keinen Fehler und klang ihm noch ähnlicher.
Optionen
In Einstellungen › Erweiterungen › Chatterbox (offline, voice clone, 20 languages) › Konfigurieren.
multilingualTurbo spricht nur Englisch. Ist Turbo gewählt, spricht Multilingual die Zeilen in anderen Sprachen. Es ist immer nur ein Modell im Speicher.
0.5Nur Multilingual: wie viel Gefühl die Stimme hineinlegt. 0,5 ist Chatterbox' eigener Standardwert; höher klingt dramatischer und spricht meist schneller.
00 nutzt die Hälfte der logischen Prozessoren des Computers, höchstens 8. Weniger Threads halten den Computer beim Vertonen reaktionsfreudiger.
Ein Clip für die Klonstimme, wenn Subtitld keinen aus dem Video schneiden kann, etwa ohne geöffnetes Video: 5 bis 20 Sekunden, in denen eine Person spricht.
Sprachen
Arabisch, Dänisch, Deutsch, Englisch, Finnisch, Französisch, Griechisch, Hindi, Italienisch, Koreanisch, Malaiisch, Niederländisch, Norwegisch, Polnisch, Portugiesisch, Russisch, Schwedisch, Spanisch, Swahili und Türkisch. Ein Projekt in einer anderen Sprache bekommt eine Meldung, die das sagt: Wählen Sie dafür eine andere Synchronisations-Engine.
Chatterbox kann außerdem Hebräisch, Japanisch und Chinesisch, die die Erweiterung weglässt: Hebräisch braucht ein zweites Modell, das die Vokalzeichen ergänzt, Japanisch braucht einen Konverter, dessen Lizenz das Mitliefern nicht erlaubt, und Chinesisch kam in unseren Tests verstümmelt heraus.
Schreiben Sie Zahlen und Symbole aus, wo es darauf ankommt. Eine Zeile wird in einem Zug gesprochen, bis zu 40 Sekunden Sprache.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Plattformen
| System | Download | Getestet |
|---|---|---|
| Linux x86-64 | 62.5 MB | Mit beiden Modellen auf einem echten Rechner und in Subtitld selbst vertont |
| macOS (Apple Silicon) | 43.7 MB | In der CI lädt die installierte Erweiterung ein Modell herunter und vertont damit (Apple Silicon) |
| Windows x86-64 | 38.7 MB | In der CI lädt die installierte Erweiterung ein Modell herunter und vertont damit |
Linux x86-64, macOS auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung so, wie Subtitld es tut, lädt ein Modell herunter und vertont damit.
Fehlerbehebung
network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.disk_fullNicht genug Speicherplatz für das Modell: 1,3 GB für Multilingual, 725 MB für Turbo.unsupported_languageDie Sprache des Projekts ist keine der 20 oder nicht festgelegt. Legen Sie sie im Projekt fest oder wählen Sie eine andere Synchronisations-Engine.unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.bad_paramsDie Zeile hat keinen Text, oder die Klonstimme hat keine Probe bekommen: Öffnen Sie das Video oder setzen Sie Fallback reference clip. Die Meldung sagt, was zutrifft.out_of_memoryDem Computer ist der Arbeitsspeicher ausgegangen. Schließen Sie andere Programme oder wählen Sie für Englisch Turbo: Es braucht rund 1 GB.internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details.
Lizenz
Für kommerzielle Arbeit geeignet: Die Erweiterung steht unter Apache-2.0, Chatterbox und beide Modelle unter MIT. Die voreingestellten Stimmen sind LibriVox-Aufnahmen und gemeinfrei; die englischen stammen über LibriTTS-R, unter CC-BY-4.0, und die Erweiterung nennt jede Sprecherin und jeden Sprecher. Die Synchronisationen, die Sie erstellen, gehören Ihnen.
Versionen
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Weitere Stimmen-Erweiterungen
-
Piper Offline
158 Offline-Stimmen in 49 Sprachen, jede ein eigener kleiner Download.
-
Kokoro Offline
54 Offline-Stimmen in neun Sprachen, alle aus einem 82-MB-Modell.
-
Supertonic Offline
Zehn Offline-Stimmen, jede kann alle 31 ihrer Sprachen sprechen.
-
sanoTTS Offline
Winzige Offline-Stimmen, 28 in 14 Sprachen, jeweils unter 10 MB.
-
Parler-TTS Offline
Englische Stimmen, die einer geschriebenen Beschreibung folgen; 34 benannte Sprecher.
-
Qwen3-TTS Klon
Zehn Sprachen, neun Stimmen und Klonen ab 3 Sekunden eines Sprechers.
-
Coqui XTTS Klon
Stimmklonen in 16 Sprachen, mit einer Modelllizenz für nicht-kommerzielle Nutzung.
-
F5-TTS Klon
Nur Stimmklonen, auf Englisch und Chinesisch; nicht-kommerzielles Modell.
-
VoxCPM2 Klon
30 Sprachen in 48 kHz, in der Stimme des Sprechers oder einer beschriebenen. Schwer.
-
Pocket TTS Offline
Schnell und leicht, nur CPU. 23 Stimmen in sieben europäischen Sprachen.
-
Sopro Klon
Die eigene Stimme des Sprechers, schnell auf einer CPU. Vier Sprachen.
-
KittenTTS 2 Klon
Die eigene Stimme des Sprechers in 16 Sprachen, auf einer CPU. Gewichte unter einer restriktiven Lizenz.
-
Ming-3.0-tts Klon
7 Sprachen in 44,1 kHz: geklonte, eingebaute oder beschriebene Stimmen, mit Emotion. Schwer.
-
Scylla's Band Offline
Vierzehn Stimmen in sechs Sprachen, schlank und schnell auf einer CPU. Nur eingebaute Stimmen.
-
Audio8 TTS Klon
Die eigene Stimme des Sprechers in 23 Sprachen, Kantonesisch und Arabisch inbegriffen. Langsam auf einer CPU.
-
Inflect Offline
Natürliche englische Sprache aus einem winzigen Modell, schnell auf jeder CPU.
-
Paradee Offline
Vier natürliche englische Stimmen, amerikanisch und britisch, aus einem einzigen 8,5-MB-Modell.
-
BlueTTS Klon
Hebräisch und Jiddisch, dazu fünf weitere Sprachen. Die eigene Stimme des Sprechers, schnell auf einer CPU.
-
ZONOS3-Mini Klon
43 Sprachen, von Arabisch bis Vietnamesisch. Die eigene Stimme des Sprechers, auf einer CPU.
-
Reverb Klon
Sieben europäische Sprachen und die eigene Stimme des Sprechers, auf einer CPU; nicht-kommerzielles Modell.
-
OmniVoice Klon
646 Sprachen, die eigene Stimme des Sprechers über Sprachgrenzen hinweg; nicht-kommerzielles Modell.
-
VoxMel Klon
Englisch und Mandarin, mit originalgetreuen Klonen der eigenen Stimme des Sprechers.
-
tiny-voca Offline
Zwei Stimmen in amerikanischem Englisch aus einem Modell mit 4,5 Millionen Parametern, ganz ohne Download.