Chatterbox offline, Stimmklonen, 20 Sprachen

StimmenOfflineNur CPUStimmklonenKommerzielle Nutzung erlaubt

Vertont Ihre Untertitel in 20 Sprachen mit Chatterbox von Resemble AI, in der eigenen Stimme jedes Sprechers, aus wenigen Sekunden des Videos geklont, oder in einer von 8 voreingestellten Stimmen. Eine geklonte Stimme spricht jede Sprache, egal in welcher Sprache der Clip ist. Es läuft auf dem Prozessor Ihres eigenen Computers, etwa in Echtzeit, ganz ohne Grafikkarte.

In Subtitld installieren

Einstellungen Erweiterungen Chatterbox (offline, voice clone, 20 languages) Installieren

Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.

Quellcode auf GitHub
Sprachen
20
Modelle
2
Stimmen
9
Download der Erweiterung
39–62 MB
RAM, mindestens
2 GB

Anhören

Was es tut

Die eigene Stimme des Sprechers, in einer anderen Sprache

Subtitld schneidet ein paar Sekunden jedes Sprechers aus dem Video und schickt sie mit jeder Zeile. Chatterbox klont diese Stimme in jeder seiner 20 Sprachen, sodass ein portugiesischer Schauspieler auf Deutsch synchronisiert werden kann und trotzdem nach sich selbst klingt.

Zwei Modelle

Multilingual spricht alle 20 Sprachen. Turbo spricht nur Englisch, klingt näher am Sprecher, braucht weniger Speicher und liest Tags wie [laugh] und [sigh], die im Untertitel stehen.

Auf jedem Computer

Es läuft auf dem Prozessor etwa in Echtzeit, ohne Grafikkarte: Eine 10-Sekunden-Zeile dauert rund 10 Sekunden.

Frei für kommerzielle Arbeit

Die Erweiterung steht unter Apache-2.0, Chatterbox und seine Modelle unter MIT, und die voreingestellten Stimmen sind LibriVox-Sprecher, gemeinfrei.

Vor der Installation

  • Festplatte: Multilingual lädt bei der ersten Zeile 1,3 GB herunter, Turbo 725 MB.
  • Arbeitsspeicher: rund 1,7 GB beim Sprechen mit Multilingual, rund 1 GB mit Turbo.
  • Prozessor: jeder 64-Bit-Prozessor von Intel oder AMD oder Apple Silicon. Eine Grafikkarte wird nicht verwendet.

Klonen Sie eine Stimme nur mit dem Einverständnis der Person, der sie gehört. Die offiziellen Builds von Chatterbox versehen ihr Audio mit einem unhörbaren Wasserzeichen; diese Erweiterung tut das nicht, die Verantwortung dafür, wie eine geklonte Stimme verwendet wird, liegt also bei Ihnen.

Stimmen

Im Tab Sprecher wählen Sie Chatterbox als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.

9 Stimmen.

Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel oder mehreren kurzen, zusammengefügt. Haben Sie für dieses Video die Musik von der Stimme getrennt, stammt die Probe nur von der Stimme. Fallback reference clip in den Einstellungen der Erweiterung wird nur verwendet, wenn keine Probe geschnitten werden kann. Die beste Probe sind 5 bis 20 Sekunden, in denen nur der Sprecher zu hören ist, ohne Musik und andere Stimmen; die Erweiterung nutzt die ersten 10 Sekunden davon.

Voreingestellte Stimmen
Frauen Englisch, Portugiesisch, Französisch, Deutsch
Männer Englisch, Portugiesisch, Französisch, Deutsch

Hinter jeder voreingestellten Stimme steht eine Person, die für LibriVox ehrenamtlich ein Buch in dieser Sprache liest, dieselben Sprecher wie in der Erweiterung Sopro. Jede voreingestellte Stimme spricht alle 20 Sprachen; ihre eigene Sprache gibt ihr nur einen Akzent. Wählen Sie für die natürlichste Synchronisation also die, die der Sprache Ihres Projekts am nächsten ist.

Modelle

Keines der beiden Modelle steckt in der Erweiterung: Das, das Sie verwenden, wird beim ersten Vertonen in den gemeinsamen Modell-Cache von Subtitld geladen, von Hugging Face in einer festen Revision, jede Datei geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält die Modelle.

ModellSprache DownloadGeeignet für
Chatterbox Multilingual (0.5B, 4-bit ONNX) Standard multilingual
1.3 GB
Alle 20 Sprachen; die Standardwahl
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Nur Englisch: näher am Sprecher, weniger Speicher, und liest [laugh], [sigh] und [cough]

Die Erweiterung führt ONNX-Exporte von Chatterbox aus, ohne PyTorch. In unserem Test mit 10 Sätzen auf Englisch, Portugiesisch, Französisch, Deutsch, Spanisch, Italienisch, Russisch und Polnisch, jeweils aus zwei Stimmen geklont, lag Multilingual bei 2,4 % der Wörter falsch und klang dem Sprecher ähnlich; Turbo machte auf Englisch keinen Fehler und klang ihm noch ähnlicher.

Optionen

In Einstellungen › Erweiterungen › Chatterbox (offline, voice clone, 20 languages) › Konfigurieren.

Model
Standard: multilingual

Turbo spricht nur Englisch. Ist Turbo gewählt, spricht Multilingual die Zeilen in anderen Sprachen. Es ist immer nur ein Modell im Speicher.

Expressiveness
Standard: 0.5

Nur Multilingual: wie viel Gefühl die Stimme hineinlegt. 0,5 ist Chatterbox' eigener Standardwert; höher klingt dramatischer und spricht meist schneller.

CPU threads
Standard: 0

0 nutzt die Hälfte der logischen Prozessoren des Computers, höchstens 8. Weniger Threads halten den Computer beim Vertonen reaktionsfreudiger.

Fallback reference clip
Standard: leer

Ein Clip für die Klonstimme, wenn Subtitld keinen aus dem Video schneiden kann, etwa ohne geöffnetes Video: 5 bis 20 Sekunden, in denen eine Person spricht.

Sprachen

Arabisch, Dänisch, Deutsch, Englisch, Finnisch, Französisch, Griechisch, Hindi, Italienisch, Koreanisch, Malaiisch, Niederländisch, Norwegisch, Polnisch, Portugiesisch, Russisch, Schwedisch, Spanisch, Swahili und Türkisch. Ein Projekt in einer anderen Sprache bekommt eine Meldung, die das sagt: Wählen Sie dafür eine andere Synchronisations-Engine.

Chatterbox kann außerdem Hebräisch, Japanisch und Chinesisch, die die Erweiterung weglässt: Hebräisch braucht ein zweites Modell, das die Vokalzeichen ergänzt, Japanisch braucht einen Konverter, dessen Lizenz das Mitliefern nicht erlaubt, und Chinesisch kam in unseren Tests verstümmelt heraus.

Schreiben Sie Zahlen und Symbole aus, wo es darauf ankommt. Eine Zeile wird in einem Zug gesprochen, bis zu 40 Sekunden Sprache.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Plattformen

System DownloadGetestet
Linux x86-64 62.5 MBMit beiden Modellen auf einem echten Rechner und in Subtitld selbst vertont
macOS (Apple Silicon) 43.7 MBIn der CI lädt die installierte Erweiterung ein Modell herunter und vertont damit (Apple Silicon)
Windows x86-64 38.7 MBIn der CI lädt die installierte Erweiterung ein Modell herunter und vertont damit

Linux x86-64, macOS auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung so, wie Subtitld es tut, lädt ein Modell herunter und vertont damit.

Fehlerbehebung

  • network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.
  • disk_fullNicht genug Speicherplatz für das Modell: 1,3 GB für Multilingual, 725 MB für Turbo.
  • unsupported_languageDie Sprache des Projekts ist keine der 20 oder nicht festgelegt. Legen Sie sie im Projekt fest oder wählen Sie eine andere Synchronisations-Engine.
  • unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.
  • bad_paramsDie Zeile hat keinen Text, oder die Klonstimme hat keine Probe bekommen: Öffnen Sie das Video oder setzen Sie Fallback reference clip. Die Meldung sagt, was zutrifft.
  • out_of_memoryDem Computer ist der Arbeitsspeicher ausgegangen. Schließen Sie andere Programme oder wählen Sie für Englisch Turbo: Es braucht rund 1 GB.
  • internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details.

Lizenz

Erweiterung
Apache-2.0
Engine
MIT
Chatterbox, von Resemble AI; ONNX Runtime steht unter MIT
Modell
MIT
Gewichte von Chatterbox Multilingual und Turbo, in ihren ONNX-Exporten
Voreingestellte Stimmen
Public domain, CC-BY-4.0
LibriVox-Sprecher; die englischen über LibriTTS-R

Für kommerzielle Arbeit geeignet: Die Erweiterung steht unter Apache-2.0, Chatterbox und beide Modelle unter MIT. Die voreingestellten Stimmen sind LibriVox-Aufnahmen und gemeinfrei; die englischen stammen über LibriTTS-R, unter CC-BY-4.0, und die Erweiterung nennt jede Sprecherin und jeden Sprecher. Die Synchronisationen, die Sie erstellen, gehören Ihnen.

Versionen

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Weitere Stimmen-Erweiterungen