Klont die Stimme jedes Sprechers aus wenigen Sekunden des Videos und spricht Ihre Untertitel in 16 Sprachen, auf Ihrem eigenen Computer. Das Modell ist nur für nicht-kommerzielle Nutzung kostenlos.

Was es tut

Klonen aus dem Video

Wählen Sie Custom voice, und Subtitld gibt dem Modell einige Sekunden dieses Sprechers, aus dem Video geschnitten. Am besten funktioniert es mit 6 Sekunden oder mehr.

Zwei eingebaute Stimmen

XTTS female 1 und XTTS male 1, für Sprecher, die Sie nicht klonen.

16 Sprachen

Es spricht in der Sprache des Projekts oder auf Englisch, wenn das Projekt keine Sprache gesetzt hat.

Lädt einmal

Die erste Zeile wartet, bis das Modell geladen ist, beim ersten Mal auch, bis es heruntergeladen ist. Die übrigen Zeilen nutzen es wieder. Auf der CPU kann ein langer Satz eine halbe Minute dauern.

Nicht-kommerzielles Modell. Die XTTS-v2-Gewichte stehen unter der Coqui Public Model License (CPML): frei für nicht-kommerzielle Nutzung; für alles andere braucht es eine kostenpflichtige Lizenz von Coqui. Die Erweiterung stimmt den Bedingungen von Coqui für Sie zu, wenn sie das Modell lädt, daher sehen Sie die Abfrage nicht. Die Bedingungen gelten trotzdem.

Stimmen

Im Tab Sprecher wählen Sie Coqui XTTS als Synchronisations-Engine eines Sprechers und danach eine Stimme. Custom voice steht oben in der Liste. Jede Zeile wird so lang, wie das Modell sie macht. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher sie auf die Dauer ihres Untertitels streckt oder staucht.

3 Stimmen in 1 Sprache.

en 2

Die Probe für den Klon

Ist die Stimme eines Sprechers Custom voice, schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts:

seinen längsten Untertitel zwischen 3 und 12 Sekunden;
passt keiner, die ersten 12 Sekunden eines längeren;
sind alle kürzer als 3 Sekunden, mehrere hintereinander, zusammengefügt, bis sie mindestens 3 Sekunden ergeben.

XTTS arbeitet am besten mit 6 Sekunden oder mehr, daher geben Sie jedem Sprecher mindestens eine Zeile zwischen 6 und 12 Sekunden. Haben Sie für dieses Video die Musik von der Stimme getrennt, stammt die Probe nur von der Stimme. Default voice reference in den Einstellungen der Erweiterung wird nur verwendet, wenn keine Probe geschnitten werden kann, etwa ohne geöffnetes Video.

Subtitld behält die Probe jedes Sprechers und schneidet sie nur neu, wenn sich die Audiodatei ändert. Nachdem Sie die Zeiten eines Sprechers verschoben haben, löschen Sie seine Probe, um eine neue zu bekommen. Ihr Name endet mit dem Namen des Sprechers.

System	Ordner
Linux	`~/.cache/subtitld/clone-refs`
macOS	`~/Library/Caches/subtitld/clone-refs`
Windows	`%LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs`

Modelle

Ein Modell, das beim ersten Erzeugen einer Zeile heruntergeladen wird. Die zwei kleinen Dateien daneben sind seine Einstellungen und sein Wortschatz. Die Erweiterung behält das Modell geladen, bis es fünf Minuten ungenutzt war.

Modell	Download
xtts_v2	1.9 GB
xtts_v2_config	1 MB
xtts_v2_vocab	1 MB

Optionen

Die Erweiterung liest diese beim Start. Eine Änderung gilt daher, sobald sie fünf Minuten ungenutzt war, oder nach einem Neustart von Subtitld.

In Einstellungen › Erweiterungen › Coqui XTTS-v2 (offline + voice clone) › Konfigurieren.

Inference device

Standard: cpu

Belassen Sie dies auf CPU. Die veröffentlichten Builds sind mit dem CPU-Paket von PyTorch erstellt, daher funktioniert CUDA mit ihnen nicht; MPS ist als Beta markiert.

Default voice reference (6+ seconds, mono WAV recommended)

Standard: leer

Ein Clip zum Kopieren, wenn Subtitld keine Probe des Sprechers aus dem Video nehmen kann, etwa ohne geöffnetes Video. Eine Probe aus dem Video hat immer Vorrang. Solange dies gesetzt ist, kopieren auch die zwei eingebauten Stimmen diesen Clip.

Sprachen

Die Erweiterung übergibt die Sprache des Projekts ohne ihre Region an das Modell. Ist keine Sprache gesetzt, spricht es Englisch.

en
es
fr
de
it
pt
pl
tr
ru
nl
cs
ar
zh-cn
ja
hu
ko

Plattformen

System	Download	Getestet
Linux x86-64	442.7 MB	In der CI gebaut und gestartet
macOS (universell)	323.1 MB	In der CI gebaut und gestartet
Windows x86-64	302.2 MB	In der CI gebaut und gestartet

Jede Version wird auf Linux, macOS und Windows gebaut. Die CI prüft, ob das Programm startet und seine Stimmen auflistet. Die CI erzeugt keine Sprache.

Fehlerbehebung

bad_paramsEntweder hat der Untertitel keinen Text, oder der Klon hat keine Probe bekommen: Subtitld konnte keine schneiden (kein Video geöffnet oder keine Untertitel für diesen Sprecher), und es ist kein Standardclip gesetzt. Geben Sie den Untertiteltext ein, öffnen Sie das Video oder setzen Sie Default voice reference.
internalDas Modell konnte nicht geladen werden oder die Zeile nicht sprechen; die Meldung nennt, welches. Auch ein fehlgeschlagener Download beim ersten Einsatz endet hier: Prüfen Sie Ihre Verbindung und den freien Speicherplatz und versuchen Sie es erneut. Prüfen Sie außerdem, ob die Sprache des Projekts zu den oben genannten gehört.

Lizenz

Erweiterung

MIT

Engine

MPL-2.0

coqui-ai-TTS (idiap-Fork)

Modelle

CPML

XTTS-v2-Gewichte; nicht kommerziell ohne Coqui-Lizenz

Nicht für kommerzielle Arbeiten geeignet, außer Sie haben eine kommerzielle Lizenz von Coqui für die XTTS-v2-Gewichte. Der Code der Erweiterung ist MIT.

Coqui XTTS (offline + voice clone)

Was es tut

Stimmen

Die Probe für den Klon

Modelle

Optionen

Sprachen

Plattformen

Fehlerbehebung

Lizenz

Versionen

Weitere Stimmen-Erweiterungen