KittenTTS 2 (offline, voice clone, 16 languages)

Was es tut

Vor der Installation

• Festplatte: rund 1,7 GB für das Modell, heruntergeladen bei der ersten Zeile, und weitere 540 MB für das Klonen, bei der ersten geklonten Zeile.
• Arbeitsspeicher: rund 2,3 GB beim Sprechen, also etwa 3 GB frei.
• Prozessor: bei Intel und AMD einer mit AVX2, FMA und F16C, die Intel-Prozessoren seit 2013 und AMD-Prozessoren seit 2015 haben. Manchen Celeron-, Pentium- und Atom-Prozessoren fehlen sie; dort schlägt die erste Zeile mit einer Meldung fehl, die das sagt. Jeder Mac mit Apple Silicon funktioniert.

Klonen Sie eine Stimme nur mit dem Einverständnis der Person, der sie gehört.

Stimmen

Im Tab Sprecher wählen Sie KittenTTS 2 als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht. Legen Sie vor dem Vertonen die Sprache des Projekts fest.

116 Stimmen in 16 Sprachen.

• ar 4
• de 4
• en 50
• es 5
• fr 5
• hi 5
• id 2
• it 6
• ja 4
• ko 3
• nl 3
• pl 4
• pt 6
• ru 7
• tr 3
• zh 4

Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, 3 bis 12 Sekunden lang, und schickt sie mit dem Untertiteltext, der darin gesprochen wird. KittenTTS setzt diese Probe fort; das kommt dem Sprecher am nächsten und ist am stabilsten. In unserem Test, mit englischen Proben und portugiesischen Zeilen, klangen die geklonten Synchronisationen ihren Sprechern fast so ähnlich wie die von VoxCPM2 und hatten weniger falsche Wörter. Haben Sie für dieses Video die Musik von der Stimme getrennt, stammt die Probe nur von der Stimme. Fallback reference clip in den Einstellungen der Erweiterung wird nur verwendet, wenn keine Probe geschnitten werden kann.

Jede eingebaute Stimme gehört zu einer Sprache: Sie ist eine Aufnahme, und das Modell setzt sie mit ihrem Akzent fort. Deshalb zeigt die Liste Stimme die Stimmen der Sprache Ihres Projekts. Englisch hat 50, darunter Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki und Leo aus KittenTTS 0.8 sowie Figuren wie Marcus, ein sanfter Radio-DJ, oder Victoria, eine majestätische Erzählerin. Die anderen Sprachen haben jeweils 2 bis 7. KittenML sagt nicht, woher die Aufnahmen stammen.

Ab und zu bleibt das Modell stumm, statt eine Zeile zu sprechen. Die Erweiterung bemerkt das und versucht es erneut, bis zu dreimal, damit Sie es nicht tun müssen.

Modelle

Keine Datei von KittenML steckt in der Erweiterung: Sie werden beim ersten Vertonen in den gemeinsamen Modell-Cache von Subtitld geladen, aus dem Hugging-Face-Repository von KittenML in einer festen Revision, jede Datei geprüft. Der Referenz-Encoder, der aus einer Probe eine Stimme macht, kommt bei der ersten geklonten Zeile aus dem Release der Erweiterung selbst. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält die Modelle.

Die Erweiterung führt KittenMLs eigenes C++-Programm für KittenTTS 2 aus, das etwa viermal so schnell ist wie KittenMLs Python-Paket und ein Drittel von dessen Arbeitsspeicher braucht.

Optionen

In Einstellungen › Erweiterungen › KittenTTS 2 (offline, voice clone, 16 languages) › Konfigurieren.

Sprachen

Englisch, Spanisch, Französisch, Deutsch, Italienisch, Portugiesisch, Russisch, Chinesisch, Japanisch, Koreanisch, Arabisch, Hindi, Türkisch, Niederländisch, Polnisch und Indonesisch. Ein Projekt in einer anderen Sprache bekommt eine Meldung, die das sagt: Wählen Sie dafür eine andere Synchronisations-Engine.

Englischer Text wird so gelesen, wie er gemeint ist: Aus „the 3rd of May“ wird „the third of May“, aus „$12.50“ wird „twelve dollars fifty“. In den anderen Sprachen schreiben Sie Zahlen und Symbole aus, wo es darauf ankommt.

• en
• es
• fr
• de
• it
• pt
• ru
• zh
• ja
• ko
• ar
• hi
• tr
• nl
• pl
• id

Plattformen

Linux x86-64, macOS auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung so, wie Subtitld es tut, lädt das Modell herunter und vertont damit, auch in einer geklonten Stimme. Unter Linux braucht es glibc 2.35 oder neuer.

Fehlerbehebung

• network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.
• disk_fullNicht genug Speicherplatz für das Modell, rund 1,7 GB, mit Klonen 2,2 GB.
• unsupported_languageDie Sprache des Projekts ist keine der 16 oder nicht festgelegt. Legen Sie sie im Projekt fest oder wählen Sie eine andere Synchronisations-Engine.
• unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.
• bad_paramsDie Zeile hat keinen Text, oder die Klonstimme hat keine Probe bekommen: Öffnen Sie das Video oder setzen Sie Fallback reference clip. Die Meldung sagt, was zutrifft.
• internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details. Sagt sie, dass dem Prozessor AVX2, FMA und F16C fehlen, kann dieser Computer KittenTTS 2 nicht ausführen. Sagt sie, dass die Zeile immer wieder stumm blieb, versuchen Sie eine andere Stimme oder formulieren Sie die Zeile um.

Lizenz

Die Erweiterung steht unter Apache-2.0. Die Laufzeit von KittenML steht unter MIT und Apache-2.0, LibTorch unter BSD-3-Clause, und die Teile des Referenz-Encoders stehen unter MIT. Die KittenTTS-2-Gewichte stehen unter der Stellon Labs Community License, der Sie zustimmen, wenn die Erweiterung sie herunterlädt: kostenlos für Forschung und private Nutzung, für kommerzielle Nutzung nur unter 1.000.000 US-Dollar Jahresumsatz und Gesamtfinanzierung, mit Registrierung bei Stellon Labs. Die Gewichte und was sie erzeugen dürfen nicht zum Training anderer Modelle verwendet werden. Die Synchronisationen, die Sie erstellen, gehören Ihnen. Powered by KittenML.