OmniVoice offline, Stimmklonen, 646 Sprachen, nicht-kommerziell
Vertont Ihre Untertitel in jeder von 646 Sprachen mit OmniVoice von k2-fsa, in der eigenen Stimme jedes Sprechers, aus dem Video geklont, sogar in einer anderen Sprache, oder in einer Stimme, die aus wenigen Merkmalen entworfen wird. Es läuft auf Ihrem eigenen Computer. Das Modell ist nur für nicht-kommerzielle Nutzung bestimmt.
Einstellungen Erweiterungen OmniVoice (offline, voice clone, 646 languages, non-commercial) Installieren
Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.
- Sprachen
- 655
- Modelle
- 1
- Stimmen
- 12
- Download der Erweiterung
- 14–17 MB
- RAM, mindestens
- 2.5 GB
Was es tut
Von Afrikaans bis Zulu, mit vielen Sprachen, die keine andere Erweiterung spricht, und regionalen Varianten des Arabischen, Chinesischen und weiterer Sprachen.
Subtitld schneidet ein paar Sekunden jedes Sprechers aus dem Video und schickt sie mit den Untertiteln, die darin gesprochen werden. OmniVoice klont diese Stimme und behält sie, auch wenn die Synchronisation in einer anderen Sprache ist.
Zehn fertige Stimmen, von einem Kind bis zu einem älteren Mann, oder eine, die Sie aus wenigen Merkmalen zusammenstellen: Geschlecht, Alter, Tonhöhe, ein englischer Akzent, ein Flüstern.
Das Modell wird einmal heruntergeladen, wenn eine Zeile es zum ersten Mal braucht. Danach verlässt nichts mehr Ihren Computer.
Nicht-kommerzielles Modell. Die OmniVoice-Gewichte stehen unter CC-BY-NC, das keine kommerzielle Nutzung erlaubt. Der Code der Erweiterung steht unter Apache-2.0, aber das ändert nichts an den Bedingungen der Gewichte. Für kommerzielle Arbeit klonen auch VoxCPM2 (30 Sprachen) und ZONOS3-Mini (43 Sprachen) Stimmen, und ihre Gewichte stehen unter Apache-2.0.
Vor der Installation
- Festplatte: rund 1,5 GB, das meiste davon das 1,35 GB große Modell, heruntergeladen bei der ersten Zeile, die Sie vertonen.
- Arbeitsspeicher: rund 2,5 GB frei.
- Zeit: Auf einer CPU braucht jede Sekunde Sprache mehrere Sekunden. Auf einem Intel Core i7-13700T brauchte eine Zeile in der eigenen Stimme des Sprechers etwa 6 Sekunden pro Sekunde Sprache, und die erste Zeile einer entworfenen Stimme dauert länger, während die Erweiterung die Stimme erzeugt. Auf einem Mac mit Apple Silicon läuft es auf der GPU.
Für schnelle Synchronisationen sind Piper oder Kokoro viel leichter, und Piper deckt ebenfalls viele Sprachen ab.
Stimmen
Im Tab Sprecher wählen Sie OmniVoice als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.
12 Stimmen.
Die Klonstimme
Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel von 3 bis 12 Sekunden oder mehreren kurzen, zusammengefügt, und schickt den Untertiteltext mit. OmniVoice braucht beides, die Probe und ihre Wörter. Die Synchronisation kann in jeder seiner Sprachen sein, ganz gleich, in welcher Sprache die Probe ist. Fallback reference clip in den Einstellungen der Erweiterung, mit seinem Transkript, wird nur verwendet, wenn keine Probe geschnitten werden kann.
Clone the timbre only funktioniert mit dieser Erweiterung nicht, weil OmniVoice ohne die Wörter der Probe nicht klonen kann. Lassen Sie es bei Sprechern, die OmniVoice verwenden, ausgeschaltet.
Entworfene Stimmen
OmniVoice erfindet bei jedem Lesen einer Reihe von Merkmalen eine neue Stimme. Daher erzeugt die Erweiterung die Stimme jedes Sprechers einmal, als kurzen Satz, und jede Zeile dieses Sprechers verwendet sie wieder: Die Stimme bleibt im ganzen Video gleich, und zwei Sprecher mit derselben entworfenen Stimme klingen trotzdem wie zwei Personen.
Modelle
Es gibt ein Modell, OmniVoice, mit Gewichten in 8 Bit, wie das Projekt audio.cpp es umgewandelt hat. Es steckt nicht in der Erweiterung: Es wird beim ersten Vertonen in den gemeinsamen Modell-Cache von Subtitld geladen, von Hugging Face in einer festen Revision, und wird geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält das Modell.
| Modell | Download | Geeignet für |
|---|---|---|
| OmniVoice (8-bit) Standard omnivoice | Jede Stimme, in allen 646 Sprachen |
Die erste Zeile lädt auch das Modell, daher dauert sie länger als die folgenden. Auf einem Mac mit Apple Silicon spricht die Erweiterung beim allerersten Mal außerdem eine kurze Testzeile auf der GPU und nutzt die CPU, wenn das nicht klappt. Abbrechen stoppt eine Zeile zwischen zwei Schritten oder stoppt den Download.
Optionen
In Einstellungen › Erweiterungen › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Konfigurieren.
16Wie viele Durchgänge OmniVoice über jede Zeile macht. 16 ist schnell und behält jedes Wort; 32, die eigene Einstellung von OmniVoice, dauert doppelt so lange und kommt dem Sprecher etwas näher.
2Wie genau die Sprache dem Text und der Stimme folgt. 2,0 ist die eigene Einstellung von OmniVoice.
00 wählt die Leistungskerne bei CPUs, die auch Effizienzkerne haben. Weniger Threads halten den Computer beim Vertonen reaktionsfreudiger.
Für die Stimme „Voice you describe“. Lassen Sie ein Merkmal auf Any, damit OmniVoice es wählt.
Für die Stimme „Voice you describe“: vom Kind bis zum alten Menschen.
Für die Stimme „Voice you describe“: von sehr tief bis sehr hoch.
Für die Stimme „Voice you describe“: der Akzent, mit dem sie Englisch spricht, etwa britisch oder indisch.
Für die Stimme „Voice you describe“: eine geflüsterte Stimme.
Ein Clip für die Klonstimme, wenn Subtitld keinen aus dem Video schneiden kann, etwa ohne geöffnetes Video: 3 bis 15 Sekunden, in denen eine Person spricht.
Genau das, was im Ersatz-Clip gesagt wird, Wort für Wort. OmniVoice klont aus dem Clip und seinen Wörtern, daher wird der Ersatz-Clip ohne sie abgelehnt.
Sprachen
Die eigene Liste von OmniVoice mit 646 Sprachen, darunter Arabisch, Bengalisch, Chinesisch und Kantonesisch, Englisch, Französisch, Deutsch, Hindi, Indonesisch, Japanisch, Koreanisch, Persisch, Portugiesisch, Russisch, Spanisch, Suaheli, Türkisch, Urdu, Vietnamesisch, Yoruba, Zulu und Hunderte regionaler Sprachen. Subtitld teilt ihm die Sprache des Projekts mit; kennt es die Sprache nicht, erkennt OmniVoice sie am Text.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Plattformen
| System | Download | Getestet |
|---|---|---|
| Linux x86-64 | 17.3 MB | Mit dem echten Modell auf einem echten Rechner und auf AlmaLinux 8 vertont; in der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab |
| macOS (Apple Silicon) | 16.6 MB | In der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab (Apple Silicon) |
| Windows x86-64 | 14.0 MB | In der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab |
Linux x86-64 (jede Distribution ab 2018, glibc 2.28 oder neuer), macOS 13.3 oder neuer auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung, lädt das Modell herunter und lässt es sprechen, eine Stimme klonen und eine Zeile abbrechen.
Fehlerbehebung
network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.disk_fullNicht genug Speicherplatz für das Modell. Es braucht rund 1,5 GB frei.oomNicht genug Arbeitsspeicher. Schließen Sie andere Programme; OmniVoice braucht rund 2,5 GB frei.bad_paramsDie Zeile hat keinen Text, die Klonstimme hat keine Probe oder keine Wörter dazu bekommen, oder für die Stimme, die Sie beschreiben, ist kein Merkmal gesetzt. Die Meldung sagt, was zutrifft. Öffnen Sie für eine Klonstimme das Video und lassen Sie Clone the timbre only ausgeschaltet.unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details.
Lizenz
Die Erweiterung und die audio.cpp-Engine stehen unter Apache-2.0, und ggml, auf dem audio.cpp läuft, steht unter MIT. Die OmniVoice-Gewichte von k2-fsa stehen unter CC-BY-NC: Was Sie damit vertonen, ist nur für nicht-kommerzielle Nutzung bestimmt. Eine geklonte Stimme klingt wie eine echte Person: Klonen Sie nur Stimmen, die Sie verwenden dürfen, und sagen Sie, wo es darauf ankommt, dass eine Synchronisation künstlich erzeugt ist.
Versionen
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Weitere Stimmen-Erweiterungen
-
Piper Offline
158 Offline-Stimmen in 49 Sprachen, jede ein eigener kleiner Download.
-
Kokoro Offline
54 Offline-Stimmen in neun Sprachen, alle aus einem 82-MB-Modell.
-
Supertonic Offline
Zehn Offline-Stimmen, jede kann alle 31 ihrer Sprachen sprechen.
-
sanoTTS Offline
Winzige Offline-Stimmen, 28 in 14 Sprachen, jeweils unter 10 MB.
-
Parler-TTS Offline
Englische Stimmen, die einer geschriebenen Beschreibung folgen; 34 benannte Sprecher.
-
Qwen3-TTS Klon
Zehn Sprachen, neun Stimmen und Klonen ab 3 Sekunden eines Sprechers.
-
Coqui XTTS Klon
Stimmklonen in 16 Sprachen, mit einer Modelllizenz für nicht-kommerzielle Nutzung.
-
F5-TTS Klon
Nur Stimmklonen, auf Englisch und Chinesisch; nicht-kommerzielles Modell.
-
VoxCPM2 Klon
30 Sprachen in 48 kHz, in der Stimme des Sprechers oder einer beschriebenen. Schwer.
-
Pocket TTS Offline
Schnell und leicht, nur CPU. 23 Stimmen in sieben europäischen Sprachen.
-
Sopro Klon
Die eigene Stimme des Sprechers, schnell auf einer CPU. Vier Sprachen.
-
KittenTTS 2 Klon
Die eigene Stimme des Sprechers in 16 Sprachen, auf einer CPU. Gewichte unter einer restriktiven Lizenz.
-
Ming-3.0-tts Klon
7 Sprachen in 44,1 kHz: geklonte, eingebaute oder beschriebene Stimmen, mit Emotion. Schwer.
-
Scylla's Band Offline
Vierzehn Stimmen in sechs Sprachen, schlank und schnell auf einer CPU. Nur eingebaute Stimmen.
-
Audio8 TTS Klon
Die eigene Stimme des Sprechers in 23 Sprachen, Kantonesisch und Arabisch inbegriffen. Langsam auf einer CPU.
-
Inflect Offline
Natürliche englische Sprache aus einem winzigen Modell, schnell auf jeder CPU.
-
Paradee Offline
Vier natürliche englische Stimmen, amerikanisch und britisch, aus einem einzigen 8,5-MB-Modell.
-
BlueTTS Klon
Hebräisch und Jiddisch, dazu fünf weitere Sprachen. Die eigene Stimme des Sprechers, schnell auf einer CPU.
-
ZONOS3-Mini Klon
43 Sprachen, von Arabisch bis Vietnamesisch. Die eigene Stimme des Sprechers, auf einer CPU.
-
Reverb Klon
Sieben europäische Sprachen und die eigene Stimme des Sprechers, auf einer CPU; nicht-kommerzielles Modell.
-
Chatterbox Klon
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…