OmniVoice offline, Stimmklonen, 646 Sprachen, nicht-kommerziell

StimmenOfflineGPU optionalStimmklonenNicht kommerziell

Vertont Ihre Untertitel in jeder von 646 Sprachen mit OmniVoice von k2-fsa, in der eigenen Stimme jedes Sprechers, aus dem Video geklont, sogar in einer anderen Sprache, oder in einer Stimme, die aus wenigen Merkmalen entworfen wird. Es läuft auf Ihrem eigenen Computer. Das Modell ist nur für nicht-kommerzielle Nutzung bestimmt.

In Subtitld installieren

Einstellungen Erweiterungen OmniVoice (offline, voice clone, 646 languages, non-commercial) Installieren

Subtitld lädt sie herunter, prüft ihren SHA-256-Wert und hält sie aktuell.

Quellcode auf GitHub
Sprachen
655
Modelle
1
Stimmen
12
Download der Erweiterung
14–17 MB
RAM, mindestens
2.5 GB

Was es tut

646 Sprachen

Von Afrikaans bis Zulu, mit vielen Sprachen, die keine andere Erweiterung spricht, und regionalen Varianten des Arabischen, Chinesischen und weiterer Sprachen.

Die eigene Stimme des Sprechers, in jeder Sprache

Subtitld schneidet ein paar Sekunden jedes Sprechers aus dem Video und schickt sie mit den Untertiteln, die darin gesprochen werden. OmniVoice klont diese Stimme und behält sie, auch wenn die Synchronisation in einer anderen Sprache ist.

Oder eine entworfene Stimme

Zehn fertige Stimmen, von einem Kind bis zu einem älteren Mann, oder eine, die Sie aus wenigen Merkmalen zusammenstellen: Geschlecht, Alter, Tonhöhe, ein englischer Akzent, ein Flüstern.

Offline nach der ersten Zeile

Das Modell wird einmal heruntergeladen, wenn eine Zeile es zum ersten Mal braucht. Danach verlässt nichts mehr Ihren Computer.

Nicht-kommerzielles Modell. Die OmniVoice-Gewichte stehen unter CC-BY-NC, das keine kommerzielle Nutzung erlaubt. Der Code der Erweiterung steht unter Apache-2.0, aber das ändert nichts an den Bedingungen der Gewichte. Für kommerzielle Arbeit klonen auch VoxCPM2 (30 Sprachen) und ZONOS3-Mini (43 Sprachen) Stimmen, und ihre Gewichte stehen unter Apache-2.0.

Vor der Installation

  • Festplatte: rund 1,5 GB, das meiste davon das 1,35 GB große Modell, heruntergeladen bei der ersten Zeile, die Sie vertonen.
  • Arbeitsspeicher: rund 2,5 GB frei.
  • Zeit: Auf einer CPU braucht jede Sekunde Sprache mehrere Sekunden. Auf einem Intel Core i7-13700T brauchte eine Zeile in der eigenen Stimme des Sprechers etwa 6 Sekunden pro Sekunde Sprache, und die erste Zeile einer entworfenen Stimme dauert länger, während die Erweiterung die Stimme erzeugt. Auf einem Mac mit Apple Silicon läuft es auf der GPU.

Für schnelle Synchronisationen sind Piper oder Kokoro viel leichter, und Piper deckt ebenfalls viele Sprachen ab.

Stimmen

Im Tab Sprecher wählen Sie OmniVoice als Synchronisations-Engine eines Sprechers und danach eine Stimme. Aktivieren Sie Synchronaufnahme an Untertiteldauer anpassen, damit der Sprecher jede Zeile auf ihren Untertitel streckt oder staucht.

12 Stimmen.

Die Klonstimme

Mit Speaker's own voice schneidet Subtitld eine Probe dieses Sprechers aus dem Audio des Projekts, aus einem seiner Untertitel von 3 bis 12 Sekunden oder mehreren kurzen, zusammengefügt, und schickt den Untertiteltext mit. OmniVoice braucht beides, die Probe und ihre Wörter. Die Synchronisation kann in jeder seiner Sprachen sein, ganz gleich, in welcher Sprache die Probe ist. Fallback reference clip in den Einstellungen der Erweiterung, mit seinem Transkript, wird nur verwendet, wenn keine Probe geschnitten werden kann.

Clone the timbre only funktioniert mit dieser Erweiterung nicht, weil OmniVoice ohne die Wörter der Probe nicht klonen kann. Lassen Sie es bei Sprechern, die OmniVoice verwenden, ausgeschaltet.

Entworfene Stimmen

OmniVoice erfindet bei jedem Lesen einer Reihe von Merkmalen eine neue Stimme. Daher erzeugt die Erweiterung die Stimme jedes Sprechers einmal, als kurzen Satz, und jede Zeile dieses Sprechers verwendet sie wieder: Die Stimme bleibt im ganzen Video gleich, und zwei Sprecher mit derselben entworfenen Stimme klingen trotzdem wie zwei Personen.

Modelle

Es gibt ein Modell, OmniVoice, mit Gewichten in 8 Bit, wie das Projekt audio.cpp es umgewandelt hat. Es steckt nicht in der Erweiterung: Es wird beim ersten Vertonen in den gemeinsamen Modell-Cache von Subtitld geladen, von Hugging Face in einer festen Revision, und wird geprüft. Ein unterbrochener Download wird dort fortgesetzt, wo er stehen blieb. Aktualisieren oder Entfernen der Erweiterung behält das Modell.

Modell DownloadGeeignet für
OmniVoice (8-bit) Standard omnivoice
1.3 GB
Jede Stimme, in allen 646 Sprachen

Die erste Zeile lädt auch das Modell, daher dauert sie länger als die folgenden. Auf einem Mac mit Apple Silicon spricht die Erweiterung beim allerersten Mal außerdem eine kurze Testzeile auf der GPU und nutzt die CPU, wenn das nicht klappt. Abbrechen stoppt eine Zeile zwischen zwei Schritten oder stoppt den Download.

Optionen

In Einstellungen › Erweiterungen › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Konfigurieren.

Quality steps
Standard: 16

Wie viele Durchgänge OmniVoice über jede Zeile macht. 16 ist schnell und behält jedes Wort; 32, die eigene Einstellung von OmniVoice, dauert doppelt so lange und kommt dem Sprecher etwas näher.

Guidance
Standard: 2

Wie genau die Sprache dem Text und der Stimme folgt. 2,0 ist die eigene Einstellung von OmniVoice.

CPU threads
Standard: 0

0 wählt die Leistungskerne bei CPUs, die auch Effizienzkerne haben. Weniger Threads halten den Computer beim Vertonen reaktionsfreudiger.

Voice gender
Standard: leer

Für die Stimme „Voice you describe“. Lassen Sie ein Merkmal auf Any, damit OmniVoice es wählt.

Voice age
Standard: leer

Für die Stimme „Voice you describe“: vom Kind bis zum alten Menschen.

Voice pitch
Standard: leer

Für die Stimme „Voice you describe“: von sehr tief bis sehr hoch.

Accent (English)
Standard: leer

Für die Stimme „Voice you describe“: der Akzent, mit dem sie Englisch spricht, etwa britisch oder indisch.

Whisper
Standard: aus

Für die Stimme „Voice you describe“: eine geflüsterte Stimme.

Fallback reference clip
Standard: leer

Ein Clip für die Klonstimme, wenn Subtitld keinen aus dem Video schneiden kann, etwa ohne geöffnetes Video: 3 bis 15 Sekunden, in denen eine Person spricht.

Fallback reference transcript
Standard: leer

Genau das, was im Ersatz-Clip gesagt wird, Wort für Wort. OmniVoice klont aus dem Clip und seinen Wörtern, daher wird der Ersatz-Clip ohne sie abgelehnt.

Sprachen

Die eigene Liste von OmniVoice mit 646 Sprachen, darunter Arabisch, Bengalisch, Chinesisch und Kantonesisch, Englisch, Französisch, Deutsch, Hindi, Indonesisch, Japanisch, Koreanisch, Persisch, Portugiesisch, Russisch, Spanisch, Suaheli, Türkisch, Urdu, Vietnamesisch, Yoruba, Zulu und Hunderte regionaler Sprachen. Subtitld teilt ihm die Sprache des Projekts mit; kennt es die Sprache nicht, erkennt OmniVoice sie am Text.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

Plattformen

System DownloadGetestet
Linux x86-64 17.3 MBMit dem echten Modell auf einem echten Rechner und auf AlmaLinux 8 vertont; in der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab
macOS (Apple Silicon) 16.6 MBIn der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab (Apple Silicon)
Windows x86-64 14.0 MBIn der CI lädt die installierte Erweiterung das Modell herunter, spricht, klont eine Stimme und bricht eine Zeile ab

Linux x86-64 (jede Distribution ab 2018, glibc 2.28 oder neuer), macOS 13.3 oder neuer auf Apple Silicon und Windows x86-64. Jede Version wird auf allen dreien gebaut, und auf jedem installiert die CI die Erweiterung, lädt das Modell herunter und lässt es sprechen, eine Stimme klonen und eine Zeile abbrechen.

Fehlerbehebung

  • network_unavailableDas Modell konnte nicht heruntergeladen werden. Prüfen Sie Ihre Verbindung und versuchen Sie es erneut: Der Download wird fortgesetzt.
  • disk_fullNicht genug Speicherplatz für das Modell. Es braucht rund 1,5 GB frei.
  • oomNicht genug Arbeitsspeicher. Schließen Sie andere Programme; OmniVoice braucht rund 2,5 GB frei.
  • bad_paramsDie Zeile hat keinen Text, die Klonstimme hat keine Probe oder keine Wörter dazu bekommen, oder für die Stimme, die Sie beschreiben, ist kein Merkmal gesetzt. Die Meldung sagt, was zutrifft. Öffnen Sie für eine Klonstimme das Video und lassen Sie Clone the timbre only ausgeschaltet.
  • unsupported_voiceDas Projekt nennt eine Stimme, die diese Version nicht hat. Wählen Sie die Stimme im Tab Sprecher erneut.
  • internalIn der Erweiterung ist etwas fehlgeschlagen; die Meldung enthält die Details.

Lizenz

Erweiterung
Apache-2.0
Engine
Apache-2.0
audio.cpp, mit ggml (MIT)
Modell
CC-BY-NC
OmniVoice-Gewichte, von k2-fsa; nur nicht-kommerziell

Die Erweiterung und die audio.cpp-Engine stehen unter Apache-2.0, und ggml, auf dem audio.cpp läuft, steht unter MIT. Die OmniVoice-Gewichte von k2-fsa stehen unter CC-BY-NC: Was Sie damit vertonen, ist nur für nicht-kommerzielle Nutzung bestimmt. Eine geklonte Stimme klingt wie eine echte Person: Klonen Sie nur Stimmen, die Sie verwenden dürfen, und sagen Sie, wo es darauf ankommt, dass eine Synchronisation künstlich erzeugt ist.

Versionen

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Weitere Stimmen-Erweiterungen