OmniVoice офлайн, клонування голосу, 646 мов, некомерційна

ГолосиОфлайнGPU необов'язковийКлонування голосуНекомерційний

Озвучує ваші субтитри будь-якою з 646 мов за допомогою OmniVoice від k2-fsa: власним голосом кожного мовця, клонованим з відео, навіть іншою мовою, або голосом, створеним з кількох рис. Працює на вашому комп’ютері. Модель призначена лише для некомерційного використання.

Встановіть його з Subtitld

Налаштування Додатки OmniVoice (offline, voice clone, 646 languages, non-commercial) Встановити

Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.

Джерело на GitHub
Мови
655
Моделі
1
Голоси
12
Завантаження додатка
14–17 MB
ОЗП, щонайменше
2.5 GB

Що це робить

646 мов

Від африкаанс до зулу, з багатьма мовами, якими не говорить жоден інший додаток, і з регіональними варіантами арабської, китайської та інших мов.

Власний голос мовця, будь-якою мовою

Subtitld вирізає з відео кілька секунд кожного мовця й передає їх разом із субтитрами, які в них вимовлено. OmniVoice клонує цей голос і зберігає його, навіть коли дубляж іншою мовою.

Або створений голос

Десять готових голосів, від дитячого до голосу літнього чоловіка, або голос, який ви складаєте з кількох рис: стать, вік, висота, англійський акцент, шепіт.

Офлайн після першої репліки

Модель завантажується один раз, коли вона вперше потрібна для репліки. Після цього ніщо не залишає ваш комп’ютер.

Некомерційна модель. Ваги OmniVoice поширюються за ліцензією CC-BY-NC, яка не дозволяє комерційного використання. Код додатка має ліцензію Apache-2.0, але це не змінює умов для ваг. Для комерційної роботи VoxCPM2 (30 мов) і ZONOS3-Mini (43 мови) теж клонують голоси, а їхні ваги мають ліцензію Apache-2.0.

Перед встановленням

  • Диск: близько 1,5 ГБ, переважно модель на 1,35 ГБ, яка завантажується під час озвучування першої репліки.
  • Пам’ять: близько 2,5 ГБ вільної.
  • Час: на ЦП кожна секунда мовлення створюється кілька секунд. На Intel Core i7-13700T репліка власним голосом мовця займала близько 6 секунд на кожну секунду мовлення, а перша репліка створеного голосу триває довше, поки додаток створює голос. На Mac з Apple Silicon він працює на GPU.

Для швидкого дублювання Piper або Kokoro набагато легші, і Piper теж охоплює багато мов.

Голоси

На вкладці Мовці оберіть OmniVoice як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.

12 голосів.

Клонований голос

З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту — з одного його субтитру тривалістю від 3 до 12 секунд або з кількох коротких, з’єднаних разом, — і передає разом із ним текст субтитру. OmniVoice потрібні і зразок, і його слова. Дубляж може бути будь-якою з його мов, хоч би якою мовою був зразок. Fallback reference clip у налаштуваннях додатка разом із його транскриптом використовується лише тоді, коли зразок вирізати не вдалося.

Clone the timbre only із цим додатком не працює, бо OmniVoice не може клонувати без слів зразка. Залиште цей параметр вимкненим для мовців, які використовують OmniVoice.

Створені голоси

OmniVoice створює новий голос щоразу, коли читає набір рис. Тому додаток створює голос кожного мовця один раз, у вигляді короткого речення, і всі його репліки використовують цей голос: голос не змінюється впродовж відео, а два мовці з однаковим створеним голосом усе одно звучать як дві різні людини.

Моделі

Модель одна — OmniVoice, з вагами, збереженими у 8 бітах, як їх конвертував проєкт audio.cpp. Вона не входить до додатка: під час першого озвучування вона завантажується до спільного кешу моделей Subtitld з Hugging Face, із закріпленою ревізією, і перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка модель зберігає.

Модель ЗавантаженняДобре для
OmniVoice (8-bit) За замовчуванням omnivoice
1.3 GB
Будь-який голос, усіма 646 мовами

Перша репліка ще й завантажує модель, тож триває довше за наступні. На Mac з Apple Silicon у найперший раз додаток також промовляє одну коротку тестову репліку на GPU, а якщо це не вдається, використовує ЦП. Скасування зупиняє репліку між двома кроками або зупиняє завантаження.

Параметри

У Налаштуваннях › Додатки › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Налаштувати.

Quality steps
За замовчуванням: 16

Скільки проходів OmniVoice робить по кожній репліці. 16 — швидко й без втрати слів; 32, власне налаштування OmniVoice, триває вдвічі довше й звучить трохи ближче до мовця.

Guidance
За замовчуванням: 2

Наскільки точно мовлення слідує за текстом і голосом. 2,0 — власне налаштування OmniVoice.

CPU threads
За замовчуванням: 0

0 обирає продуктивні ядра на ЦП, які мають і енергоефективні. Менше потоків — комп’ютер чутливіший під час озвучування.

Voice gender
За замовчуванням: порожньо

Для голосу «Voice you describe». Залиште рису на Any, щоб OmniVoice обрав її сам.

Voice age
За замовчуванням: порожньо

Для голосу «Voice you describe»: від дитини до літньої людини.

Voice pitch
За замовчуванням: порожньо

Для голосу «Voice you describe»: від дуже низького до дуже високого.

Accent (English)
За замовчуванням: порожньо

Для голосу «Voice you describe»: акцент, з яким він говорить англійською, наприклад британський чи індійський.

Whisper
За замовчуванням: вимк.

Для голосу «Voice you describe»: шепіт.

Fallback reference clip
За замовчуванням: порожньо

Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: від 3 до 15 секунд мовлення однієї людини.

Fallback reference transcript
За замовчуванням: порожньо

Точно те, що сказано в резервному кліпі, слово в слово. OmniVoice клонує за кліпом і його словами, тож без цього тексту резервний кліп відхиляється.

Мови

Власний список OmniVoice із 646 мов, серед них арабська, бенгальська, китайська й кантонська, англійська, французька, німецька, гінді, індонезійська, японська, корейська, перська, португальська, російська, іспанська, суахілі, турецька, урду, в’єтнамська, йоруба, зулу та сотні регіональних мов. Subtitld повідомляє йому мову проєкту; коли мова невідома, OmniVoice визначає її за текстом.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

Платформи

Система ЗавантаженняПеревірено
Linux x86-64 17.3 MBОзвучено справжньою моделлю на справжньому комп’ютері, а також на AlmaLinux 8; у CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку
macOS (Apple silicon) 16.6 MBУ CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку (Apple Silicon)
Windows x86-64 14.0 MBУ CI встановлений додаток завантажує модель, говорить, клонує голос і скасовує репліку

Linux x86-64 (будь-який дистрибутив від 2018 року, glibc 2.28 або новіша), macOS 13.3 або новіша на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній CI встановлює додаток, завантажує модель і змушує її говорити, клонувати голос і скасовувати репліку.

Усунення несправностей

  • network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.
  • disk_fullНедостатньо місця на диску для моделі. Потрібно близько 1,5 ГБ вільного місця.
  • oomНедостатньо пам’яті. Закрийте інші програми; OmniVoice потребує близько 2,5 ГБ вільної пам’яті.
  • bad_paramsУ репліці немає тексту, голос-клон не отримав зразка або слів до нього, або для голосу за описом не задано жодної риси. Повідомлення вказує, що саме. Для клонованого голосу відкрийте відео й залиште Clone the timbre only вимкненим.
  • unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.
  • internalУсередині додатка стався збій; подробиці в повідомленні.

Ліцензія

Додаток
Apache-2.0
Рушій
Apache-2.0
audio.cpp, з ggml (MIT)
Модель
CC-BY-NC
Ваги OmniVoice, від k2-fsa; лише для некомерційного використання

Додаток і рушій audio.cpp мають ліцензію Apache-2.0, а ggml, на якому працює audio.cpp, — MIT. Ваги OmniVoice від k2-fsa мають ліцензію CC-BY-NC: створений з ними дубляж — лише для некомерційного використання. Клонований голос звучить як справжня людина: клонуйте голоси, які ви маєте право використовувати, і зазначайте, що дубляж синтетичний, там, де це важливо.

Версії

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Інші додатки групи «Голоси»