OmniVoice офлайн, клонирование голоса, 646 языков, некоммерческая

ГолосаОфлайнGPU необязательноКлонирование голосаНекоммерческое

Озвучивает ваши субтитры на любом из 646 языков с помощью OmniVoice от k2-fsa: собственным голосом каждого говорящего, клонированным из видео, даже на другом языке, или голосом, собранным из нескольких черт. Работает на вашем компьютере. Модель предназначена только для некоммерческого использования.

Установите из Subtitld

Настройки Дополнения OmniVoice (offline, voice clone, 646 languages, non-commercial) Установка

Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.

Исходный код на GitHub
Языки
655
Модели
1
Голоса
12
Загрузка дополнения
14–17 MB
ОЗУ, не меньше
2.5 GB

Что он делает

646 языков

От африкаанс до зулу, включая многие языки, на которых не говорит ни одно другое дополнение, и региональные варианты арабского, китайского и других языков.

Собственный голос говорящего, на любом языке

Subtitld вырезает из видео несколько секунд каждого говорящего и передаёт их вместе с субтитрами, которые в них произносятся. OmniVoice клонирует этот голос и сохраняет его, даже когда дубляж на другом языке.

Или собранный голос

Десять готовых голосов, от детского до голоса пожилого мужчины, или голос, который вы собираете из нескольких черт: пол, возраст, высота, английский акцент, шёпот.

Офлайн после первой реплики

Модель загружается один раз, когда она впервые нужна для реплики. После этого ничего не покидает ваш компьютер.

Некоммерческая модель. Веса OmniVoice распространяются под CC-BY-NC, которая не разрешает коммерческое использование. Код дополнения лицензирован по Apache-2.0, но это не меняет условий для весов. Для коммерческой работы голоса тоже клонируют VoxCPM2 (30 языков) и ZONOS3-Mini (43 языка), а их веса — под Apache-2.0.

Перед установкой

  • Диск: около 1,5 ГБ, в основном модель на 1,35 ГБ, которая загружается при озвучивании первой реплики.
  • Память: около 2,5 ГБ свободной.
  • Время: на процессоре каждая секунда речи создаётся несколько секунд. На Intel Core i7-13700T реплика собственным голосом говорящего занимала около 6 секунд на секунду речи, а первая реплика собранного голоса занимает больше времени, пока дополнение создаёт голос. На Mac с Apple Silicon она работает на GPU.

Для быстрого дубляжа Piper или Kokoro гораздо легче, а Piper тоже знает много языков.

Голоса

На вкладке Говорящие выберите OmniVoice как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.

Голосов: 12.

Клонированный голос

С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра длиной от 3 до 12 секунд или из нескольких коротких, склеенных вместе, — и передаёт вместе с ним текст субтитра. OmniVoice нужны и образец, и его слова. Дубляж может быть на любом из его языков, на каком бы языке ни был образец. Fallback reference clip в настройках дополнения вместе с его транскриптом используется, только когда образец вырезать нельзя.

Clone the timbre only не работает с этим дополнением, потому что OmniVoice не умеет клонировать без слов образца. Оставьте эту настройку выключенной для говорящих, которые используют OmniVoice.

Собранные голоса

OmniVoice создаёт новый голос каждый раз, когда читает набор черт. Поэтому дополнение создаёт голос каждого говорящего один раз, в виде короткой фразы, и все его реплики используют этот голос: голос не меняется на протяжении видео, а два говорящих с одинаковым собранным голосом всё равно звучат как два разных человека.

Модели

Модель одна — OmniVoice, её веса хранятся в 8 битах, в том виде, в каком её преобразовал проект audio.cpp. Она не входит в дополнение: при первом озвучивании она загружается в общий кэш моделей Subtitld с Hugging Face, с закреплённой ревизией, и проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения модель сохраняет.

Модель ЗагрузкаПодходит для
OmniVoice (8-bit) По умолчанию omnivoice
1.3 GB
Любой голос, на всех 646 языках

Первая реплика ещё и загружает модель, поэтому занимает больше времени, чем следующие. На Mac с Apple Silicon в самый первый раз дополнение также произносит одну короткую тестовую реплику на GPU, а если это не получается, использует процессор. Отмена останавливает реплику между двумя шагами или останавливает загрузку.

Настройки

В разделе «Настройки › Дополнения › OmniVoice (offline, voice clone, 646 languages, non-commercial)» нажмите «Настроить».

Quality steps
По умолчанию: 16

Сколько проходов OmniVoice делает по каждой реплике. 16 — быстро и без потерянных слов; 32, собственная настройка OmniVoice, — вдвое дольше и чуть ближе к говорящему.

Guidance
По умолчанию: 2

Насколько точно речь следует тексту и голосу. 2,0 — собственная настройка OmniVoice.

CPU threads
По умолчанию: 0

0 выбирает производительные ядра на процессорах, где есть и энергоэффективные. Меньше потоков — компьютер отзывчивее во время озвучивания.

Voice gender
По умолчанию: пусто

Для голоса «Voice you describe». Оставьте черту на Any, чтобы OmniVoice выбрал её сам.

Voice age
По умолчанию: пусто

Для голоса «Voice you describe»: от ребёнка до пожилого человека.

Voice pitch
По умолчанию: пусто

Для голоса «Voice you describe»: от очень низкого до очень высокого.

Accent (English)
По умолчанию: пусто

Для голоса «Voice you describe»: акцент, с которым он говорит по-английски, например британский или индийский.

Whisper
По умолчанию: выкл.

Для голоса «Voice you describe»: шёпот.

Fallback reference clip
По умолчанию: пусто

Клип для голоса-клона, когда Subtitld не может вырезать его из видео, например если видео не открыто: от 3 до 15 секунд речи одного человека.

Fallback reference transcript
По умолчанию: пусто

Точно то, что говорится в резервном клипе, слово в слово. OmniVoice клонирует по клипу и его словам, поэтому без этого текста резервный клип отклоняется.

Языки

Собственный список OmniVoice из 646 языков, среди них арабский, бенгальский, китайский и кантонский, английский, французский, немецкий, хинди, индонезийский, японский, корейский, персидский, португальский, русский, испанский, суахили, турецкий, урду, вьетнамский, йоруба, зулу и сотни региональных языков. Subtitld сообщает ему язык проекта; если язык неизвестен, OmniVoice определяет его по тексту.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

Платформы

Система ЗагрузкаПроверено
Linux x86-64 17.3 MBОзвучено реальной моделью на реальной машине и на AlmaLinux 8; в CI установленное дополнение загружает модель, говорит, клонирует голос и отменяет реплику
macOS (Apple silicon) 16.6 MBВ CI установленное дополнение загружает модель, говорит, клонирует голос и отменяет реплику (Apple Silicon)
Windows x86-64 14.0 MBВ CI установленное дополнение загружает модель, говорит, клонирует голос и отменяет реплику

Linux x86-64 (любой дистрибутив с 2018 года, glibc 2.28 или новее), macOS 13.3 или новее на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение, загружает модель и заставляет её говорить, клонировать голос и отменять реплику.

Устранение неполадок

  • network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.
  • disk_fullНедостаточно места на диске для модели. Нужно около 1,5 ГБ свободного места.
  • oomНе хватает памяти. Закройте другие программы; OmniVoice нужно около 2,5 ГБ свободной памяти.
  • bad_paramsВ реплике нет текста, голос-клон не получил образца или его слов, или у голоса, который вы описываете, не задано ни одной черты. В сообщении сказано, что именно. Для клонированного голоса откройте видео и оставьте Clone the timbre only выключенным.
  • unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.
  • internalВнутри дополнения произошёл сбой; подробности в сообщении.

Лицензия

Дополнение
Apache-2.0
Движок
Apache-2.0
audio.cpp, с ggml (MIT)
Модель
CC-BY-NC
Веса OmniVoice, от k2-fsa; только для некоммерческого использования

Дополнение и движок audio.cpp лицензированы по Apache-2.0, а ggml, на котором работает audio.cpp, — по MIT. Веса OmniVoice от k2-fsa — под CC-BY-NC: то, что вы ими озвучите, можно использовать только некоммерчески. Клонированный голос звучит как реальный человек: клонируйте голоса, которые вы вправе использовать, и указывайте, что дубляж синтетический, там, где это важно.

Версии

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Другие дополнения группы «Голоса»