OmniVoice ngoại tuyến, nhân bản giọng nói, 646 ngôn ngữ, phi thương mại

Giọng nóiNgoại tuyếnGPU tùy chọnNhân bản giọng nóiPhi thương mại

Lồng tiếng phụ đề của bạn bằng bất kỳ ngôn ngữ nào trong 646 ngôn ngữ với OmniVoice của k2-fsa, bằng chính giọng của mỗi người nói được nhân bản từ video, kể cả sang một ngôn ngữ khác, hoặc bằng một giọng được tạo từ vài đặc điểm. Nó chạy trên máy tính của bạn. Mô hình chỉ dành cho mục đích phi thương mại.

Cài đặt từ Subtitld

Cài đặt Tiện ích bổ sung OmniVoice (offline, voice clone, 646 languages, non-commercial) Cài đặt

Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.

Mã nguồn trên GitHub
Ngôn ngữ
655
Mô hình
1
Giọng nói
12
Tải tiện ích bổ sung
14–17 MB
RAM, tối thiểu
2.5 GB

Nó làm gì

646 ngôn ngữ

Từ tiếng Afrikaans đến tiếng Zulu, với nhiều ngôn ngữ mà không tiện ích nào khác nói được, cùng các biến thể vùng miền của tiếng Ả Rập, tiếng Trung và nhiều ngôn ngữ khác.

Chính giọng của người nói, bằng mọi ngôn ngữ

Subtitld cắt vài giây của mỗi người nói từ video và gửi kèm với các phụ đề được nói trong đó. OmniVoice nhân bản giọng đó, và giữ nguyên giọng khi bản lồng tiếng ở một ngôn ngữ khác.

Hoặc một giọng được tạo ra

Mười giọng có sẵn, từ một đứa trẻ đến một người đàn ông lớn tuổi, hoặc một giọng bạn ghép từ vài đặc điểm: giới tính, tuổi, cao độ, giọng tiếng Anh vùng miền, thì thầm.

Ngoại tuyến sau câu đầu tiên

Mô hình chỉ được tải một lần, vào lần đầu một câu cần đến nó. Sau đó, không có gì rời khỏi máy tính của bạn.

Mô hình phi thương mại. Trọng số OmniVoice theo CC-BY-NC, giấy phép không cho phép sử dụng thương mại. Mã của tiện ích là Apache-2.0, nhưng điều đó không thay đổi điều khoản của trọng số. Với công việc thương mại, VoxCPM2 (30 ngôn ngữ) và ZONOS3-Mini (43 ngôn ngữ) cũng nhân bản giọng, và trọng số của chúng là Apache-2.0.

Trước khi cài đặt

  • Đĩa: khoảng 1,5 GB, phần lớn là mô hình 1,35 GB, được tải khi bạn lồng tiếng câu đầu tiên.
  • Bộ nhớ: khoảng 2,5 GB còn trống.
  • Thời gian: trên CPU, mỗi giây giọng nói mất vài giây để tạo. Trên Intel Core i7-13700T, một câu bằng chính giọng người nói mất khoảng 6 giây cho mỗi giây giọng nói, còn câu đầu tiên của một giọng được tạo ra thì lâu hơn, trong lúc tiện ích tạo giọng. Trên máy Mac Apple Silicon, nó chạy trên GPU.

Để lồng tiếng nhanh, Piper hoặc Kokoro nhẹ hơn nhiều, và Piper cũng hỗ trợ nhiều ngôn ngữ.

Giọng nói

Trong tab Người nói, chọn OmniVoice làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.

12 giọng nói.

Giọng nhân bản

Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề dài 3 đến 12 giây của họ, hoặc vài phụ đề ngắn nối lại, và gửi kèm văn bản phụ đề. OmniVoice cần cả mẫu lẫn lời của mẫu. Bản lồng tiếng có thể ở bất kỳ ngôn ngữ nào của nó, dù mẫu ở ngôn ngữ nào. Fallback reference clip trong cài đặt của tiện ích, cùng với bản ghi lời của nó, chỉ được dùng khi không cắt được mẫu nào.

Clone the timbre only không dùng được với tiện ích này, vì OmniVoice không thể nhân bản nếu thiếu lời của mẫu. Hãy để tùy chọn này tắt cho những người nói dùng OmniVoice.

Giọng được tạo ra

OmniVoice tạo ra một giọng mới mỗi lần đọc một bộ đặc điểm. Vì vậy tiện ích tạo giọng của mỗi người nói một lần, dưới dạng một câu ngắn, và mọi câu của người đó dùng lại giọng ấy: giọng giữ nguyên suốt video, và hai người nói được gán cùng một giọng tạo ra vẫn nghe như hai người khác nhau.

Mô hình

Chỉ có một mô hình, OmniVoice, với trọng số lưu ở 8 bit, như dự án audio.cpp đã chuyển đổi. Nó không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu bạn lồng tiếng, từ Hugging Face ở một phiên bản cố định, và được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại mô hình.

Mô hình Tải vềPhù hợp với
OmniVoice (8-bit) Mặc định omnivoice
1.3 GB
Mọi giọng, cả 646 ngôn ngữ

Câu đầu tiên còn phải nạp mô hình, nên lâu hơn các câu sau. Trên máy Mac Apple Silicon, ở lần đầu tiên, tiện ích bổ sung còn nói một câu thử ngắn trên GPU, và dùng CPU nếu cách đó không được. Hủy sẽ dừng một câu giữa hai bước, hoặc dừng việc tải.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Cấu hình.

Quality steps
Mặc định: 16

Số lượt OmniVoice xử lý mỗi câu. 16 thì nhanh và giữ đủ mọi từ; 32, thiết lập của chính OmniVoice, lâu gấp đôi và gần giọng người nói hơn một chút.

Guidance
Mặc định: 2

Giọng nói bám sát văn bản và giọng đến mức nào. 2,0 là thiết lập của chính OmniVoice.

CPU threads
Mặc định: 0

0 sẽ chọn các lõi hiệu năng trên những CPU có cả lõi tiết kiệm điện. Ít luồng hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.

Voice gender
Mặc định: trống

Dùng cho giọng "Voice you describe". Để một đặc điểm ở Any để OmniVoice tự chọn.

Voice age
Mặc định: trống

Dùng cho giọng "Voice you describe": từ trẻ em đến người cao tuổi.

Voice pitch
Mặc định: trống

Dùng cho giọng "Voice you describe": từ rất trầm đến rất cao.

Accent (English)
Mặc định: trống

Dùng cho giọng "Voice you describe": giọng địa phương khi nói tiếng Anh, chẳng hạn giọng Anh hoặc giọng Ấn Độ.

Whisper
Mặc định: tắt

Dùng cho giọng "Voice you describe": một giọng thì thầm.

Fallback reference clip
Mặc định: trống

Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: 3 đến 15 giây một người đang nói.

Fallback reference transcript
Mặc định: trống

Chính xác những gì được nói trong đoạn dự phòng, từng chữ một. OmniVoice nhân bản từ đoạn âm thanh và lời của nó, nên đoạn dự phòng sẽ bị từ chối nếu thiếu phần này.

Ngôn ngữ

Danh sách 646 ngôn ngữ của chính OmniVoice, gồm tiếng Ả Rập, tiếng Bengal, tiếng Trung và tiếng Quảng Đông, tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Hindi, tiếng Indonesia, tiếng Nhật, tiếng Hàn, tiếng Ba Tư, tiếng Bồ Đào Nha, tiếng Nga, tiếng Tây Ban Nha, tiếng Swahili, tiếng Thổ Nhĩ Kỳ, tiếng Urdu, tiếng Việt, tiếng Yoruba, tiếng Zulu và hàng trăm ngôn ngữ vùng miền. Subtitld cho nó biết ngôn ngữ của dự án; khi không biết ngôn ngữ, OmniVoice tự nhận ra từ văn bản.

  • aae
  • aal
  • aao
  • ab
  • abb
  • abn
  • abr
  • abs
  • abv
  • acm
  • acw
  • acx
  • adf
  • adx
  • ady
  • aeb
  • aec
  • af
  • afb
  • afo
  • ahl
  • ahs
  • ajg
  • aju
  • ala
  • aln
  • alo
  • am
  • amu
  • an
  • anc
  • ank
  • anp
  • anw
  • aom
  • apc
  • apd
  • ar
  • arb
  • arq
  • ars
  • ary
  • arz
  • as
  • ast
  • avl
  • awo
  • ayl
  • ayp
  • az
  • ba
  • bag
  • bas
  • bax
  • bba
  • bbj
  • bbl
  • bbu
  • bce
  • bci
  • bcs
  • bcy
  • bda
  • bde
  • bdm
  • be
  • beb
  • bew
  • bfd
  • bft
  • bg
  • bgp
  • bhb
  • bhh
  • bho
  • bhp
  • bhr
  • bjj
  • bjk
  • bjn
  • bjt
  • bkh
  • bkm
  • bky
  • bmm
  • bmq
  • bn
  • bnm
  • bnn
  • bns
  • bo
  • bou
  • bqg
  • br
  • bra
  • brh
  • bri
  • brx
  • bs
  • bsh
  • bsj
  • bsk
  • btm
  • btv
  • bug
  • bum
  • buo
  • bux
  • bwr
  • bxf
  • byc
  • bys
  • byv
  • byx
  • bzc
  • bzw
  • ca
  • ccg
  • ceb
  • cen
  • cfa
  • cgg
  • chq
  • cjk
  • ckb
  • ckl
  • ckr
  • cky
  • cmn
  • cnh
  • cpy
  • cs
  • cte
  • ctl
  • cut
  • cux
  • cv
  • cy
  • da
  • dag
  • dar
  • dav
  • dbd
  • dcc
  • de
  • deg
  • dgh
  • dgo
  • dje
  • dmk
  • dml
  • dru
  • dty
  • dua
  • dv
  • dyu
  • dzg
  • ebr
  • ebu
  • ego
  • eiv
  • eko
  • ekr
  • el
  • elm
  • en
  • eo
  • es
  • esu
  • et
  • eto
  • ets
  • etu
  • eu
  • ewo
  • ext
  • eyo
  • fa
  • fan
  • fat
  • ff
  • ffm
  • fi
  • fia
  • fil
  • fip
  • fkk
  • fmp
  • fr
  • fub
  • fuc
  • fue
  • fuf
  • fuh
  • fui
  • fuq
  • fuv
  • fy
  • ga
  • gbm
  • gbr
  • gby
  • gcc
  • gdf
  • gej
  • ges
  • ggg
  • gid
  • gig
  • giz
  • gjk
  • gju
  • gl
  • glw
  • gn
  • gol
  • gom
  • gsl
  • gu
  • gui
  • gur
  • guz
  • gv
  • gwc
  • gwe
  • gwt
  • gya
  • gyz
  • ha
  • hah
  • hao
  • haw
  • haz
  • hbb
  • he
  • hem
  • hi
  • hia
  • hkk
  • hla
  • hno
  • hoj
  • hr
  • hsb
  • ht
  • hu
  • hue
  • hul
  • hux
  • hwo
  • hy
  • hz
  • ia
  • ibb
  • id
  • ida
  • idu
  • ig
  • ijc
  • ijn
  • ik
  • ikw
  • in
  • is
  • ish
  • iso
  • it
  • its
  • itw
  • itz
  • iw
  • ja
  • jal
  • jax
  • jgo
  • ji
  • jmx
  • jns
  • jqr
  • juk
  • juo
  • jv
  • ka
  • kab
  • kai
  • kaj
  • kam
  • kbd
  • kbl
  • kbt
  • kcq
  • kdh
  • kea
  • keu
  • kfe
  • kfk
  • kfp
  • khg
  • khw
  • kj
  • kjc
  • kjk
  • kk
  • kln
  • kls
  • km
  • kmr
  • kmy
  • kn
  • kna
  • knn
  • ko
  • kol
  • koo
  • kpo
  • kqo
  • ks
  • ksd
  • ksf
  • kto
  • kuh
  • kvx
  • kw
  • kwm
  • kxp
  • ky
  • kyx
  • lag
  • lb
  • lcm
  • ldb
  • lg
  • lij
  • lir
  • lkb
  • lla
  • ln
  • lnu
  • lo
  • loa
  • lrk
  • lss
  • lt
  • ltg
  • lto
  • lua
  • luo
  • lus
  • lv
  • lwg
  • mab
  • maf
  • mai
  • mau
  • max
  • mbo
  • mcf
  • mcn
  • mcx
  • mdd
  • mde
  • mdf
  • mek
  • mer
  • meu
  • mfm
  • mfn
  • mfo
  • mfv
  • mgg
  • mgi
  • mhk
  • mhr
  • mi
  • mig
  • miu
  • mk
  • mkf
  • mki
  • ml
  • mlq
  • mn
  • mne
  • mni
  • mqy
  • mr
  • mrj
  • mrr
  • mrt
  • ms
  • mse
  • msh
  • msw
  • mt
  • mtr
  • mtu
  • mtx
  • mua
  • mug
  • mui
  • mve
  • mvy
  • mxs
  • mxu
  • mxy
  • my
  • myv
  • mzl
  • nal
  • nan
  • nap
  • nb
  • nbh
  • ncf
  • nco
  • ncx
  • ndi
  • ng
  • ngi
  • nhg
  • nhi
  • nhn
  • nhq
  • nja
  • nl
  • nla
  • nlv
  • nmg
  • nmz
  • nn
  • nnh
  • no
  • noe
  • npi
  • nso
  • ny
  • nyu
  • oc
  • odk
  • odu
  • ogo
  • om
  • orc
  • oru
  • ory
  • os
  • pa
  • pbs
  • pbt
  • pbu
  • pcm
  • pes
  • pex
  • phl
  • phr
  • pip
  • piy
  • pko
  • pl
  • plk
  • plt
  • pmq
  • pms
  • pmy
  • pnb
  • poc
  • poe
  • pow
  • prq
  • ps
  • pst
  • pt
  • pua
  • pwn
  • qug
  • qum
  • qup
  • qur
  • qus
  • quv
  • qux
  • quy
  • qva
  • qvi
  • qvj
  • qvl
  • qwa
  • qws
  • qxa
  • qxp
  • qxt
  • qxu
  • qxw
  • rag
  • rm
  • ro
  • rob
  • rof
  • roo
  • rth
  • ru
  • rup
  • rw
  • sa
  • sah
  • sat
  • sau
  • say
  • sbn
  • sc
  • scl
  • scn
  • sd
  • sei
  • shu
  • si
  • sip
  • siw
  • sjr
  • sk
  • skg
  • skr
  • sl
  • sn
  • snc
  • snk
  • so
  • sol
  • sps
  • sq
  • sr
  • src
  • sro
  • ssi
  • ste
  • sua
  • sv
  • sva
  • sw
  • swh
  • szy
  • ta
  • tan
  • tar
  • tay
  • tbf
  • tcf
  • tcy
  • tdn
  • tdx
  • te
  • tg
  • tgc
  • th
  • the
  • thq
  • thr
  • thv
  • ti
  • tig
  • tio
  • tk
  • tkg
  • tkt
  • tl
  • tli
  • tlp
  • tn
  • tok
  • tpl
  • tpz
  • tqp
  • tr
  • trp
  • trq
  • trv
  • trw
  • tt
  • ttj
  • ttr
  • ttu
  • tui
  • tul
  • tuq
  • tuv
  • tuy
  • tvo
  • tvu
  • tw
  • twu
  • txs
  • txy
  • udl
  • ug
  • uk
  • uki
  • umb
  • ur
  • ush
  • uz
  • uzn
  • vai
  • var
  • ver
  • vi
  • vmc
  • vmj
  • vmm
  • vmp
  • vmz
  • vot
  • vro
  • wbl
  • wci
  • weo
  • wes
  • wja
  • wji
  • wo
  • wof
  • xh
  • xhe
  • xka
  • xmf
  • xmv
  • xmw
  • xpe
  • xti
  • xtu
  • yaq
  • yav
  • yay
  • ydd
  • ydg
  • yer
  • yes
  • yi
  • yo
  • yue
  • zga
  • zgh
  • zh
  • zoc
  • zoh
  • zor
  • zpv
  • zpy
  • zsm
  • ztg
  • ztn
  • ztp
  • zts
  • ztu
  • zu
  • zza

Nền tảng

Hệ thống Tải vềĐã thử
Linux x86-64 17.3 MBLồng tiếng với mô hình thật trên máy thật và trên AlmaLinux 8; trong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu
macOS (Apple silicon) 16.6 MBTrong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu (Apple Silicon)
Windows x86-64 14.0 MBTrong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu

Linux x86-64 (mọi bản phân phối từ 2018 trở đi, glibc 2.28 hoặc mới hơn), macOS 13.3 hoặc mới hơn trên Apple Silicon, và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng CI cài tiện ích bổ sung, tải mô hình, rồi cho nó nói, nhân bản một giọng và hủy một câu.

Khắc phục sự cố

  • network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.
  • disk_fullKhông đủ dung lượng đĩa cho mô hình. Cần khoảng 1,5 GB còn trống.
  • oomHết bộ nhớ. Đóng các chương trình khác; OmniVoice cần khoảng 2,5 GB trống.
  • bad_paramsCâu không có văn bản, giọng nhân bản không có mẫu hoặc không có lời đi kèm, hoặc giọng bạn mô tả chưa đặt đặc điểm nào. Thông báo cho biết là trường hợp nào. Với giọng nhân bản, hãy mở video và để Clone the timbre only tắt.
  • unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.
  • internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.

Giấy phép

Tiện ích bổ sung
Apache-2.0
Công cụ
Apache-2.0
audio.cpp, với ggml (MIT)
Mô hình
CC-BY-NC
Trọng số OmniVoice, của k2-fsa; chỉ phi thương mại

Tiện ích bổ sung và công cụ audio.cpp theo Apache-2.0, còn ggml, nền tảng mà audio.cpp chạy trên đó, theo MIT. Trọng số OmniVoice, của k2-fsa, theo CC-BY-NC: những gì bạn lồng tiếng bằng chúng chỉ dành cho mục đích phi thương mại. Một giọng nhân bản nghe như người thật: hãy chỉ nhân bản những giọng bạn có quyền sử dụng, và nói rõ bản lồng tiếng là giọng tổng hợp khi điều đó quan trọng.

Phiên bản

  • 26.11.1

    The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.

    • 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
    • The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
    • Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
    • A speaker's rate sets the pace.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
    • The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Các tiện ích bổ sung Giọng nói khác