OmniVoice ngoại tuyến, nhân bản giọng nói, 646 ngôn ngữ, phi thương mại
Lồng tiếng phụ đề của bạn bằng bất kỳ ngôn ngữ nào trong 646 ngôn ngữ với OmniVoice của k2-fsa, bằng chính giọng của mỗi người nói được nhân bản từ video, kể cả sang một ngôn ngữ khác, hoặc bằng một giọng được tạo từ vài đặc điểm. Nó chạy trên máy tính của bạn. Mô hình chỉ dành cho mục đích phi thương mại.
Cài đặt Tiện ích bổ sung OmniVoice (offline, voice clone, 646 languages, non-commercial) Cài đặt
Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.
- Ngôn ngữ
- 655
- Mô hình
- 1
- Giọng nói
- 12
- Tải tiện ích bổ sung
- 14–17 MB
- RAM, tối thiểu
- 2.5 GB
Nó làm gì
Từ tiếng Afrikaans đến tiếng Zulu, với nhiều ngôn ngữ mà không tiện ích nào khác nói được, cùng các biến thể vùng miền của tiếng Ả Rập, tiếng Trung và nhiều ngôn ngữ khác.
Subtitld cắt vài giây của mỗi người nói từ video và gửi kèm với các phụ đề được nói trong đó. OmniVoice nhân bản giọng đó, và giữ nguyên giọng khi bản lồng tiếng ở một ngôn ngữ khác.
Mười giọng có sẵn, từ một đứa trẻ đến một người đàn ông lớn tuổi, hoặc một giọng bạn ghép từ vài đặc điểm: giới tính, tuổi, cao độ, giọng tiếng Anh vùng miền, thì thầm.
Mô hình chỉ được tải một lần, vào lần đầu một câu cần đến nó. Sau đó, không có gì rời khỏi máy tính của bạn.
Mô hình phi thương mại. Trọng số OmniVoice theo CC-BY-NC, giấy phép không cho phép sử dụng thương mại. Mã của tiện ích là Apache-2.0, nhưng điều đó không thay đổi điều khoản của trọng số. Với công việc thương mại, VoxCPM2 (30 ngôn ngữ) và ZONOS3-Mini (43 ngôn ngữ) cũng nhân bản giọng, và trọng số của chúng là Apache-2.0.
Trước khi cài đặt
- Đĩa: khoảng 1,5 GB, phần lớn là mô hình 1,35 GB, được tải khi bạn lồng tiếng câu đầu tiên.
- Bộ nhớ: khoảng 2,5 GB còn trống.
- Thời gian: trên CPU, mỗi giây giọng nói mất vài giây để tạo. Trên Intel Core i7-13700T, một câu bằng chính giọng người nói mất khoảng 6 giây cho mỗi giây giọng nói, còn câu đầu tiên của một giọng được tạo ra thì lâu hơn, trong lúc tiện ích tạo giọng. Trên máy Mac Apple Silicon, nó chạy trên GPU.
Để lồng tiếng nhanh, Piper hoặc Kokoro nhẹ hơn nhiều, và Piper cũng hỗ trợ nhiều ngôn ngữ.
Giọng nói
Trong tab Người nói, chọn OmniVoice làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.
12 giọng nói.
Giọng nhân bản
Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề dài 3 đến 12 giây của họ, hoặc vài phụ đề ngắn nối lại, và gửi kèm văn bản phụ đề. OmniVoice cần cả mẫu lẫn lời của mẫu. Bản lồng tiếng có thể ở bất kỳ ngôn ngữ nào của nó, dù mẫu ở ngôn ngữ nào. Fallback reference clip trong cài đặt của tiện ích, cùng với bản ghi lời của nó, chỉ được dùng khi không cắt được mẫu nào.
Clone the timbre only không dùng được với tiện ích này, vì OmniVoice không thể nhân bản nếu thiếu lời của mẫu. Hãy để tùy chọn này tắt cho những người nói dùng OmniVoice.
Giọng được tạo ra
OmniVoice tạo ra một giọng mới mỗi lần đọc một bộ đặc điểm. Vì vậy tiện ích tạo giọng của mỗi người nói một lần, dưới dạng một câu ngắn, và mọi câu của người đó dùng lại giọng ấy: giọng giữ nguyên suốt video, và hai người nói được gán cùng một giọng tạo ra vẫn nghe như hai người khác nhau.
Mô hình
Chỉ có một mô hình, OmniVoice, với trọng số lưu ở 8 bit, như dự án audio.cpp đã chuyển đổi. Nó không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu bạn lồng tiếng, từ Hugging Face ở một phiên bản cố định, và được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại mô hình.
| Mô hình | Tải về | Phù hợp với |
|---|---|---|
| OmniVoice (8-bit) Mặc định omnivoice | Mọi giọng, cả 646 ngôn ngữ |
Câu đầu tiên còn phải nạp mô hình, nên lâu hơn các câu sau. Trên máy Mac Apple Silicon, ở lần đầu tiên, tiện ích bổ sung còn nói một câu thử ngắn trên GPU, và dùng CPU nếu cách đó không được. Hủy sẽ dừng một câu giữa hai bước, hoặc dừng việc tải.
Tùy chọn
Trong Cài đặt › Tiện ích bổ sung › OmniVoice (offline, voice clone, 646 languages, non-commercial) › Cấu hình.
16Số lượt OmniVoice xử lý mỗi câu. 16 thì nhanh và giữ đủ mọi từ; 32, thiết lập của chính OmniVoice, lâu gấp đôi và gần giọng người nói hơn một chút.
2Giọng nói bám sát văn bản và giọng đến mức nào. 2,0 là thiết lập của chính OmniVoice.
00 sẽ chọn các lõi hiệu năng trên những CPU có cả lõi tiết kiệm điện. Ít luồng hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.
Dùng cho giọng "Voice you describe". Để một đặc điểm ở Any để OmniVoice tự chọn.
Dùng cho giọng "Voice you describe": từ trẻ em đến người cao tuổi.
Dùng cho giọng "Voice you describe": từ rất trầm đến rất cao.
Dùng cho giọng "Voice you describe": giọng địa phương khi nói tiếng Anh, chẳng hạn giọng Anh hoặc giọng Ấn Độ.
Dùng cho giọng "Voice you describe": một giọng thì thầm.
Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: 3 đến 15 giây một người đang nói.
Chính xác những gì được nói trong đoạn dự phòng, từng chữ một. OmniVoice nhân bản từ đoạn âm thanh và lời của nó, nên đoạn dự phòng sẽ bị từ chối nếu thiếu phần này.
Ngôn ngữ
Danh sách 646 ngôn ngữ của chính OmniVoice, gồm tiếng Ả Rập, tiếng Bengal, tiếng Trung và tiếng Quảng Đông, tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Hindi, tiếng Indonesia, tiếng Nhật, tiếng Hàn, tiếng Ba Tư, tiếng Bồ Đào Nha, tiếng Nga, tiếng Tây Ban Nha, tiếng Swahili, tiếng Thổ Nhĩ Kỳ, tiếng Urdu, tiếng Việt, tiếng Yoruba, tiếng Zulu và hàng trăm ngôn ngữ vùng miền. Subtitld cho nó biết ngôn ngữ của dự án; khi không biết ngôn ngữ, OmniVoice tự nhận ra từ văn bản.
aaeaalaaoababbabnabrabsabvacmacwacxadfadxadyaebaecafafbafoahlahsajgajualaalnaloamamuanancankanpanwaomapcapdararbarqarsaryarzasastavlawoaylaypazbabagbasbaxbbabbjbblbbubcebcibcsbcybdabdebdmbebebbewbfdbftbgbgpbhbbhhbhobhpbhrbjjbjkbjnbjtbkhbkmbkybmmbmqbnbnmbnnbnsboboubqgbrbrabrhbribrxbsbshbsjbskbtmbtvbugbumbuobuxbwrbxfbycbysbyvbyxbzcbzwcaccgcebcencfacggchqcjkckbcklckrckycmncnhcpycsctectlcutcuxcvcydadagdardavdbddccdedegdghdgodjedmkdmldrudtyduadvdyudzgebrebuegoeivekoekrelelmeneoesesuetetoetsetueuewoexteyofafanfatffffmfifiafilfipfkkfmpfrfubfucfuefuffuhfuifuqfuvfygagbmgbrgbygccgdfgejgesggggidgiggizgjkgjuglglwgngolgomgslguguigurguzgvgwcgwegwtgyagyzhahahhaohawhazhbbhehemhihiahkkhlahnohojhrhsbhthuhuehulhuxhwohyhziaibbididaiduigijcijnikikwinisishisoititsitwitziwjajaljaxjgojijmxjnsjqrjukjuojvkakabkaikajkamkbdkblkbtkcqkdhkeakeukfekfkkfpkhgkhwkjkjckjkkkklnklskmkmrkmyknknaknnkokolkookpokqoksksdksfktokuhkvxkwkwmkxpkykyxlaglblcmldblglijlirlkbllalnlnuloloalrklssltltgltolualuoluslvlwgmabmafmaimaumaxmbomcfmcnmcxmddmdemdfmekmermeumfmmfnmfomfvmggmgimhkmhrmimigmiumkmkfmkimlmlqmnmnemnimqymrmrjmrrmrtmsmsemshmswmtmtrmtumtxmuamugmuimvemvymxsmxumxymymyvmzlnalnannapnbnbhncfnconcxndingnginhgnhinhnnhqnjanlnlanlvnmgnmznnnnhnonoenpinsonynyuocodkoduogoomorcoruoryospapbspbtpbupcmpespexphlphrpippiypkoplplkpltpmqpmspmypnbpocpoepowprqpspstptpuapwnqugqumqupqurqusquvquxquyqvaqviqvjqvlqwaqwsqxaqxpqxtqxuqxwragrmrorobrofroorthruruprwsasahsatsausaysbnscsclscnsdseishusisipsiwsjrskskgskrslsnsncsnksosolspssqsrsrcsrossistesuasvsvaswswhszytatantartaytbftcftcytdntdxtetgtgcththethqthrthvtitigtiotktkgtkttltlitlptntoktpltpztqptrtrptrqtrvtrwttttjttrttutuitultuqtuvtuytvotvutwtwutxstxyudlugukukiumburushuzuznvaivarvervivmcvmjvmmvmpvmzvotvrowblwciweoweswjawjiwowofxhxhexkaxmfxmvxmwxpextixtuyaqyavyayyddydgyeryesyiyoyuezgazghzhzoczohzorzpvzpyzsmztgztnztpztsztuzuzza
Nền tảng
| Hệ thống | Tải về | Đã thử |
|---|---|---|
| Linux x86-64 | 17.3 MB | Lồng tiếng với mô hình thật trên máy thật và trên AlmaLinux 8; trong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu |
| macOS (Apple silicon) | 16.6 MB | Trong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu (Apple Silicon) |
| Windows x86-64 | 14.0 MB | Trong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu |
Linux x86-64 (mọi bản phân phối từ 2018 trở đi, glibc 2.28 hoặc mới hơn), macOS 13.3 hoặc mới hơn trên Apple Silicon, và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng CI cài tiện ích bổ sung, tải mô hình, rồi cho nó nói, nhân bản một giọng và hủy một câu.
Khắc phục sự cố
network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.disk_fullKhông đủ dung lượng đĩa cho mô hình. Cần khoảng 1,5 GB còn trống.oomHết bộ nhớ. Đóng các chương trình khác; OmniVoice cần khoảng 2,5 GB trống.bad_paramsCâu không có văn bản, giọng nhân bản không có mẫu hoặc không có lời đi kèm, hoặc giọng bạn mô tả chưa đặt đặc điểm nào. Thông báo cho biết là trường hợp nào. Với giọng nhân bản, hãy mở video và để Clone the timbre only tắt.unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.
Giấy phép
Tiện ích bổ sung và công cụ audio.cpp theo Apache-2.0, còn ggml, nền tảng mà audio.cpp chạy trên đó, theo MIT. Trọng số OmniVoice, của k2-fsa, theo CC-BY-NC: những gì bạn lồng tiếng bằng chúng chỉ dành cho mục đích phi thương mại. Một giọng nhân bản nghe như người thật: hãy chỉ nhân bản những giọng bạn có quyền sử dụng, và nói rõ bản lồng tiếng là giọng tổng hợp khi điều đó quan trọng.
Phiên bản
- 26.11.1
The first release: text-to-speech for Subtitld with k2-fsa's OmniVoice.
- 646 languages, from Afrikaans to Zulu, with many regional languages and varieties.
- The speaker's own voice, cloned from the clip Subtitld cuts from the video and its subtitles, and kept when the dub is in another language. OmniVoice needs the clip's words, so "Clone the timbre only" doesn't work with this add-on.
- Ten designed voices (from a child to an older man, a whispering woman) and a voice you describe in Configure from a few traits: gender, age, pitch, an English accent, whisper. Each speaker's voice is made once and kept the same on every line.
- A speaker's rate sets the pace.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes about 6 seconds per second of speech on a recent laptop CPU.
- The 1.35 GB model downloads on the first line, pinned and checked; about 2.5 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The OmniVoice weights are CC BY-NC: what you dub with them is for non-commercial use only. The add-on and audio.cpp are Apache-2.0; ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Các tiện ích bổ sung Giọng nói khác
-
Piper Ngoại tuyến
158 giọng ngoại tuyến trong 49 ngôn ngữ, mỗi giọng là một bản tải nhỏ riêng.
-
Kokoro Ngoại tuyến
54 giọng ngoại tuyến trong chín ngôn ngữ, tất cả từ một mô hình 82 MB.
-
Supertonic Ngoại tuyến
Mười giọng ngoại tuyến, mỗi giọng nói được cả 31 ngôn ngữ của nó.
-
sanoTTS Ngoại tuyến
Giọng ngoại tuyến nhỏ gọn, 28 giọng trong 14 ngôn ngữ, mỗi giọng dưới 10 MB.
-
Parler-TTS Ngoại tuyến
Giọng tiếng Anh theo mô tả bằng văn bản; 34 người nói có tên.
-
Qwen3-TTS Nhân bản
Mười ngôn ngữ, chín giọng, và nhân bản giọng từ 3 giây của một người nói.
-
Coqui XTTS Nhân bản
Nhân bản giọng trong 16 ngôn ngữ, với giấy phép mô hình phi thương mại.
-
F5-TTS Nhân bản
Chỉ nhân bản giọng, bằng tiếng Anh và tiếng Trung; mô hình phi thương mại.
-
VoxCPM2 Nhân bản
30 ngôn ngữ ở 48 kHz, bằng chính giọng người nói hoặc một giọng được mô tả. Nặng.
-
Pocket TTS Ngoại tuyến
Nhanh và nhẹ, chỉ dùng CPU. 23 giọng trong bảy ngôn ngữ châu Âu.
-
Sopro Nhân bản
Chính giọng người nói, nhanh trên CPU. Bốn ngôn ngữ.
-
KittenTTS 2 Nhân bản
Chính giọng người nói bằng 16 ngôn ngữ, trên CPU. Trọng số theo một giấy phép hạn chế.
-
Ming-3.0-tts Nhân bản
7 ngôn ngữ ở 44,1 kHz: giọng nhân bản, tích hợp hoặc được mô tả, có cảm xúc. Nặng.
-
Scylla's Band Ngoại tuyến
Mười bốn giọng nói sáu ngôn ngữ, nhẹ và nhanh trên CPU. Chỉ có giọng có sẵn.
-
Audio8 TTS Nhân bản
Chính giọng người nói bằng 23 ngôn ngữ, kể cả tiếng Quảng Đông và tiếng Ả Rập. Chậm trên CPU.
-
Inflect Ngoại tuyến
Giọng tiếng Anh tự nhiên từ một mô hình tí hon, nhanh trên mọi CPU.
-
Paradee Ngoại tuyến
Bốn giọng tiếng Anh tự nhiên, Mỹ và Anh, từ một mô hình duy nhất 8,5 MB.
-
BlueTTS Nhân bản
Tiếng Do Thái và tiếng Yiddish, cùng năm ngôn ngữ khác. Chính giọng người nói, nhanh trên CPU.
-
ZONOS3-Mini Nhân bản
43 ngôn ngữ, từ tiếng Ả Rập đến tiếng Việt. Chính giọng người nói, trên CPU.
-
Reverb Nhân bản
Bảy ngôn ngữ châu Âu và chính giọng người nói, trên CPU; mô hình phi thương mại.
-
Chatterbox Nhân bản
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…