ZONOS3-Mini ngoại tuyến, nhân bản giọng nói, 43 ngôn ngữ
Lồng tiếng phụ đề của bạn bằng 43 ngôn ngữ với ZONOS3-Mini, của Zyphra, bằng một trong 27 giọng hoặc bằng chính giọng của mỗi người nói được nhân bản từ vài giây của video. Nó chạy trên bộ xử lý của chính máy tính bạn, nhanh gấp khoảng hai lần thời gian thực, không cần card đồ họa.
Cài đặt Tiện ích bổ sung ZONOS3-Mini (offline, voice clone, 43 languages) Cài đặt
Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.
- Ngôn ngữ
- 43
- Mô hình
- 2
- Giọng nói
- 28
- Tải tiện ích bổ sung
- 19–24 MB
- RAM, tối thiểu
- 2 GB
Nó làm gì
Từ tiếng Ả Rập, tiếng Bengal và tiếng Bulgaria đến tiếng Thổ Nhĩ Kỳ, tiếng Urdu và tiếng Việt, gồm cả tiếng Nhật, tiếng Hàn, tiếng Quan Thoại, tiếng Hindi và tám ngôn ngữ khác của Ấn Độ. Số, ngày tháng, giá tiền và đơn vị được đọc theo ngữ pháp riêng của từng ngôn ngữ.
Subtitld cắt một mẫu của mỗi người nói từ video và gửi kèm với mỗi câu. ZONOS3-Mini nhân bản giọng đó bằng bất kỳ ngôn ngữ nào của nó. Hoặc chọn một trong 27 giọng.
Mỗi câu được kiểm tra trong lúc được nói, nên không có từ nào bị bỏ sót, và câu dừng lại khi văn bản đã được đọc xong thay vì nói tiếp những từ không có trong phụ đề.
Mô hình chỉ được tải một lần, vào lần đầu một câu cần đến nó. Sau đó, không có gì rời khỏi máy tính của bạn.
Trước khi cài đặt
- Đĩa: 1.115 MB cho mô hình, được tải ở câu đầu tiên, và thêm 45 MB vào lần đầu bạn dùng chính giọng của một người nói.
- Bộ nhớ: khoảng 1,6 GB khi đang nói.
- Thời gian: trên Intel Core i7-13700T, một giây giọng nói mất khoảng nửa giây để tạo. Câu đầu tiên phải chờ thêm khoảng 4 giây trong khi mô hình được nạp, và câu đầu tiên bằng chính giọng của một người nói chờ thêm khoảng 5 giây trong khi giọng đó được học.
- Bộ xử lý: bộ xử lý Intel hoặc AMD 64 bit có AVX2 (Intel từ 2013, AMD từ 2015), hoặc Apple Silicon. Không dùng card đồ họa.
Giọng nói
Trong tab Người nói, chọn ZONOS3-Mini làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.
28 giọng nói.
| Thu âm bằng | Nữ | Nam |
|---|---|---|
| Tiếng Anh | Imogen (Anh), Morgana (phù thủy), Sakura (anime), Savannah (Mỹ), Willow (ASMR) | Cillian (Ireland), Jett (năng động), Rupert (Anh), Thaddeus (phát thanh viên), Wyatt (Mỹ) |
| Tiếng Pháp | Gaspard | |
| Tiếng Đức | Liesel | Wolfgang |
| Tiếng Hindi | Ananya | Arjun |
| Tiếng Ý | Ginevra | Lorenzo |
| Tiếng Hàn | Seoyeon | Minjun |
| Tiếng Quan Thoại | Meilin (năng động) | Haoran (năng động) |
| Tiếng Bồ Đào Nha | Leonor | Thiago |
| Tiếng Tây Ban Nha | Ximena | Rodrigo |
| Tiếng Telugu | Sravya | Chaitanya |
Đây là các giọng mặc định của chính Zyphra. Mọi giọng đều nói được mọi ngôn ngữ, nhưng mang giọng địa phương của ngôn ngữ mà nó được thu âm, và ở một ngôn ngữ khác, giọng đó có thể rất nặng: một giọng tiếng Anh nói tiếng Nga sẽ khó nghe. Với một ngôn ngữ không có giọng riêng ở đây, hãy dùng chính giọng của người nói.
Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề của họ hoặc vài phụ đề ngắn nối lại. Nếu bạn đã tách nhạc khỏi giọng nói cho video này, mẫu được lấy chỉ từ giọng nói. Fallback reference clip trong cài đặt của tiện ích chỉ được dùng khi không cắt được mẫu nào.
ZONOS3-Mini nghe tối đa một phút của mẫu và sao chép giọng nói, không sao chép lời hay cách nói. Mẫu tốt nhất là lời nói rõ ràng, thu gần micrô: tiếng ồn và tiếng vang làm bản nhân bản kém giống người nói, và bản ghi âm qua điện thoại cho ra một giọng nghe như qua điện thoại.
Mô hình
Mô hình không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu một câu cần đến nó, từ kho Hugging Face của Zyphra ở một phiên bản cố định, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại nó.
| Mô hình | Tải về | Phù hợp với |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Mặc định zonos3-mini | Mọi câu, ở mọi ngôn ngữ và giọng | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | Chính giọng người nói, vào lần đầu bạn lồng tiếng bằng một giọng như vậy |
Tiện ích chạy runtime ggml của chính Zyphra, cùng mã nguồn với máy chủ cục bộ của Zyphra, được dựng sẵn vào tiện ích mà không cần PyTorch.
Nếu để nguyên, mô hình đôi khi vẫn tiếp tục nói sau một câu ngắn, thêm vài từ không có trong phụ đề. Vì vậy mỗi câu đều chạy dưới LACI, bước kiểm tra căn chỉnh của Zyphra: nó theo dõi phần nào của văn bản đang được nói, làm lại một đoạn bị bỏ qua hoặc bị kẹt, và dừng câu khi văn bản đã được đọc xong. Sau đó tiện ích cắt câu tại khoảng lặng đầu tiên sau điểm đó. Cách cắt này là quy tắc riêng của tiện ích, không phải của Zyphra. Trong thử nghiệm của chúng tôi với các câu phụ đề ngắn, theo cách này 61 trên 64 câu ra sạch, so với 37 trên 64 khi không dùng. Một câu ra không có tiếng sẽ được tạo lại.
Tùy chọn
Trong Cài đặt › Tiện ích bổ sung › ZONOS3-Mini (offline, voice clone, 43 languages) › Cấu hình.
00 dùng các bộ xử lý logic của máy tính, tối đa 8. Nhiều hơn hiếm khi nhanh hơn; ít hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.
Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: từ 5 đến 20 giây một người đang nói, rõ ràng, không phải bản ghi âm qua điện thoại.
Ngôn ngữ
Tiếng Ả Rập, tiếng Bengal, tiếng Bulgaria, tiếng Trung (Quan Thoại), tiếng Séc, tiếng Đan Mạch, tiếng Hà Lan, tiếng Anh, tiếng Phần Lan, tiếng Pháp, tiếng Gruzia, tiếng Đức, tiếng Hy Lạp, tiếng Gujarat, tiếng Do Thái, tiếng Hindi, tiếng Hungary, tiếng Indonesia, tiếng Ý, tiếng Nhật, tiếng Kannada, tiếng Hàn, tiếng Mã Lai, tiếng Malayalam, tiếng Marathi, tiếng Na Uy, tiếng Odia, tiếng Ba Lan, tiếng Bồ Đào Nha, tiếng Punjab, tiếng Romania, tiếng Nga, tiếng Slovakia, tiếng Tây Ban Nha, tiếng Thụy Điển, tiếng Tagalog, tiếng Tamil, tiếng Telugu, tiếng Thái, tiếng Thổ Nhĩ Kỳ, tiếng Ukraina, tiếng Urdu và tiếng Việt. Một dự án ở bất kỳ ngôn ngữ nào khác sẽ nhận được một thông báo nói rõ điều này: hãy chọn một công cụ lồng tiếng khác cho dự án đó.
Tiếng Anh theo khu vực của dự án: Vương quốc Anh, Ireland, Úc, New Zealand, Nam Phi và Ấn Độ thì đọc tiếng Anh Anh, mọi khu vực khác thì đọc tiếng Anh Mỹ. Tiếng Bồ Đào Nha được đọc như tiếng Bồ Đào Nha Brazil, và tiếng Pháp như tiếng Pháp của nước Pháp.
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
Nền tảng
| Hệ thống | Tải về | Đã thử |
|---|---|---|
| Linux x86-64 | 19.0 MB | Lồng tiếng với mô hình thật từ gói phát hành trên AlmaLinux 8, và trong CI |
| macOS (Apple silicon) | 24.0 MB | Lồng tiếng với mô hình thật trong CI (Apple Silicon) |
| Windows x86-64 | 18.5 MB | Lồng tiếng với mô hình thật trong CI |
Linux x86-64, macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng, CI cài tiện ích bổ sung giống như Subtitld làm, tải mô hình và lồng tiếng các câu ở sáu ngôn ngữ, một câu ngắn và một giọng nhân bản.
Khắc phục sự cố
network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.disk_fullKhông đủ dung lượng đĩa cho mô hình: 1.115 MB, và thêm 45 MB cho chính giọng người nói.unsupported_languageNgôn ngữ của dự án không thuộc 43 ngôn ngữ này, hoặc chưa được đặt. Hãy đặt ngôn ngữ trong dự án, hoặc chọn một công cụ lồng tiếng khác.unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu: hãy mở video, hoặc đặt Fallback reference clip. Thông báo cho biết là trường hợp nào.out_of_memoryMáy tính đã hết bộ nhớ. Đóng các chương trình khác: ZONOS3-Mini cần khoảng 2 GB trống.internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết. Trên một bộ xử lý cũ hơn không có AVX2, thông báo sẽ nói rõ điều này.
Giấy phép
Tiện ích bổ sung theo Apache-2.0. Trọng số của ZONOS3-Mini và các giọng mặc định của nó theo Apache-2.0, còn runtime của Zyphra theo MIT, nên công việc thương mại được phép. Phần đọc văn bản, zyphra-textnorm, theo MIT, với ngữ pháp chuyển từ NeMo-text-processing (Apache-2.0) của NVIDIA và dữ liệu từ Unicode CLDR.
Bản lồng tiếng bạn làm ra là của bạn. Một giọng nhân bản nghe giống một người thật: hãy chỉ nhân bản những giọng bạn có quyền sử dụng, và nói rõ rằng bản lồng tiếng là tổng hợp khi điều đó quan trọng.
Phiên bản
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
Các tiện ích bổ sung Giọng nói khác
-
Piper Ngoại tuyến
158 giọng ngoại tuyến trong 49 ngôn ngữ, mỗi giọng là một bản tải nhỏ riêng.
-
Kokoro Ngoại tuyến
54 giọng ngoại tuyến trong chín ngôn ngữ, tất cả từ một mô hình 82 MB.
-
Supertonic Ngoại tuyến
Mười giọng ngoại tuyến, mỗi giọng nói được cả 31 ngôn ngữ của nó.
-
sanoTTS Ngoại tuyến
Giọng ngoại tuyến nhỏ gọn, 28 giọng trong 14 ngôn ngữ, mỗi giọng dưới 10 MB.
-
Parler-TTS Ngoại tuyến
Giọng tiếng Anh theo mô tả bằng văn bản; 34 người nói có tên.
-
Qwen3-TTS Nhân bản
Mười ngôn ngữ, chín giọng, và nhân bản giọng từ 3 giây của một người nói.
-
Coqui XTTS Nhân bản
Nhân bản giọng trong 16 ngôn ngữ, với giấy phép mô hình phi thương mại.
-
F5-TTS Nhân bản
Chỉ nhân bản giọng, bằng tiếng Anh và tiếng Trung; mô hình phi thương mại.
-
VoxCPM2 Nhân bản
30 ngôn ngữ ở 48 kHz, bằng chính giọng người nói hoặc một giọng được mô tả. Nặng.
-
Pocket TTS Ngoại tuyến
Nhanh và nhẹ, chỉ dùng CPU. 23 giọng trong bảy ngôn ngữ châu Âu.
-
Sopro Nhân bản
Chính giọng người nói, nhanh trên CPU. Bốn ngôn ngữ.
-
KittenTTS 2 Nhân bản
Chính giọng người nói bằng 16 ngôn ngữ, trên CPU. Trọng số theo một giấy phép hạn chế.
-
Ming-3.0-tts Nhân bản
7 ngôn ngữ ở 44,1 kHz: giọng nhân bản, tích hợp hoặc được mô tả, có cảm xúc. Nặng.
-
Scylla's Band Ngoại tuyến
Mười bốn giọng nói sáu ngôn ngữ, nhẹ và nhanh trên CPU. Chỉ có giọng có sẵn.
-
Audio8 TTS Nhân bản
Chính giọng người nói bằng 11 ngôn ngữ, kể cả tiếng Quảng Đông. Chậm trên CPU.
-
Inflect Ngoại tuyến
Giọng tiếng Anh tự nhiên từ một mô hình tí hon, nhanh trên mọi CPU.
-
Paradee Ngoại tuyến
Bốn giọng tiếng Anh tự nhiên, Mỹ và Anh, từ một mô hình duy nhất 8,5 MB.
-
BlueTTS Nhân bản
Tiếng Do Thái và tiếng Yiddish, cùng năm ngôn ngữ khác. Chính giọng người nói, nhanh trên CPU.
-
Chatterbox Nhân bản
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…