VoxMel ngoại tuyến, nhân bản giọng nói, 2 ngôn ngữ
Lồng tiếng phụ đề của bạn bằng tiếng Anh và tiếng Quan Thoại với VoxMel của VoxDance Lab, bằng chính giọng của mỗi người nói được nhân bản sát từ video và phụ đề của nó, hoặc bằng một trong tám giọng có sẵn. Nó chạy trên máy tính của bạn, và tiện ích bổ sung, mô hình lẫn các giọng đều theo Apache-2.0.
Cài đặt Tiện ích bổ sung VoxMel (offline, voice clone, 2 languages) Cài đặt
Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.
- Ngôn ngữ
- 2
- Mô hình
- 1
- Giọng nói
- 9
- Tải tiện ích bổ sung
- 15–19 MB
- RAM, tối thiểu
- 2 GB
Nghe thử
Nó làm gì
Subtitld cắt vài giây của mỗi người nói từ video và gửi kèm với các phụ đề được nói trong đó. VoxMel nhân bản giọng đó thật sát, bằng tiếng Anh hoặc tiếng Quan Thoại.
Hai giọng nữ và hai giọng nam cho mỗi ngôn ngữ, dành cho những người nói bạn không muốn nhân bản. Chính VoxMel đã tạo ra chúng: không có giọng của người nào được thu âm cho chúng.
Một câu nhân bản mất hai đến bốn giây cho mỗi giây giọng nói trên bộ xử lý máy tính xách tay đời mới.
Tiện ích bổ sung, công cụ audio.cpp, trọng số VoxMel và các giọng có sẵn đều theo Apache-2.0.
Trước khi cài đặt
- Đĩa: khoảng 1,2 GB, phần lớn là mô hình 1,04 GB, được tải khi bạn lồng tiếng câu đầu tiên.
- Bộ nhớ: khoảng 2 GB còn trống.
- Thời gian: trên Intel Core i7-13700T, một câu bằng chính giọng người nói mất hai đến bốn giây cho mỗi giây giọng nói. Trên máy Mac Apple Silicon, nó chạy trên GPU.
- Ngôn ngữ: chỉ tiếng Anh và tiếng Quan Thoại. Với các ngôn ngữ khác, VoxCPM2 nhân bản giọng bằng 30 ngôn ngữ và OmniVoice bằng 646 ngôn ngữ.
Giọng nói
Trong tab Người nói, chọn VoxMel làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó: bản thân VoxMel không điều chỉnh được nhịp nói.
9 giọng nói bằng 2 ngôn ngữ.
en4zh4
Giọng nhân bản
Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề dài 3 đến 12 giây của họ, hoặc vài phụ đề ngắn nối lại, và gửi kèm văn bản phụ đề. VoxMel cần cả mẫu lẫn lời của mẫu. Fallback reference clip trong cài đặt của tiện ích, cùng với bản ghi lời của nó, chỉ được dùng khi không cắt được mẫu nào.
VoxMel nhân bản tốt nhất trong cùng một ngôn ngữ. Bản lồng tiếng Anh cho một người nói tiếng Quan Thoại cho kết quả tốt; bản lồng tiếng Quan Thoại cho một người nói tiếng Anh có thể nói lướt một vài từ.
Clone the timbre only không dùng được với tiện ích này, vì VoxMel không thể nhân bản nếu thiếu lời của mẫu. Hãy để tùy chọn này tắt cho những người nói dùng VoxMel.
Giọng có sẵn
Mỗi giọng có sẵn là một đoạn ngắn mà VoxMel tạo ra không cần bản ghi tham chiếu nào, được lưu cùng lời chính xác của nó. Mọi câu của một người nói được gán giọng có sẵn đều nhân bản đoạn đó, nên giọng giữ nguyên suốt video. Giọng có sẵn tiếng Anh hợp với câu tiếng Anh, còn giọng có sẵn tiếng Quan Thoại hợp với câu tiếng Quan Thoại.
Mô hình
Chỉ có một mô hình, VoxMel 0.6B cùng bộ vocoder Vocos, với trọng số lưu ở 8 bit, như dự án audio.cpp đã chuyển đổi. Nó không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu bạn lồng tiếng, từ Hugging Face ở một phiên bản cố định, và được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại mô hình.
| Mô hình | Tải về | Phù hợp với |
|---|---|---|
| VoxMel 0.6B (8-bit) Mặc định voxmel | Mọi giọng, bằng tiếng Anh và tiếng Quan Thoại |
Câu đầu tiên còn phải nạp mô hình, nên lâu hơn các câu sau. Trên máy Mac Apple Silicon, ở lần đầu tiên, tiện ích bổ sung còn nói một câu thử ngắn trên GPU, và dùng CPU nếu cách đó không được. Hủy sẽ dừng một câu giữa hai bước, hoặc dừng việc tải.
Tùy chọn
Trong Cài đặt › Tiện ích bổ sung › VoxMel (offline, voice clone, 2 languages) › Cấu hình.
32VoxMel vẽ mỗi khoảnh khắc của giọng nói chi tiết đến mức nào. 32 là thiết lập của chính VoxMel; ít hơn thì nhanh hơn, nhưng ít chi tiết hơn.
3.5Giọng nói bám sát văn bản đến mức nào. 3,5 là thiết lập của chính VoxMel.
3Giọng nhân bản bám sát đoạn mẫu đến mức nào. 3,0 là thiết lập của chính VoxMel; cao hơn có thể nghe giống hơn, hoặc gượng ép.
00 sẽ chọn các lõi hiệu năng trên những CPU có cả lõi tiết kiệm điện. Ít luồng hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.
Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: 3 đến 15 giây một người đang nói.
Chính xác những gì được nói trong đoạn dự phòng, từng chữ một. VoxMel nhân bản từ đoạn âm thanh và lời của nó, nên đoạn dự phòng sẽ bị từ chối nếu thiếu phần này.
Ngôn ngữ
Tiếng Anh và tiếng Trung (Quan Thoại). VoxMel tự nhận ra ngôn ngữ từ văn bản.
enzh
Nền tảng
| Hệ thống | Tải về | Đã thử |
|---|---|---|
| Linux x86-64 | 18.8 MB | Lồng tiếng với mô hình thật trên máy thật và trên AlmaLinux 8; trong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu |
| macOS (Apple silicon) | 18.1 MB | Trong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu (Apple Silicon) |
| Windows x86-64 | 15.4 MB | Trong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu |
Linux x86-64 (mọi bản phân phối từ 2018 trở đi, glibc 2.28 hoặc mới hơn), macOS 13.3 hoặc mới hơn trên Apple Silicon, và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng CI cài tiện ích bổ sung, tải mô hình, rồi cho nó nói, nhân bản một giọng và hủy một câu.
Khắc phục sự cố
network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.disk_fullKhông đủ dung lượng đĩa cho mô hình. Cần khoảng 1,2 GB còn trống.oomHết bộ nhớ. Đóng các chương trình khác; VoxMel cần khoảng 2 GB trống.bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu hay không có lời đi kèm. Thông báo cho biết là trường hợp nào. Với giọng nhân bản, hãy mở video và để Clone the timbre only tắt.unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.
Giấy phép
Phù hợp cho công việc thương mại: tiện ích bổ sung, các giọng có sẵn của nó, công cụ audio.cpp và trọng số VoxMel đều theo Apache-2.0, còn bộ vocoder Vocos và ggml theo MIT. Bản lồng tiếng bạn làm ra là của bạn. Một giọng nhân bản nghe như người thật: hãy chỉ nhân bản những giọng bạn có quyền sử dụng, và nói rõ bản lồng tiếng là giọng tổng hợp khi điều đó quan trọng.
Phiên bản
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
Các tiện ích bổ sung Giọng nói khác
-
Piper Ngoại tuyến
158 giọng ngoại tuyến trong 49 ngôn ngữ, mỗi giọng là một bản tải nhỏ riêng.
-
Kokoro Ngoại tuyến
54 giọng ngoại tuyến trong chín ngôn ngữ, tất cả từ một mô hình 82 MB.
-
Supertonic Ngoại tuyến
Mười giọng ngoại tuyến, mỗi giọng nói được cả 31 ngôn ngữ của nó.
-
sanoTTS Ngoại tuyến
Giọng ngoại tuyến nhỏ gọn, 28 giọng trong 14 ngôn ngữ, mỗi giọng dưới 10 MB.
-
Parler-TTS Ngoại tuyến
Giọng tiếng Anh theo mô tả bằng văn bản; 34 người nói có tên.
-
Qwen3-TTS Nhân bản
Mười ngôn ngữ, chín giọng, và nhân bản giọng từ 3 giây của một người nói.
-
Coqui XTTS Nhân bản
Nhân bản giọng trong 16 ngôn ngữ, với giấy phép mô hình phi thương mại.
-
F5-TTS Nhân bản
Chỉ nhân bản giọng, bằng tiếng Anh và tiếng Trung; mô hình phi thương mại.
-
VoxCPM2 Nhân bản
30 ngôn ngữ ở 48 kHz, bằng chính giọng người nói hoặc một giọng được mô tả. Nặng.
-
Pocket TTS Ngoại tuyến
Nhanh và nhẹ, chỉ dùng CPU. 23 giọng trong bảy ngôn ngữ châu Âu.
-
Sopro Nhân bản
Chính giọng người nói, nhanh trên CPU. Bốn ngôn ngữ.
-
KittenTTS 2 Nhân bản
Chính giọng người nói bằng 16 ngôn ngữ, trên CPU. Trọng số theo một giấy phép hạn chế.
-
Ming-3.0-tts Nhân bản
7 ngôn ngữ ở 44,1 kHz: giọng nhân bản, tích hợp hoặc được mô tả, có cảm xúc. Nặng.
-
Scylla's Band Ngoại tuyến
Mười bốn giọng nói sáu ngôn ngữ, nhẹ và nhanh trên CPU. Chỉ có giọng có sẵn.
-
Audio8 TTS Nhân bản
Chính giọng người nói bằng 23 ngôn ngữ, kể cả tiếng Quảng Đông và tiếng Ả Rập. Chậm trên CPU.
-
Inflect Ngoại tuyến
Giọng tiếng Anh tự nhiên từ một mô hình tí hon, nhanh trên mọi CPU.
-
Paradee Ngoại tuyến
Bốn giọng tiếng Anh tự nhiên, Mỹ và Anh, từ một mô hình duy nhất 8,5 MB.
-
BlueTTS Nhân bản
Tiếng Do Thái và tiếng Yiddish, cùng năm ngôn ngữ khác. Chính giọng người nói, nhanh trên CPU.
-
ZONOS3-Mini Nhân bản
43 ngôn ngữ, từ tiếng Ả Rập đến tiếng Việt. Chính giọng người nói, trên CPU.
-
Reverb Nhân bản
Bảy ngôn ngữ châu Âu và chính giọng người nói, trên CPU; mô hình phi thương mại.
-
OmniVoice Nhân bản
646 ngôn ngữ, chính giọng người nói qua các ngôn ngữ; mô hình phi thương mại.
-
tiny-voca Ngoại tuyến
Hai giọng tiếng Anh Mỹ từ một mô hình 4,5 triệu tham số, không cần tải gì cả.
-
Chatterbox Nhân bản
Chính giọng người nói bằng 20 ngôn ngữ, trên CPU, không cần tài khoản.