VoxMel ngoại tuyến, nhân bản giọng nói, 2 ngôn ngữ

Giọng nóiNgoại tuyếnGPU tùy chọnNhân bản giọng nóiĐược dùng thương mại

Lồng tiếng phụ đề của bạn bằng tiếng Anh và tiếng Quan Thoại với VoxMel của VoxDance Lab, bằng chính giọng của mỗi người nói được nhân bản sát từ video và phụ đề của nó, hoặc bằng một trong tám giọng có sẵn. Nó chạy trên máy tính của bạn, và tiện ích bổ sung, mô hình lẫn các giọng đều theo Apache-2.0.

Cài đặt từ Subtitld

Cài đặt Tiện ích bổ sung VoxMel (offline, voice clone, 2 languages) Cài đặt

Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.

Mã nguồn trên GitHub
Ngôn ngữ
2
Mô hình
1
Giọng nói
9
Tải tiện ích bổ sung
15–19 MB
RAM, tối thiểu
2 GB

Nghe thử

Nó làm gì

Nhân bản sát giọng

Subtitld cắt vài giây của mỗi người nói từ video và gửi kèm với các phụ đề được nói trong đó. VoxMel nhân bản giọng đó thật sát, bằng tiếng Anh hoặc tiếng Quan Thoại.

Tám giọng có sẵn

Hai giọng nữ và hai giọng nam cho mỗi ngôn ngữ, dành cho những người nói bạn không muốn nhân bản. Chính VoxMel đã tạo ra chúng: không có giọng của người nào được thu âm cho chúng.

Nhanh so với một mô hình nhân bản

Một câu nhân bản mất hai đến bốn giây cho mỗi giây giọng nói trên bộ xử lý máy tính xách tay đời mới.

Miễn phí cho công việc thương mại

Tiện ích bổ sung, công cụ audio.cpp, trọng số VoxMel và các giọng có sẵn đều theo Apache-2.0.

Trước khi cài đặt

  • Đĩa: khoảng 1,2 GB, phần lớn là mô hình 1,04 GB, được tải khi bạn lồng tiếng câu đầu tiên.
  • Bộ nhớ: khoảng 2 GB còn trống.
  • Thời gian: trên Intel Core i7-13700T, một câu bằng chính giọng người nói mất hai đến bốn giây cho mỗi giây giọng nói. Trên máy Mac Apple Silicon, nó chạy trên GPU.
  • Ngôn ngữ: chỉ tiếng Anh và tiếng Quan Thoại. Với các ngôn ngữ khác, VoxCPM2 nhân bản giọng bằng 30 ngôn ngữ và OmniVoice bằng 646 ngôn ngữ.

Giọng nói

Trong tab Người nói, chọn VoxMel làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó: bản thân VoxMel không điều chỉnh được nhịp nói.

9 giọng nói bằng 2 ngôn ngữ.

  • en 4
  • zh 4

Giọng nhân bản

Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề dài 3 đến 12 giây của họ, hoặc vài phụ đề ngắn nối lại, và gửi kèm văn bản phụ đề. VoxMel cần cả mẫu lẫn lời của mẫu. Fallback reference clip trong cài đặt của tiện ích, cùng với bản ghi lời của nó, chỉ được dùng khi không cắt được mẫu nào.

VoxMel nhân bản tốt nhất trong cùng một ngôn ngữ. Bản lồng tiếng Anh cho một người nói tiếng Quan Thoại cho kết quả tốt; bản lồng tiếng Quan Thoại cho một người nói tiếng Anh có thể nói lướt một vài từ.

Clone the timbre only không dùng được với tiện ích này, vì VoxMel không thể nhân bản nếu thiếu lời của mẫu. Hãy để tùy chọn này tắt cho những người nói dùng VoxMel.

Giọng có sẵn

Mỗi giọng có sẵn là một đoạn ngắn mà VoxMel tạo ra không cần bản ghi tham chiếu nào, được lưu cùng lời chính xác của nó. Mọi câu của một người nói được gán giọng có sẵn đều nhân bản đoạn đó, nên giọng giữ nguyên suốt video. Giọng có sẵn tiếng Anh hợp với câu tiếng Anh, còn giọng có sẵn tiếng Quan Thoại hợp với câu tiếng Quan Thoại.

Mô hình

Chỉ có một mô hình, VoxMel 0.6B cùng bộ vocoder Vocos, với trọng số lưu ở 8 bit, như dự án audio.cpp đã chuyển đổi. Nó không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu bạn lồng tiếng, từ Hugging Face ở một phiên bản cố định, và được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại mô hình.

Mô hình Tải vềPhù hợp với
VoxMel 0.6B (8-bit) Mặc định voxmel
992 MB
Mọi giọng, bằng tiếng Anh và tiếng Quan Thoại

Câu đầu tiên còn phải nạp mô hình, nên lâu hơn các câu sau. Trên máy Mac Apple Silicon, ở lần đầu tiên, tiện ích bổ sung còn nói một câu thử ngắn trên GPU, và dùng CPU nếu cách đó không được. Hủy sẽ dừng một câu giữa hai bước, hoặc dừng việc tải.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › VoxMel (offline, voice clone, 2 languages) › Cấu hình.

Quality steps
Mặc định: 32

VoxMel vẽ mỗi khoảnh khắc của giọng nói chi tiết đến mức nào. 32 là thiết lập của chính VoxMel; ít hơn thì nhanh hơn, nhưng ít chi tiết hơn.

Text guidance
Mặc định: 3.5

Giọng nói bám sát văn bản đến mức nào. 3,5 là thiết lập của chính VoxMel.

Voice guidance
Mặc định: 3

Giọng nhân bản bám sát đoạn mẫu đến mức nào. 3,0 là thiết lập của chính VoxMel; cao hơn có thể nghe giống hơn, hoặc gượng ép.

CPU threads
Mặc định: 0

0 sẽ chọn các lõi hiệu năng trên những CPU có cả lõi tiết kiệm điện. Ít luồng hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.

Fallback reference clip
Mặc định: trống

Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: 3 đến 15 giây một người đang nói.

Fallback reference transcript
Mặc định: trống

Chính xác những gì được nói trong đoạn dự phòng, từng chữ một. VoxMel nhân bản từ đoạn âm thanh và lời của nó, nên đoạn dự phòng sẽ bị từ chối nếu thiếu phần này.

Ngôn ngữ

Tiếng Anh và tiếng Trung (Quan Thoại). VoxMel tự nhận ra ngôn ngữ từ văn bản.

  • en
  • zh

Nền tảng

Hệ thống Tải vềĐã thử
Linux x86-64 18.8 MBLồng tiếng với mô hình thật trên máy thật và trên AlmaLinux 8; trong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu
macOS (Apple silicon) 18.1 MBTrong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu (Apple Silicon)
Windows x86-64 15.4 MBTrong CI, tiện ích bổ sung đã cài tải mô hình, nói, nhân bản một giọng và hủy một câu

Linux x86-64 (mọi bản phân phối từ 2018 trở đi, glibc 2.28 hoặc mới hơn), macOS 13.3 hoặc mới hơn trên Apple Silicon, và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng CI cài tiện ích bổ sung, tải mô hình, rồi cho nó nói, nhân bản một giọng và hủy một câu.

Khắc phục sự cố

  • network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.
  • disk_fullKhông đủ dung lượng đĩa cho mô hình. Cần khoảng 1,2 GB còn trống.
  • oomHết bộ nhớ. Đóng các chương trình khác; VoxMel cần khoảng 2 GB trống.
  • bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu hay không có lời đi kèm. Thông báo cho biết là trường hợp nào. Với giọng nhân bản, hãy mở video và để Clone the timbre only tắt.
  • unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.
  • internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.

Giấy phép

Tiện ích bổ sung
Apache-2.0
cùng tám giọng có sẵn của nó
Công cụ
Apache-2.0
audio.cpp, với ggml (MIT)
Mô hình
Apache-2.0
Trọng số VoxMel 0.6B, của VoxDance Lab; bộ vocoder Vocos theo MIT

Phù hợp cho công việc thương mại: tiện ích bổ sung, các giọng có sẵn của nó, công cụ audio.cpp và trọng số VoxMel đều theo Apache-2.0, còn bộ vocoder Vocos và ggml theo MIT. Bản lồng tiếng bạn làm ra là của bạn. Một giọng nhân bản nghe như người thật: hãy chỉ nhân bản những giọng bạn có quyền sử dụng, và nói rõ bản lồng tiếng là giọng tổng hợp khi điều đó quan trọng.

Phiên bản

  • 26.11.1

    The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.

    • The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
    • Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
    • Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
    • The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.

    The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).

Các tiện ích bổ sung Giọng nói khác