VoxCPM2 (offline, voice clone, 30 languages)

Nó làm gì

Trước khi cài đặt

VoxCPM2 là một mô hình lớn, 2,4 tỷ tham số. Nó cho bản lồng tiếng tự nhiên nhất trong các tiện ích ngoại tuyến, và cũng đòi hỏi máy tính của bạn nhiều nhất:

• Đĩa: khoảng 5,6 GB, phần lớn là mô hình 4,96 GB, được tải khi bạn lồng tiếng câu đầu tiên.
• Bộ nhớ: khoảng 7 GB còn trống. Ít hơn vẫn chạy, nhưng chậm hơn nhiều.
• Thời gian: trên CPU, mỗi giây giọng nói mất vài giây để tạo: 5 đến 6 giây trên Intel Core i7-13700T. Một video mười phút có thể mất khoảng một giờ. Trên máy Mac Apple Silicon, nó chạy trên GPU.

Để lồng tiếng nhanh trên máy tính cấu hình khiêm tốn, Piper hoặc Kokoro nhẹ hơn nhiều.

Giọng nói

Trong tab Người nói, chọn VoxCPM2 làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.

9 giọng nói.

Giọng nhân bản

Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề dài 3 đến 12 giây của họ, hoặc vài phụ đề ngắn nối lại. Nếu bạn đã tách nhạc khỏi giọng nói cho video này, mẫu được lấy chỉ từ giọng nói. Fallback reference clip trong cài đặt của tiện ích chỉ được dùng khi không cắt được mẫu nào.

Subtitld gửi văn bản phụ đề kèm mẫu, và VoxCPM2 nói tiếp từ đó, cách này gần giọng người nói nhất, kể cả cách nói. Nếu bản lồng tiếng sang ngôn ngữ khác vẫn giữ giọng địa phương của người nói, hãy bật Clone the timbre only.

Giọng được mô tả

VoxCPM2 tạo ra một giọng mới mỗi lần đọc một đoạn mô tả. Vì vậy tiện ích tạo giọng của mỗi người nói một lần, và mọi câu của người đó dùng lại giọng ấy: giọng giữ nguyên suốt video, và hai người nói có cùng mô tả vẫn nghe như hai người khác nhau.

Mô hình

Chỉ có một mô hình, VoxCPM2. Nó không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu bạn lồng tiếng, từ Hugging Face ở một phiên bản cố định, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại mô hình.

Câu đầu tiên còn phải nạp mô hình, nên lâu hơn các câu sau. Hủy sẽ dừng một câu giữa hai bước, hoặc dừng việc tải.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › VoxCPM2 (offline, voice clone, 30 languages) › Cấu hình.

Ngôn ngữ

Tiếng Ả Rập, tiếng Miến Điện, tiếng Trung, tiếng Đan Mạch, tiếng Hà Lan, tiếng Anh, tiếng Phần Lan, tiếng Pháp, tiếng Đức, tiếng Hy Lạp, tiếng Do Thái, tiếng Hindi, tiếng Indonesia, tiếng Ý, tiếng Nhật, tiếng Khmer, tiếng Hàn, tiếng Lào, tiếng Mã Lai, tiếng Na Uy, tiếng Ba Lan, tiếng Bồ Đào Nha, tiếng Nga, tiếng Tây Ban Nha, tiếng Swahili, tiếng Thụy Điển, tiếng Tagalog, tiếng Thái, tiếng Thổ Nhĩ Kỳ và tiếng Việt. VoxCPM2 nhận ra ngôn ngữ từ chính văn bản, nên mọi giọng đều nói được mọi ngôn ngữ.

• ar
• my
• zh
• da
• nl
• en
• fi
• fr
• de
• el
• he
• hi
• id
• it
• ja
• km
• ko
• lo
• ms
• no
• pl
• pt
• ru
• es
• sw
• sv
• tl
• th
• tr
• vi

Nền tảng

Linux x86-64, macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và CI kiểm tra rằng mọi thứ cần để nói đều có trong bản dựng. CI không tự chạy mô hình.

Khắc phục sự cố

• network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.
• disk_fullKhông đủ dung lượng đĩa cho mô hình. Cần khoảng 5 GB còn trống.
• oomHết bộ nhớ. Đóng các chương trình khác; VoxCPM2 cần khoảng 7 GB trống, 11 GB với float32.
• bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu: hãy mở video, hoặc đặt Fallback reference clip. Thông báo cho biết là trường hợp nào.
• unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.
• internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết. Nếu bạn đã thay đổi Inference device, hãy đặt lại về Tự động.

Giấy phép

Phù hợp cho công việc thương mại: tiện ích bổ sung, VoxCPM và trọng số VoxCPM2 đều theo Apache-2.0. Bản lồng tiếng bạn làm ra là của bạn. Một giọng nhân bản nghe như người thật: hãy chỉ nhân bản những giọng bạn có quyền sử dụng, và nói rõ bản lồng tiếng là giọng tổng hợp khi điều đó quan trọng.