Lồng tiếng phụ đề của bạn bằng tiếng Trung, tiếng Anh, tiếng Nhật, tiếng Hàn, tiếng Đức, tiếng Pháp và tiếng Tây Ban Nha với Ming-3.0-tts của inclusionAI, bằng chính giọng của mỗi người nói được nhân bản từ video, bằng một trong các giọng tích hợp của nó, hoặc bằng một giọng tạo ra từ một đoạn mô tả, với các điều khiển cảm xúc và tốc độ. Nó chạy trên máy tính của bạn, và tiện ích bổ sung, mã nguồn cùng trọng số đều miễn phí cho công việc thương mại.

Nó làm gì

Chính giọng của người nói

Subtitld cắt một đoạn của mỗi người nói từ video và gửi kèm những từ được nói trong đó. Ming-3.0-tts nói tiếp từ đoạn đó, nên bản lồng tiếng nghe giống người trên màn hình, bằng bất kỳ ngôn ngữ nào trong bảy ngôn ngữ của nó.

Giọng tích hợp hoặc giọng được mô tả

Năm giọng mà mô hình đã được huấn luyện, giống nhau ở mọi câu, hoặc một giọng tạo ra từ vài từ: năm giọng có sẵn, từ một người phụ nữ ấm áp đến một người dẫn chuyện, hoặc mô tả của chính bạn.

Cảm xúc và nhịp độ

Cho giọng nhân bản và giọng được mô tả nói vui, buồn, giận dữ hoặc ngạc nhiên, hoặc nhanh hơn, chậm hơn, cao hơn hoặc thấp hơn.

Miễn phí cho công việc thương mại

Tiện ích bổ sung theo Apache-2.0; mã nguồn và trọng số của Ming-3.0-tts theo MIT.

Trước khi cài đặt

Ming-3.0-tts là một mô hình lớn, khoảng 1,5 tỷ tham số tính cả bộ mã hóa âm thanh của nó. Nó đòi hỏi máy tính của bạn nhiều:

Đĩa: khoảng 3,4 GB, phần lớn là mô hình 2,99 GB, được tải khi bạn lồng tiếng câu đầu tiên.
Bộ nhớ: khoảng 5 GB còn trống. Ít hơn vẫn chạy, nhưng chậm hơn nhiều.
Thời gian: trên CPU, mỗi giây giọng nói mất khoảng bốn đến năm giây để tạo, trên Intel Core i7-13700T. Một video mười phút có thể mất khoảng ba phần tư giờ.

Để lồng tiếng nhanh trên máy tính cấu hình khiêm tốn, Piper hoặc Kokoro nhẹ hơn nhiều.

Giọng nói

Trong tab Người nói, chọn Ming-3.0-tts làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.

12 giọng nói.

Giọng nhân bản

Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề dài 3 đến 12 giây của họ, hoặc vài phụ đề ngắn nối lại. Nếu bạn đã tách nhạc khỏi giọng nói cho video này, mẫu được lấy chỉ từ giọng nói. Fallback reference clip trong cài đặt của tiện ích chỉ được dùng khi không cắt được mẫu nào.

Subtitld gửi văn bản phụ đề kèm mẫu, và Ming-3.0-tts nói tiếp từ đó, cách này gần giọng người nói nhất, kể cả cách nói. Nếu bản lồng tiếng sang ngôn ngữ khác vẫn giữ giọng địa phương của người nói, hãy bật Clone the timbre only.

Giọng tích hợp

Emma (Mỹ), George và Charlotte (Anh), Ling Xiaorou và Ling Kai (Trung Quốc) là những người nói mà mô hình đã học. Mỗi giọng nghe giống nhau ở mọi câu, và mỗi giọng đều nói được cả bảy ngôn ngữ.

Giọng được mô tả

Ming-3.0-tts tạo ra một giọng mới mỗi lần đọc một đoạn mô tả. Vì vậy tiện ích tạo giọng của mỗi người nói một lần, và mọi câu của người đó dùng lại giọng ấy: giọng giữ nguyên suốt video, và hai người nói có cùng mô tả vẫn nghe như hai người khác nhau.

Cảm xúc, tốc độ, cao độ và âm lượng

Đây là các cài đặt của tiện ích bổ sung, nên chúng áp dụng cho mọi người nói được lồng tiếng bằng giọng nhân bản hoặc giọng được mô tả. Chúng là các điều khiển riêng của mô hình, lấy âm sắc giọng của người nói nhưng không lấy cách nói của họ, và chúng hoạt động từng cái một: khi đã đặt cảm xúc, nó ghi đè tốc độ, cao độ và âm lượng. Các giọng tích hợp bỏ qua chúng.

Trong các câu tiếng Trung hoặc tiếng Anh, mô hình còn tạo ra những âm thanh được viết vào văn bản: [Laughter], [Sigh], [Breathing], [Cough], [Uhm] và vài âm khác.

Mô hình

Chỉ có một mô hình, Ming-3.0-tts-0.5B. Nó không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu bạn lồng tiếng, từ Hugging Face ở một phiên bản cố định, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại mô hình.

Mô hình	Tải về	Phù hợp với
Ming-3.0-tts (0.5B) Mặc định ming-3.0-tts-0.5b	2.9 GB	Mọi giọng, cả bảy ngôn ngữ

Câu đầu tiên còn phải nạp mô hình, nên lâu hơn các câu sau. Hủy sẽ dừng một câu giữa hai bước, hoặc dừng việc tải.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › Ming-3.0-tts (offline, voice clone, 7 languages) › Cấu hình.

Inference device

Mặc định: auto

Tự động dùng bộ xử lý. Có thể chọn GPU của máy Mac Apple Silicon, nhưng chưa được thử. Bản dựng này không dùng card đồ họa NVIDIA.

CPU threads

Mặc định: 0

0 sẽ chọn các lõi hiệu năng trên những CPU có cả lõi tiết kiệm điện. Ít luồng hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.

Emotion

Mặc định: none

Mọi câu của giọng nhân bản hoặc giọng được mô tả được nói với cảm xúc này. Nó giữ âm sắc của giọng nhưng không giữ cách nói của người nói, và nó ghi đè tốc độ, cao độ và âm lượng. Các giọng tích hợp bỏ qua nó.

Speed

Mặc định: normal

Cho giọng nhân bản và giọng được mô tả, khi không đặt cảm xúc. Giống như cảm xúc, nó chỉ giữ âm sắc của giọng.

Pitch

Mặc định: normal

Như tốc độ: cho giọng nhân bản và giọng được mô tả, khi không đặt cảm xúc.

Volume

Mặc định: normal

Như tốc độ: cho giọng nhân bản và giọng được mô tả, khi không đặt cảm xúc.

Voice description

Mặc định: trống

Dùng cho giọng "Voice you describe": ai nói và nói thế nào, trong vài từ, ví dụ "An elderly woman, soft and warm voice, slow pace". Mô tả bằng tiếng Anh hoặc tiếng Trung dùng được cho mọi ngôn ngữ.

Fallback reference clip

Mặc định: trống

Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: 3 đến 10 giây một người đang nói.

Fallback reference transcript

Mặc định: trống

Chính xác những từ được nói trong đoạn ở trên. Có chúng, bản nhân bản gần giọng người nói hơn.

Clone the timbre only

Mặc định: tắt

Chỉ nhân bản âm sắc của giọng, không nhân bản cách nói trong đoạn. Hãy thử khi bản lồng tiếng sang ngôn ngữ khác vẫn giữ giọng địa phương của người nói, hoặc khi phụ đề của bạn diễn đạt lại lời nói.

Ngôn ngữ

Tiếng Trung, tiếng Anh, tiếng Nhật, tiếng Hàn, tiếng Đức, tiếng Pháp và tiếng Tây Ban Nha. Mọi giọng đều nói được tất cả các ngôn ngữ này.

zh
en
ja
ko
de
fr
es

Nền tảng

Hệ thống	Tải về	Đã thử
Linux x86-64	321.2 MB	Lồng tiếng với mô hình thật trên máy thật
macOS (Apple silicon)	335.7 MB	Được dựng và kiểm tra trong CI (Apple Silicon)
Windows x86-64	216.4 MB	Được dựng và kiểm tra trong CI

Linux x86-64, macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và CI kiểm tra rằng mọi thứ cần để nói đều có trong bản dựng. CI không tự chạy mô hình.

Khắc phục sự cố

network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.
disk_fullKhông đủ dung lượng đĩa cho mô hình. Cần khoảng 3,4 GB còn trống.
oomHết bộ nhớ. Đóng các chương trình khác; Ming-3.0-tts cần khoảng 5 GB trống.
bad_paramsCâu không có văn bản, giọng nhân bản không có mẫu, hoặc Voice you describe không có mô tả. Thông báo cho biết là trường hợp nào: hãy mở video, đặt Fallback reference clip, hoặc viết Voice description.
unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.
internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết. Nếu bạn đã thay đổi Inference device, hãy đặt lại về Tự động.

Giấy phép

Tiện ích bổ sung

Apache-2.0

Công cụ

MIT

Ming-3.0-tts, của inclusionAI (Ant Group)

Mô hình

MIT

Trọng số Ming-3.0-tts-0.5B

Phù hợp cho công việc thương mại: tiện ích bổ sung theo Apache-2.0, còn mã nguồn Ming-3.0-tts và trọng số Ming-3.0-tts-0.5B theo MIT. Bản lồng tiếng bạn làm ra là của bạn. Một giọng nhân bản nghe như người thật: hãy chỉ nhân bản những giọng bạn có quyền sử dụng, và nói rõ bản lồng tiếng là giọng tổng hợp khi điều đó quan trọng.

Ming-3.0-tts (offline, voice clone, 7 languages)

Nó làm gì

Trước khi cài đặt

Giọng nói

Giọng nhân bản

Giọng tích hợp

Giọng được mô tả

Cảm xúc, tốc độ, cao độ và âm lượng

Mô hình

Tùy chọn

Ngôn ngữ

Nền tảng

Khắc phục sự cố

Giấy phép

Phiên bản

Các tiện ích bổ sung Giọng nói khác