Chatterbox ngoại tuyến, nhân bản giọng nói, 20 ngôn ngữ
Lồng tiếng phụ đề của bạn bằng 20 ngôn ngữ với Chatterbox của Resemble AI, bằng chính giọng của mỗi người nói được nhân bản từ vài giây của video, hoặc bằng một trong 8 giọng có sẵn. Một giọng nhân bản nói được mọi ngôn ngữ, dù đoạn gốc ở ngôn ngữ nào. Nó chạy trên bộ xử lý của chính máy tính bạn với tốc độ khoảng bằng thời gian thực, không cần card đồ họa.
Cài đặt Tiện ích bổ sung Chatterbox (offline, voice clone, 20 languages) Cài đặt
Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.
- Ngôn ngữ
- 20
- Mô hình
- 2
- Giọng nói
- 9
- Tải tiện ích bổ sung
- 39–62 MB
- RAM, tối thiểu
- 2 GB
Nghe thử
Nó làm gì
Subtitld cắt vài giây của mỗi người nói từ video và gửi kèm với mỗi câu. Chatterbox nhân bản giọng đó ở bất kỳ ngôn ngữ nào trong 20 ngôn ngữ của nó, nên một diễn viên nói tiếng Bồ Đào Nha có thể được lồng tiếng Đức mà vẫn nghe như chính họ.
Multilingual nói cả 20 ngôn ngữ. Turbo chỉ nói tiếng Anh, nghe gần giọng người nói hơn, cần ít bộ nhớ hơn và đọc được các thẻ như [laugh] và [sigh] viết trong phụ đề.
Nó chạy trên bộ xử lý với tốc độ khoảng bằng thời gian thực, không cần card đồ họa: một câu 10 giây mất khoảng 10 giây.
Tiện ích bổ sung theo Apache-2.0, Chatterbox và các mô hình của nó theo MIT, và các giọng có sẵn là người đọc LibriVox, thuộc phạm vi công cộng.
Trước khi cài đặt
- Đĩa: ở câu đầu tiên, Multilingual tải 1,3 GB, Turbo tải 725 MB.
- Bộ nhớ: khoảng 1,7 GB khi nói với Multilingual, khoảng 1 GB với Turbo.
- Bộ xử lý: bất kỳ bộ xử lý Intel hoặc AMD 64 bit nào, hoặc Apple Silicon. Không dùng card đồ họa.
Chỉ nhân bản một giọng khi có sự đồng ý của chủ nhân giọng đó. Các bản dựng chính thức của Chatterbox đánh dấu âm thanh bằng một thủy vân không nghe thấy được; tiện ích này thì không, nên trách nhiệm về cách dùng giọng nhân bản thuộc về bạn.
Giọng nói
Trong tab Người nói, chọn Chatterbox làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.
9 giọng nói.
Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề của họ hoặc vài phụ đề ngắn nối lại. Nếu bạn đã tách nhạc khỏi giọng nói cho video này, mẫu được lấy chỉ từ giọng nói. Fallback reference clip trong cài đặt của tiện ích chỉ được dùng khi không cắt được mẫu nào. Mẫu tốt nhất là 5 đến 20 giây chỉ có người nói đó, không có nhạc hay giọng khác; tiện ích dùng 10 giây đầu của mẫu.
| Giọng có sẵn | |
|---|---|
| Nữ | Tiếng Anh, tiếng Bồ Đào Nha, tiếng Pháp, tiếng Đức |
| Nam | Tiếng Anh, tiếng Bồ Đào Nha, tiếng Pháp, tiếng Đức |
Mỗi giọng có sẵn là một tình nguyện viên LibriVox đọc một cuốn sách bằng ngôn ngữ đó, cũng là những người đọc trong tiện ích Sopro. Mọi giọng có sẵn đều nói được cả 20 ngôn ngữ; ngôn ngữ riêng của giọng chỉ tạo cho nó một giọng địa phương, nên hãy chọn giọng gần nhất với ngôn ngữ của dự án để có bản lồng tiếng tự nhiên nhất.
Mô hình
Không mô hình nào nằm trong tiện ích bổ sung: mô hình bạn dùng được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu bạn lồng tiếng, từ Hugging Face ở một phiên bản cố định, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại các mô hình.
| Mô hình | Ngôn ngữ | Tải về | Phù hợp với |
|---|---|---|---|
| Chatterbox Multilingual (0.5B, 4-bit ONNX) Mặc định multilingual | | Cả 20 ngôn ngữ; mô hình mặc định | |
| Chatterbox Turbo (350M, 4-bit ONNX, English) turbo | en | Chỉ tiếng Anh: gần giọng người nói hơn, ít bộ nhớ hơn, và đọc được [laugh], [sigh] và [cough] |
Tiện ích chạy các bản xuất ONNX của Chatterbox, không cần PyTorch. Trong thử nghiệm của chúng tôi với 10 câu bằng tiếng Anh, tiếng Bồ Đào Nha, tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha, tiếng Ý, tiếng Nga và tiếng Ba Lan, mỗi câu nhân bản từ hai giọng, Multilingual sai 2,4% số từ và nghe gần giọng người nói; Turbo không sai từ nào ở tiếng Anh và nghe còn gần hơn nữa.
Tùy chọn
Trong Cài đặt › Tiện ích bổ sung › Chatterbox (offline, voice clone, 20 languages) › Cấu hình.
multilingualTurbo chỉ nói tiếng Anh. Khi chọn Turbo, các câu bằng ngôn ngữ khác do Multilingual nói. Mỗi lúc chỉ có một mô hình trong bộ nhớ.
0.5Chỉ với Multilingual: giọng thể hiện bao nhiêu cảm xúc. 0,5 là giá trị mặc định của chính Chatterbox; cao hơn thì kịch tính hơn và thường nói nhanh hơn.
00 dùng một nửa số bộ xử lý logic của máy tính, tối đa 8. Ít luồng hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.
Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: 5 đến 20 giây một người đang nói.
Ngôn ngữ
Tiếng Ả Rập, tiếng Đan Mạch, tiếng Hà Lan, tiếng Anh, tiếng Phần Lan, tiếng Pháp, tiếng Đức, tiếng Hy Lạp, tiếng Hindi, tiếng Ý, tiếng Hàn, tiếng Mã Lai, tiếng Na Uy, tiếng Ba Lan, tiếng Bồ Đào Nha, tiếng Nga, tiếng Tây Ban Nha, tiếng Swahili, tiếng Thụy Điển và tiếng Thổ Nhĩ Kỳ. Một dự án ở bất kỳ ngôn ngữ nào khác sẽ nhận được một thông báo nói rõ điều này: hãy chọn một công cụ lồng tiếng khác cho dự án đó.
Chatterbox còn có tiếng Do Thái, tiếng Nhật và tiếng Trung, nhưng tiện ích bỏ ra: tiếng Do Thái cần một mô hình thứ hai để thêm dấu nguyên âm, tiếng Nhật cần một bộ chuyển đổi có giấy phép không cho phép đóng gói kèm, còn tiếng Trung thì bị méo tiếng trong các thử nghiệm của chúng tôi.
Hãy viết số và ký hiệu bằng chữ khi điều đó quan trọng. Mỗi câu được nói một lần liền, tối đa 40 giây lời nói.
ardadeelenesfifrhiitkomsnlnoplptrusvswtr
Nền tảng
| Hệ thống | Tải về | Đã thử |
|---|---|---|
| Linux x86-64 | 62.5 MB | Lồng tiếng với cả hai mô hình trên máy thật, và ngay trong Subtitld |
| macOS (Apple silicon) | 43.7 MB | Trong CI, tiện ích đã cài tải một mô hình và lồng tiếng với nó (Apple Silicon) |
| Windows x86-64 | 38.7 MB | Trong CI, tiện ích đã cài tải một mô hình và lồng tiếng với nó |
Linux x86-64, macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng, CI cài tiện ích bổ sung giống như Subtitld làm, tải một mô hình và lồng tiếng với nó.
Khắc phục sự cố
network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.disk_fullKhông đủ dung lượng đĩa cho mô hình: 1,3 GB cho Multilingual, 725 MB cho Turbo.unsupported_languageNgôn ngữ của dự án không thuộc 20 ngôn ngữ này, hoặc chưa được đặt. Hãy đặt ngôn ngữ trong dự án, hoặc chọn một công cụ lồng tiếng khác.unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu: hãy mở video, hoặc đặt Fallback reference clip. Thông báo cho biết là trường hợp nào.out_of_memoryMáy tính đã hết bộ nhớ. Đóng các chương trình khác, hoặc chọn Turbo cho tiếng Anh: nó cần khoảng 1 GB.internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.
Giấy phép
Phù hợp cho công việc thương mại: tiện ích bổ sung theo Apache-2.0, còn Chatterbox và cả hai mô hình theo MIT. Các giọng có sẵn là bản ghi âm LibriVox, thuộc phạm vi công cộng; các giọng tiếng Anh đến qua LibriTTS-R, theo CC-BY-4.0, và tiện ích ghi công từng giọng. Bản lồng tiếng bạn làm ra là của bạn.
Phiên bản
- 26.10.1
Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.
The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.
The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it, and the preset clips are credited inbin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source ischatterbox-<version>-libquadmath-source.tar.gzin this release.
Các tiện ích bổ sung Giọng nói khác
-
Piper Ngoại tuyến
158 giọng ngoại tuyến trong 49 ngôn ngữ, mỗi giọng là một bản tải nhỏ riêng.
-
Kokoro Ngoại tuyến
54 giọng ngoại tuyến trong chín ngôn ngữ, tất cả từ một mô hình 82 MB.
-
Supertonic Ngoại tuyến
Mười giọng ngoại tuyến, mỗi giọng nói được cả 31 ngôn ngữ của nó.
-
sanoTTS Ngoại tuyến
Giọng ngoại tuyến nhỏ gọn, 28 giọng trong 14 ngôn ngữ, mỗi giọng dưới 10 MB.
-
Parler-TTS Ngoại tuyến
Giọng tiếng Anh theo mô tả bằng văn bản; 34 người nói có tên.
-
Qwen3-TTS Nhân bản
Mười ngôn ngữ, chín giọng, và nhân bản giọng từ 3 giây của một người nói.
-
Coqui XTTS Nhân bản
Nhân bản giọng trong 16 ngôn ngữ, với giấy phép mô hình phi thương mại.
-
F5-TTS Nhân bản
Chỉ nhân bản giọng, bằng tiếng Anh và tiếng Trung; mô hình phi thương mại.
-
VoxCPM2 Nhân bản
30 ngôn ngữ ở 48 kHz, bằng chính giọng người nói hoặc một giọng được mô tả. Nặng.
-
Pocket TTS Ngoại tuyến
Nhanh và nhẹ, chỉ dùng CPU. 23 giọng trong bảy ngôn ngữ châu Âu.
-
Sopro Nhân bản
Chính giọng người nói, nhanh trên CPU. Bốn ngôn ngữ.
-
KittenTTS 2 Nhân bản
Chính giọng người nói bằng 16 ngôn ngữ, trên CPU. Trọng số theo một giấy phép hạn chế.
-
Ming-3.0-tts Nhân bản
7 ngôn ngữ ở 44,1 kHz: giọng nhân bản, tích hợp hoặc được mô tả, có cảm xúc. Nặng.
-
Scylla's Band Ngoại tuyến
Mười bốn giọng nói sáu ngôn ngữ, nhẹ và nhanh trên CPU. Chỉ có giọng có sẵn.
-
Audio8 TTS Nhân bản
Chính giọng người nói bằng 23 ngôn ngữ, kể cả tiếng Quảng Đông và tiếng Ả Rập. Chậm trên CPU.
-
Inflect Ngoại tuyến
Giọng tiếng Anh tự nhiên từ một mô hình tí hon, nhanh trên mọi CPU.
-
Paradee Ngoại tuyến
Bốn giọng tiếng Anh tự nhiên, Mỹ và Anh, từ một mô hình duy nhất 8,5 MB.
-
BlueTTS Nhân bản
Tiếng Do Thái và tiếng Yiddish, cùng năm ngôn ngữ khác. Chính giọng người nói, nhanh trên CPU.
-
ZONOS3-Mini Nhân bản
43 ngôn ngữ, từ tiếng Ả Rập đến tiếng Việt. Chính giọng người nói, trên CPU.
-
Reverb Nhân bản
Bảy ngôn ngữ châu Âu và chính giọng người nói, trên CPU; mô hình phi thương mại.
-
OmniVoice Nhân bản
646 ngôn ngữ, chính giọng người nói qua các ngôn ngữ; mô hình phi thương mại.
-
VoxMel Nhân bản
Tiếng Anh và tiếng Quan Thoại, với bản nhân bản sát giọng của chính người nói.
-
tiny-voca Ngoại tuyến
Hai giọng tiếng Anh Mỹ từ một mô hình 4,5 triệu tham số, không cần tải gì cả.