Chatterbox ngoại tuyến, nhân bản giọng nói, 20 ngôn ngữ

Giọng nóiNgoại tuyếnChỉ CPUNhân bản giọng nóiĐược dùng thương mại

Lồng tiếng phụ đề của bạn bằng 20 ngôn ngữ với Chatterbox của Resemble AI, bằng chính giọng của mỗi người nói được nhân bản từ vài giây của video, hoặc bằng một trong 8 giọng có sẵn. Một giọng nhân bản nói được mọi ngôn ngữ, dù đoạn gốc ở ngôn ngữ nào. Nó chạy trên bộ xử lý của chính máy tính bạn với tốc độ khoảng bằng thời gian thực, không cần card đồ họa.

Cài đặt từ Subtitld

Cài đặt Tiện ích bổ sung Chatterbox (offline, voice clone, 20 languages) Cài đặt

Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.

Mã nguồn trên GitHub
Ngôn ngữ
20
Mô hình
2
Giọng nói
9
Tải tiện ích bổ sung
39–62 MB
RAM, tối thiểu
2 GB

Nghe thử

Nó làm gì

Chính giọng của người nói, bằng một ngôn ngữ khác

Subtitld cắt vài giây của mỗi người nói từ video và gửi kèm với mỗi câu. Chatterbox nhân bản giọng đó ở bất kỳ ngôn ngữ nào trong 20 ngôn ngữ của nó, nên một diễn viên nói tiếng Bồ Đào Nha có thể được lồng tiếng Đức mà vẫn nghe như chính họ.

Hai mô hình

Multilingual nói cả 20 ngôn ngữ. Turbo chỉ nói tiếng Anh, nghe gần giọng người nói hơn, cần ít bộ nhớ hơn và đọc được các thẻ như [laugh] và [sigh] viết trong phụ đề.

Trên mọi máy tính

Nó chạy trên bộ xử lý với tốc độ khoảng bằng thời gian thực, không cần card đồ họa: một câu 10 giây mất khoảng 10 giây.

Miễn phí cho công việc thương mại

Tiện ích bổ sung theo Apache-2.0, Chatterbox và các mô hình của nó theo MIT, và các giọng có sẵn là người đọc LibriVox, thuộc phạm vi công cộng.

Trước khi cài đặt

  • Đĩa: ở câu đầu tiên, Multilingual tải 1,3 GB, Turbo tải 725 MB.
  • Bộ nhớ: khoảng 1,7 GB khi nói với Multilingual, khoảng 1 GB với Turbo.
  • Bộ xử lý: bất kỳ bộ xử lý Intel hoặc AMD 64 bit nào, hoặc Apple Silicon. Không dùng card đồ họa.

Chỉ nhân bản một giọng khi có sự đồng ý của chủ nhân giọng đó. Các bản dựng chính thức của Chatterbox đánh dấu âm thanh bằng một thủy vân không nghe thấy được; tiện ích này thì không, nên trách nhiệm về cách dùng giọng nhân bản thuộc về bạn.

Giọng nói

Trong tab Người nói, chọn Chatterbox làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.

9 giọng nói.

Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề của họ hoặc vài phụ đề ngắn nối lại. Nếu bạn đã tách nhạc khỏi giọng nói cho video này, mẫu được lấy chỉ từ giọng nói. Fallback reference clip trong cài đặt của tiện ích chỉ được dùng khi không cắt được mẫu nào. Mẫu tốt nhất là 5 đến 20 giây chỉ có người nói đó, không có nhạc hay giọng khác; tiện ích dùng 10 giây đầu của mẫu.

Giọng có sẵn
Nữ Tiếng Anh, tiếng Bồ Đào Nha, tiếng Pháp, tiếng Đức
Nam Tiếng Anh, tiếng Bồ Đào Nha, tiếng Pháp, tiếng Đức

Mỗi giọng có sẵn là một tình nguyện viên LibriVox đọc một cuốn sách bằng ngôn ngữ đó, cũng là những người đọc trong tiện ích Sopro. Mọi giọng có sẵn đều nói được cả 20 ngôn ngữ; ngôn ngữ riêng của giọng chỉ tạo cho nó một giọng địa phương, nên hãy chọn giọng gần nhất với ngôn ngữ của dự án để có bản lồng tiếng tự nhiên nhất.

Mô hình

Không mô hình nào nằm trong tiện ích bổ sung: mô hình bạn dùng được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu bạn lồng tiếng, từ Hugging Face ở một phiên bản cố định, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại các mô hình.

Mô hìnhNgôn ngữ Tải vềPhù hợp với
Chatterbox Multilingual (0.5B, 4-bit ONNX) Mặc định multilingual
1.3 GB
Cả 20 ngôn ngữ; mô hình mặc định
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
Chỉ tiếng Anh: gần giọng người nói hơn, ít bộ nhớ hơn, và đọc được [laugh], [sigh] và [cough]

Tiện ích chạy các bản xuất ONNX của Chatterbox, không cần PyTorch. Trong thử nghiệm của chúng tôi với 10 câu bằng tiếng Anh, tiếng Bồ Đào Nha, tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha, tiếng Ý, tiếng Nga và tiếng Ba Lan, mỗi câu nhân bản từ hai giọng, Multilingual sai 2,4% số từ và nghe gần giọng người nói; Turbo không sai từ nào ở tiếng Anh và nghe còn gần hơn nữa.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › Chatterbox (offline, voice clone, 20 languages) › Cấu hình.

Model
Mặc định: multilingual

Turbo chỉ nói tiếng Anh. Khi chọn Turbo, các câu bằng ngôn ngữ khác do Multilingual nói. Mỗi lúc chỉ có một mô hình trong bộ nhớ.

Expressiveness
Mặc định: 0.5

Chỉ với Multilingual: giọng thể hiện bao nhiêu cảm xúc. 0,5 là giá trị mặc định của chính Chatterbox; cao hơn thì kịch tính hơn và thường nói nhanh hơn.

CPU threads
Mặc định: 0

0 dùng một nửa số bộ xử lý logic của máy tính, tối đa 8. Ít luồng hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.

Fallback reference clip
Mặc định: trống

Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: 5 đến 20 giây một người đang nói.

Ngôn ngữ

Tiếng Ả Rập, tiếng Đan Mạch, tiếng Hà Lan, tiếng Anh, tiếng Phần Lan, tiếng Pháp, tiếng Đức, tiếng Hy Lạp, tiếng Hindi, tiếng Ý, tiếng Hàn, tiếng Mã Lai, tiếng Na Uy, tiếng Ba Lan, tiếng Bồ Đào Nha, tiếng Nga, tiếng Tây Ban Nha, tiếng Swahili, tiếng Thụy Điển và tiếng Thổ Nhĩ Kỳ. Một dự án ở bất kỳ ngôn ngữ nào khác sẽ nhận được một thông báo nói rõ điều này: hãy chọn một công cụ lồng tiếng khác cho dự án đó.

Chatterbox còn có tiếng Do Thái, tiếng Nhật và tiếng Trung, nhưng tiện ích bỏ ra: tiếng Do Thái cần một mô hình thứ hai để thêm dấu nguyên âm, tiếng Nhật cần một bộ chuyển đổi có giấy phép không cho phép đóng gói kèm, còn tiếng Trung thì bị méo tiếng trong các thử nghiệm của chúng tôi.

Hãy viết số và ký hiệu bằng chữ khi điều đó quan trọng. Mỗi câu được nói một lần liền, tối đa 40 giây lời nói.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

Nền tảng

Hệ thống Tải vềĐã thử
Linux x86-64 62.5 MBLồng tiếng với cả hai mô hình trên máy thật, và ngay trong Subtitld
macOS (Apple silicon) 43.7 MBTrong CI, tiện ích đã cài tải một mô hình và lồng tiếng với nó (Apple Silicon)
Windows x86-64 38.7 MBTrong CI, tiện ích đã cài tải một mô hình và lồng tiếng với nó

Linux x86-64, macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng, CI cài tiện ích bổ sung giống như Subtitld làm, tải một mô hình và lồng tiếng với nó.

Khắc phục sự cố

  • network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.
  • disk_fullKhông đủ dung lượng đĩa cho mô hình: 1,3 GB cho Multilingual, 725 MB cho Turbo.
  • unsupported_languageNgôn ngữ của dự án không thuộc 20 ngôn ngữ này, hoặc chưa được đặt. Hãy đặt ngôn ngữ trong dự án, hoặc chọn một công cụ lồng tiếng khác.
  • unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.
  • bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu: hãy mở video, hoặc đặt Fallback reference clip. Thông báo cho biết là trường hợp nào.
  • out_of_memoryMáy tính đã hết bộ nhớ. Đóng các chương trình khác, hoặc chọn Turbo cho tiếng Anh: nó cần khoảng 1 GB.
  • internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.

Giấy phép

Tiện ích bổ sung
Apache-2.0
Công cụ
MIT
Chatterbox, của Resemble AI; ONNX Runtime theo MIT
Mô hình
MIT
Trọng số Chatterbox Multilingual và Turbo, ở bản xuất ONNX
Giọng có sẵn
Public domain, CC-BY-4.0
Người đọc LibriVox; các giọng tiếng Anh qua LibriTTS-R

Phù hợp cho công việc thương mại: tiện ích bổ sung theo Apache-2.0, còn Chatterbox và cả hai mô hình theo MIT. Các giọng có sẵn là bản ghi âm LibriVox, thuộc phạm vi công cộng; các giọng tiếng Anh đến qua LibriTTS-R, theo CC-BY-4.0, và tiện ích ghi công từng giọng. Bản lồng tiếng bạn làm ra là của bạn.

Phiên bản

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

Các tiện ích bổ sung Giọng nói khác