Reverb ngoại tuyến, nhân bản giọng nói, 7 ngôn ngữ, phi thương mại
Lồng tiếng phụ đề của bạn bằng tiếng Anh, tiếng Đức, tiếng Pháp, tiếng Tây Ban Nha, tiếng Ý, tiếng Ba Lan và tiếng Bồ Đào Nha với Reverb-TTS, của Software Mansion AI Labs, bằng một trong 16 giọng hoặc bằng chính giọng của mỗi người nói được nhân bản từ vài giây của video và phụ đề của nó. Nó chạy trên bộ xử lý của chính máy tính bạn, không cần card đồ họa. Mô hình chỉ dành cho mục đích phi thương mại.
Cài đặt Tiện ích bổ sung Reverb (offline, voice clone, 7 languages, non-commercial) Cài đặt
Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.
- Ngôn ngữ
- 7
- Mô hình
- 3
- Giọng nói
- 17
- Tải tiện ích bổ sung
- 40–65 MB
- RAM, tối thiểu
- 2.5 GB
Nó làm gì
Tiếng Anh, tiếng Đức, tiếng Pháp, tiếng Tây Ban Nha, tiếng Ý, tiếng Ba Lan và tiếng Bồ Đào Nha. Số, ngày tháng, giá tiền và đơn vị được đọc thành chữ, theo cách riêng của từng ngôn ngữ.
Subtitld cắt vài giây của mỗi người nói từ video và gửi kèm với các phụ đề được nói trong đó. Reverb nhân bản giọng đó bằng bất kỳ ngôn ngữ nào trong bảy ngôn ngữ của nó. Hoặc chọn một trong 16 giọng.
Exact chạy mô hình đúng như khi được phát hành. Fast nhanh gấp khoảng hai lần và tải về nhỏ hơn, đổi lại độ chính xác giảm đi một chút.
Mô hình chỉ được tải một lần, vào lần đầu một câu cần đến nó. Sau đó, không có gì rời khỏi máy tính của bạn.
Mô hình phi thương mại. Trọng số Reverb-TTS và các giọng đặt sẵn của nó theo CC-BY-NC-4.0, giấy phép không cho phép sử dụng thương mại. Mã của tiện ích là Apache-2.0, nhưng điều đó không thay đổi điều khoản của trọng số. Với công việc thương mại, ZONOS3-Mini cũng nhân bản giọng ở cả bảy ngôn ngữ này, và trọng số của nó là Apache-2.0.
Trước khi cài đặt
- Đĩa: 640 MB cho mô hình, được tải ở câu đầu tiên; thay vào đó là 378 MB nếu bạn chọn Fast trước câu đầu tiên. Lần đầu bạn dùng chính giọng của một người nói, thêm 327 MB.
- Bộ nhớ: khoảng 1,5 GB khi đang nói.
- Thời gian: trên một Intel Core i7-13700T đang bận với công việc khác, một giây giọng nói mất khoảng 0,8 giây để tạo ở tốc độ Exact và khoảng 0,6 giây ở Fast.
- Bộ xử lý: bộ xử lý Intel hoặc AMD 64 bit, hoặc Apple Silicon. Không dùng card đồ họa.
Giọng nói
Trong tab Người nói, chọn Reverb làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.
17 giọng nói.
| Thu âm bằng | Nữ | Nam |
|---|---|---|
| Tiếng Anh | Người dẫn chuyện, thì thầm | Người dẫn chuyện 1, người dẫn chuyện 2, giận dữ |
| Tiếng Pháp | Nữ người Pháp | Nam người Pháp |
| Tiếng Đức | Nữ người Đức | Nam người Đức |
| Tiếng Ý | Nam người Ý, nam người Ý biểu cảm | |
| Tiếng Ba Lan | Nam người Ba Lan | |
| Tiếng Bồ Đào Nha | Nữ người Bồ Đào Nha | Nam người Bồ Đào Nha |
| Tiếng Tây Ban Nha | Nam người Tây Ban Nha 1, nam người Tây Ban Nha 2 |
Đây là các giọng đặt sẵn của chính Reverb. Mọi giọng đều nói được mọi ngôn ngữ, nhưng mang giọng địa phương của ngôn ngữ mà nó được thu âm. Với một ngôn ngữ không có giọng riêng ở đây, hoặc không có giọng nữ, hãy dùng chính giọng của người nói.
Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề của họ hoặc vài phụ đề ngắn nối lại, và gửi kèm những gì được nói trong đó: văn bản của các phụ đề ấy. Reverb cần cả hai. Nó nói tiếp từ mẫu và lời của mẫu, và nếu không có lời, nó sẽ bỏ mất mấy từ đầu của mỗi câu.
Vì vậy, phụ đề phải ở ngôn ngữ được nói trong video. Nếu bạn đã dịch chúng, Subtitld gửi văn bản gốc, miễn là nó biết âm thanh ở ngôn ngữ nào: hãy đặt điều đó trong Ngôn ngữ phụ đề ở bảng Chuyển thành văn bản. Nếu không, câu đó sẽ dừng lại với một thông báo nói rõ điều này. Phụ đề diễn đạt lại những gì được nói, thay vì ghi lại đúng từng chữ, sẽ làm bản nhân bản kém đi.
Mẫu tốt nhất là từ 3 đến 10 giây một người đang nói, rõ ràng và thu gần micrô. Mẫu ngắn hơn 2 giây sẽ bị từ chối, và mẫu dài hơn 15 giây thường cho ra các câu kém hơn. Fallback reference clip trong cài đặt của tiện ích, cùng với Fallback clip's transcript của nó, chỉ được dùng khi không cắt được mẫu nào.
Mỗi câu được tạo với seed mà Subtitld gửi, nên cùng một câu bằng cùng một giọng sẽ ra giống hệt nhau mỗi lần.
Mô hình
Mô hình không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu một câu cần đến nó, từ bản phát hành riêng của tiện ích trên GitHub, nơi lưu trọng số của Reverb đã được chuyển đổi cho ONNX Runtime, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại nó.
| Mô hình | Tải về | Phù hợp với |
|---|---|---|
| Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Mặc định reverb | Mọi câu ở tốc độ Exact, mặc định: mạng, bộ giải mã và 16 giọng | |
| Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast | Mọi câu ở tốc độ Fast, thay cho mạng Exact: tổng cộng 378 MB cùng với bộ giải mã | |
| Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder | Chính giọng người nói, vào lần đầu bạn lồng tiếng bằng một giọng như vậy |
Exact và Fast dùng chung bộ giải mã và các giọng (111 MB): chỉ có mạng là khác, 529 MB cho Exact và 266 MB cho Fast. Chuyển từ chế độ này sang chế độ kia về sau sẽ tải mạng còn lại vào lần đầu một câu cần đến nó.
Tiện ích chạy Reverb trên ONNX Runtime, không cần PyTorch. Bộ lấy mẫu và phần chuẩn bị văn bản của Reverb được chuyển từ mã của chính Software Mansion. Số ngẫu nhiên của nó đến từ một nguồn khác, nên cùng một seed ở đây cho ra một bản khác so với gói của chính Reverb; mạng Exact đã được kiểm tra để dự đoán đúng như gói đó dự đoán.
Tùy chọn
Trong Cài đặt › Tiện ích bổ sung › Reverb (offline, voice clone, 7 languages, non-commercial) › Cấu hình.
00 dùng các bộ xử lý logic của máy tính, tối đa 8. Nhiều hơn hiếm khi nhanh hơn; ít hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.
8Số lượt mô hình xử lý mỗi câu. 8 là thiết lập của chính Reverb; ít hơn thì nhanh hơn, nhưng lỗi nhiều hơn.
exactExact chạy mô hình đúng như Software Mansion đã phát hành. Fast chạy nó bằng số nguyên 8 bit, nhanh gấp khoảng hai lần, với bản tải riêng 266 MB: các câu thường nghe giống nhau, nhưng nó lệch xa hơn so với mô hình đã phát hành và lỗi thường xuyên hơn.
Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: từ 3 đến 10 giây một người đang nói, rõ ràng.
Chính xác những gì được nói trong đoạn dự phòng, từng chữ một. Reverb nhân bản từ đoạn âm thanh và lời của nó, nên đoạn dự phòng sẽ bị từ chối nếu thiếu phần này.
Ngôn ngữ
Tiếng Anh, tiếng Đức, tiếng Pháp, tiếng Tây Ban Nha, tiếng Ý, tiếng Ba Lan và tiếng Bồ Đào Nha. Một dự án ở bất kỳ ngôn ngữ nào khác sẽ nhận được một thông báo nói rõ điều này: hãy chọn một công cụ lồng tiếng khác cho dự án đó.
endefresitplpt
Nền tảng
| Hệ thống | Tải về | Đã thử |
|---|---|---|
| Linux x86-64 | 64.9 MB | Nói cả bảy ngôn ngữ và nhân bản một giọng với mô hình thật trong CI |
| macOS (Apple silicon) | 45.6 MB | Nói cả bảy ngôn ngữ và nhân bản một giọng với mô hình thật trong CI (Apple Silicon) |
| Windows x86-64 | 40.5 MB | Nói cả bảy ngôn ngữ và nhân bản một giọng với mô hình thật trong CI |
Linux x86-64 (glibc 2.35 trở lên, như Ubuntu 22.04, Debian 12 hoặc Fedora 36), macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng, CI cài tiện ích bổ sung giống như Subtitld làm, tải mô hình, nói một câu ở mỗi ngôn ngữ và nhân bản một giọng.
Khắc phục sự cố
network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.disk_fullKhông đủ dung lượng đĩa cho mô hình: 640 MB (378 MB với Fast), và thêm 327 MB cho chính giọng người nói.unsupported_languageNgôn ngữ của dự án không thuộc bảy ngôn ngữ này, hoặc chưa được đặt. Hãy đặt ngôn ngữ trong dự án, hoặc chọn một công cụ lồng tiếng khác.unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu hay bản ghi lời của mẫu. Với một dự án đã dịch, hãy đặt Ngôn ngữ phụ đề thành ngôn ngữ được nói; khi không mở video, hãy đặt Fallback reference clip và bản ghi lời của nó. Thông báo cho biết là trường hợp nào.out_of_memoryMáy tính đã hết bộ nhớ. Đóng các chương trình khác: Reverb cần khoảng 1,5 GB trống.internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.
Giấy phép
Tiện ích bổ sung theo Apache-2.0, và mã của Reverb mà nó chuyển sang cũng vậy. Trọng số Reverb-TTS và 16 giọng đặt sẵn của nó theo CC-BY-NC-4.0: chỉ dành cho mục đích phi thương mại. Một tệp giấy phép đi kèm mô hình cho biết những gì đã được thay đổi khi chuyển đổi nó. ONNX Runtime theo MIT, và Verbalis, phần đọc số và ngày tháng, theo MIT.
Hãy sử dụng có trách nhiệm. Một giọng nhân bản nghe giống một người thật. Chỉ nhân bản những giọng bạn có quyền sử dụng, với sự đồng ý của người nói; đừng mạo danh người thật, và đừng dùng giọng nói bạn tạo ra để lừa dối, lừa đảo hay quấy rối. Hãy cho người nghe biết khi họ đang nghe một giọng tổng hợp.
Phiên bản
- 26.11.1
Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.
The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's
models-1release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isreverb-<version>-libquadmath-source.tar.gzin this release.
Các tiện ích bổ sung Giọng nói khác
-
Piper Ngoại tuyến
158 giọng ngoại tuyến trong 49 ngôn ngữ, mỗi giọng là một bản tải nhỏ riêng.
-
Kokoro Ngoại tuyến
54 giọng ngoại tuyến trong chín ngôn ngữ, tất cả từ một mô hình 82 MB.
-
Supertonic Ngoại tuyến
Mười giọng ngoại tuyến, mỗi giọng nói được cả 31 ngôn ngữ của nó.
-
sanoTTS Ngoại tuyến
Giọng ngoại tuyến nhỏ gọn, 28 giọng trong 14 ngôn ngữ, mỗi giọng dưới 10 MB.
-
Parler-TTS Ngoại tuyến
Giọng tiếng Anh theo mô tả bằng văn bản; 34 người nói có tên.
-
Qwen3-TTS Nhân bản
Mười ngôn ngữ, chín giọng, và nhân bản giọng từ 3 giây của một người nói.
-
Coqui XTTS Nhân bản
Nhân bản giọng trong 16 ngôn ngữ, với giấy phép mô hình phi thương mại.
-
F5-TTS Nhân bản
Chỉ nhân bản giọng, bằng tiếng Anh và tiếng Trung; mô hình phi thương mại.
-
VoxCPM2 Nhân bản
30 ngôn ngữ ở 48 kHz, bằng chính giọng người nói hoặc một giọng được mô tả. Nặng.
-
Pocket TTS Ngoại tuyến
Nhanh và nhẹ, chỉ dùng CPU. 23 giọng trong bảy ngôn ngữ châu Âu.
-
Sopro Nhân bản
Chính giọng người nói, nhanh trên CPU. Bốn ngôn ngữ.
-
KittenTTS 2 Nhân bản
Chính giọng người nói bằng 16 ngôn ngữ, trên CPU. Trọng số theo một giấy phép hạn chế.
-
Ming-3.0-tts Nhân bản
7 ngôn ngữ ở 44,1 kHz: giọng nhân bản, tích hợp hoặc được mô tả, có cảm xúc. Nặng.
-
Scylla's Band Ngoại tuyến
Mười bốn giọng nói sáu ngôn ngữ, nhẹ và nhanh trên CPU. Chỉ có giọng có sẵn.
-
Audio8 TTS Nhân bản
Chính giọng người nói bằng 23 ngôn ngữ, kể cả tiếng Quảng Đông và tiếng Ả Rập. Chậm trên CPU.
-
Inflect Ngoại tuyến
Giọng tiếng Anh tự nhiên từ một mô hình tí hon, nhanh trên mọi CPU.
-
Paradee Ngoại tuyến
Bốn giọng tiếng Anh tự nhiên, Mỹ và Anh, từ một mô hình duy nhất 8,5 MB.
-
BlueTTS Nhân bản
Tiếng Do Thái và tiếng Yiddish, cùng năm ngôn ngữ khác. Chính giọng người nói, nhanh trên CPU.
-
ZONOS3-Mini Nhân bản
43 ngôn ngữ, từ tiếng Ả Rập đến tiếng Việt. Chính giọng người nói, trên CPU.
-
Chatterbox Nhân bản
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…