BlueTTS ngoại tuyến, nhân bản giọng nói, tiếng Do Thái + 6 ngôn ngữ
Lồng tiếng phụ đề của bạn bằng tiếng Do Thái, tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Ý, tiếng Nga và tiếng Yiddish với BlueV3, của Maxim Melichov, bằng một trong 15 giọng hoặc bằng chính giọng của mỗi người nói được nhân bản từ khoảng mười giây của video. Nó chạy trên bộ xử lý của chính máy tính bạn, nhanh gấp ba đến năm lần thời gian thực, không cần card đồ họa.
Cài đặt Tiện ích bổ sung BlueTTS (offline, voice clone, Hebrew + 6 languages) Cài đặt
Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.
- Ngôn ngữ
- 7
- Mô hình
- 5
- Giọng nói
- 16
- Tải tiện ích bổ sung
- 37–62 MB
- RAM, tối thiểu
- 2.5 GB
Nó làm gì
BlueTTS được làm trước hết cho tiếng Do Thái: nó đọc văn bản tiếng Do Thái không có dấu nguyên âm, kể cả số, ngày tháng và giá tiền, và các từ tiếng Anh nằm trong một câu tiếng Do Thái được đọc bằng tiếng Anh. Nó cũng nói được tiếng Yiddish, điều mà ít công cụ lồng tiếng làm được.
Subtitld cắt khoảng mười giây của mỗi người nói từ video và gửi kèm với mỗi câu. BlueTTS nhân bản giọng đó bằng bất kỳ ngôn ngữ nào trong bảy ngôn ngữ của nó. Hoặc chọn một trong 15 giọng.
Trên bộ xử lý của máy tính xách tay, nó nói nhanh gấp ba đến năm lần thời gian thực. Không dùng card đồ họa.
Mỗi phần chỉ được tải một lần, vào lần đầu một câu cần đến nó. Sau đó, không có gì rời khỏi máy tính của bạn.
Trước khi cài đặt
Những gì BlueTTS cần tùy thuộc vào các ngôn ngữ bạn lồng tiếng:
- Đĩa: 428 MB cho mô hình, được tải ở câu đầu tiên. Tiếng Do Thái thêm 1,2 GB (hoặc 312 MB với mô hình đọc gọn nhẹ), tiếng Yiddish 307 MB, và chính giọng người nói 136 MB, mỗi phần vào lần đầu bạn dùng nó.
- Bộ nhớ: khoảng 700 MB khi đang nói, khoảng 2 GB khi đã nạp tiếng Do Thái.
- Thời gian: trên Intel Core i7-13700T, một giây giọng nói mất khoảng một phần năm giây để tạo, một phần ba giây với tiếng Do Thái. Câu tiếng Do Thái đầu tiên phải chờ thêm khoảng 15 giây trong khi mô hình đọc được nạp.
- Bộ xử lý: bất kỳ bộ xử lý Intel hoặc AMD 64 bit nào, hoặc Apple Silicon. Không dùng card đồ họa.
Giọng nói
Trong tab Người nói, chọn BlueTTS làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.
16 giọng nói.
| Giọng nói | |
|---|---|
| Nữ | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| Nam | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
Mọi giọng đều nói được cả bảy ngôn ngữ, mỗi ngôn ngữ ở nhịp độ tự nhiên riêng của giọng đó. Các giọng được tạo từ những người đọc của kho sách nói LibriTTS-R.
Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề của họ hoặc vài phụ đề ngắn nối lại. Nếu bạn đã tách nhạc khỏi giọng nói cho video này, mẫu được lấy chỉ từ giọng nói. Fallback reference clip trong cài đặt của tiện ích chỉ được dùng khi không cắt được mẫu nào.
BlueTTS nghe khoảng chín giây đầu của mẫu, và sao chép âm sắc và cao độ của giọng, không sao chép cách nói. Mẫu tốt nhất là lời nói rõ ràng, thu gần micrô: tiếng ồn và tiếng vang làm bản nhân bản kém giống người nói, và bản ghi âm qua điện thoại cho ra một giọng nghe như qua điện thoại.
Mô hình
Mô hình và các mô hình đọc không nằm trong tiện ích bổ sung: mỗi cái được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu một câu cần đến nó, từ Hugging Face ở một phiên bản cố định, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại chúng.
| Mô hình | Tải về | Phù hợp với |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Mặc định bluev3 | Mọi câu: các giọng, và cách đọc tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Ý và tiếng Nga | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | Chính giọng người nói, vào lần đầu bạn lồng tiếng bằng một giọng như vậy | |
| RenikudPlus Hebrew G2P renikudplus | Tiếng Do Thái, vào lần đầu bạn lồng tiếng (mặc định) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | Tiếng Do Thái, khi bạn chọn mô hình đọc gọn nhẹ | |
| ReNikud-yi Yiddish context model renikud-yi | Tiếng Yiddish, vào lần đầu bạn lồng tiếng |
Tiện ích chạy mã nguồn của chính BlueTTS trên ONNX Runtime, không cần PyTorch. Với cùng giọng, câu và seed, nó cho ra đúng y như gói Python của chính BlueTTS.
Tùy chọn
Trong Cài đặt › Tiện ích bổ sung › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Cấu hình.
00 dùng các bộ xử lý logic của máy tính, tối đa 8. Nhiều hơn hiếm khi nhanh hơn; ít hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.
8Số lượt mô hình xử lý mỗi câu. 8 là thiết lập của chính BlueTTS. 4 nhanh gấp khoảng 1,7 lần, chất lượng thấp hơn một chút.
accurateCách văn bản tiếng Do Thái được chuyển thành âm. accurate là mô hình đầy đủ, 1,2 GB, dùng khoảng 2 GB bộ nhớ. compact là cùng mô hình đó được thu nhỏ, 312 MB: trong thử nghiệm của chúng tôi, nó đọc khác khoảng 1 từ trên 200, thường là đọc sai.
Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: khoảng 10 giây một người đang nói, rõ ràng, không phải bản ghi âm qua điện thoại.
Ngôn ngữ
Tiếng Do Thái, tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Ý, tiếng Nga và tiếng Yiddish. Một dự án ở bất kỳ ngôn ngữ nào khác sẽ nhận được một thông báo nói rõ điều này: hãy chọn một công cụ lồng tiếng khác cho dự án đó.
Tiếng Tây Ban Nha theo khu vực của dự án: Tây Ban Nha thì đọc giọng Castilla, mọi khu vực khác thì đọc tiếng Tây Ban Nha Mỹ Latinh. Số, ngày tháng, giá tiền và mã được đọc thành chữ, trừ tiếng Yiddish: hãy viết số tiếng Yiddish bằng chữ, nếu không câu đó sẽ bị từ chối với một thông báo nói rõ điều này.
heendeesitruyi
Nền tảng
| Hệ thống | Tải về | Đã thử |
|---|---|---|
| Linux x86-64 | 61.7 MB | Lồng tiếng với mô hình thật trên máy thật, qua trình quản lý tiện ích bổ sung của Subtitld, và trong CI |
| macOS (Apple silicon) | 43.8 MB | Lồng tiếng với mô hình thật trong CI (Apple Silicon) |
| Windows x86-64 | 37.3 MB | Lồng tiếng với mô hình thật trong CI |
Linux x86-64, macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng, CI cài tiện ích bổ sung giống như Subtitld làm, tải các mô hình và lồng tiếng một câu ở mỗi ngôn ngữ.
Khắc phục sự cố
network_unavailableKhông tải được một mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.disk_fullKhông đủ dung lượng đĩa cho mô hình: 428 MB, và thêm tối đa 1,7 GB cho tiếng Do Thái, tiếng Yiddish và chính giọng người nói.unsupported_languageNgôn ngữ của dự án không thuộc bảy ngôn ngữ này, hoặc chưa được đặt. Hãy đặt ngôn ngữ trong dự án, hoặc chọn một công cụ lồng tiếng khác.unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.bad_paramsCâu không có văn bản, một câu tiếng Yiddish có chữ số, hoặc giọng nhân bản không có mẫu: hãy mở video, hoặc đặt Fallback reference clip. Thông báo cho biết là trường hợp nào.out_of_memoryMáy tính đã hết bộ nhớ. Đóng các chương trình khác: BlueTTS cần khoảng 1 GB trống, 2,5 GB với tiếng Do Thái.internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.
Giấy phép
Tiện ích bổ sung theo Apache-2.0 và mã nguồn của BlueTTS theo MIT. Mô hình giọng nói cũng theo MIT, trừ bộ vocoder, phần biến đầu ra của mô hình thành âm thanh: nó được tinh chỉnh từ Supertonic-3 của Supertone và mang giấy phép BigScience OpenRAIL-M. Công việc thương mại được phép, nhưng OpenRAIL-M cấm một số cách dùng những gì nó tạo ra, trong đó có vi phạm pháp luật, lừa dối người khác và mạo danh ai đó khi không có sự đồng ý của họ. 15 giọng theo CC-BY-4.0. Từ điển tiếng Đức và tiếng Ý, cùng một phần từ điển tiếng Yiddish, theo CC BY-SA; chúng được tải cùng các mô hình và giữ nguyên như tác giả của chúng công bố.
Bản lồng tiếng bạn làm ra là của bạn. Một giọng nhân bản nghe giống một người thật: hãy chỉ nhân bản những giọng bạn có quyền sử dụng, và nói rõ rằng bản lồng tiếng là tổng hợp khi điều đó quan trọng.
Phiên bản
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
Các tiện ích bổ sung Giọng nói khác
-
Piper Ngoại tuyến
158 giọng ngoại tuyến trong 49 ngôn ngữ, mỗi giọng là một bản tải nhỏ riêng.
-
Kokoro Ngoại tuyến
54 giọng ngoại tuyến trong chín ngôn ngữ, tất cả từ một mô hình 82 MB.
-
Supertonic Ngoại tuyến
Mười giọng ngoại tuyến, mỗi giọng nói được cả 31 ngôn ngữ của nó.
-
sanoTTS Ngoại tuyến
Giọng ngoại tuyến nhỏ gọn, 28 giọng trong 14 ngôn ngữ, mỗi giọng dưới 10 MB.
-
Parler-TTS Ngoại tuyến
Giọng tiếng Anh theo mô tả bằng văn bản; 34 người nói có tên.
-
Qwen3-TTS Nhân bản
Mười ngôn ngữ, chín giọng, và nhân bản giọng từ 3 giây của một người nói.
-
Coqui XTTS Nhân bản
Nhân bản giọng trong 16 ngôn ngữ, với giấy phép mô hình phi thương mại.
-
F5-TTS Nhân bản
Chỉ nhân bản giọng, bằng tiếng Anh và tiếng Trung; mô hình phi thương mại.
-
VoxCPM2 Nhân bản
30 ngôn ngữ ở 48 kHz, bằng chính giọng người nói hoặc một giọng được mô tả. Nặng.
-
Pocket TTS Ngoại tuyến
Nhanh và nhẹ, chỉ dùng CPU. 23 giọng trong bảy ngôn ngữ châu Âu.
-
Sopro Nhân bản
Chính giọng người nói, nhanh trên CPU. Bốn ngôn ngữ.
-
KittenTTS 2 Nhân bản
Chính giọng người nói bằng 16 ngôn ngữ, trên CPU. Trọng số theo một giấy phép hạn chế.
-
Ming-3.0-tts Nhân bản
7 ngôn ngữ ở 44,1 kHz: giọng nhân bản, tích hợp hoặc được mô tả, có cảm xúc. Nặng.
-
Scylla's Band Ngoại tuyến
Mười bốn giọng nói sáu ngôn ngữ, nhẹ và nhanh trên CPU. Chỉ có giọng có sẵn.
-
Audio8 TTS Nhân bản
Chính giọng người nói bằng 11 ngôn ngữ, kể cả tiếng Quảng Đông. Chậm trên CPU.
-
Inflect Ngoại tuyến
Giọng tiếng Anh tự nhiên từ một mô hình tí hon, nhanh trên mọi CPU.
-
Paradee Ngoại tuyến
Bốn giọng tiếng Anh tự nhiên, Mỹ và Anh, từ một mô hình duy nhất 8,5 MB.
-
Chatterbox Nhân bản
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…