BlueTTS ngoại tuyến, nhân bản giọng nói, tiếng Do Thái + 6 ngôn ngữ

Giọng nóiNgoại tuyếnChỉ CPUNhân bản giọng nóiĐược dùng thương mại

Lồng tiếng phụ đề của bạn bằng tiếng Do Thái, tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Ý, tiếng Nga và tiếng Yiddish với BlueV3, của Maxim Melichov, bằng một trong 15 giọng hoặc bằng chính giọng của mỗi người nói được nhân bản từ khoảng mười giây của video. Nó chạy trên bộ xử lý của chính máy tính bạn, nhanh gấp ba đến năm lần thời gian thực, không cần card đồ họa.

Cài đặt từ Subtitld

Cài đặt Tiện ích bổ sung BlueTTS (offline, voice clone, Hebrew + 6 languages) Cài đặt

Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.

Mã nguồn trên GitHub
Ngôn ngữ
7
Mô hình
5
Giọng nói
16
Tải tiện ích bổ sung
37–62 MB
RAM, tối thiểu
2.5 GB

Nó làm gì

Tiếng Do Thái và tiếng Yiddish

BlueTTS được làm trước hết cho tiếng Do Thái: nó đọc văn bản tiếng Do Thái không có dấu nguyên âm, kể cả số, ngày tháng và giá tiền, và các từ tiếng Anh nằm trong một câu tiếng Do Thái được đọc bằng tiếng Anh. Nó cũng nói được tiếng Yiddish, điều mà ít công cụ lồng tiếng làm được.

Chính giọng của người nói

Subtitld cắt khoảng mười giây của mỗi người nói từ video và gửi kèm với mỗi câu. BlueTTS nhân bản giọng đó bằng bất kỳ ngôn ngữ nào trong bảy ngôn ngữ của nó. Hoặc chọn một trong 15 giọng.

Nhanh trên mọi máy tính

Trên bộ xử lý của máy tính xách tay, nó nói nhanh gấp ba đến năm lần thời gian thực. Không dùng card đồ họa.

Ngoại tuyến sau câu đầu tiên

Mỗi phần chỉ được tải một lần, vào lần đầu một câu cần đến nó. Sau đó, không có gì rời khỏi máy tính của bạn.

Trước khi cài đặt

Những gì BlueTTS cần tùy thuộc vào các ngôn ngữ bạn lồng tiếng:

  • Đĩa: 428 MB cho mô hình, được tải ở câu đầu tiên. Tiếng Do Thái thêm 1,2 GB (hoặc 312 MB với mô hình đọc gọn nhẹ), tiếng Yiddish 307 MB, và chính giọng người nói 136 MB, mỗi phần vào lần đầu bạn dùng nó.
  • Bộ nhớ: khoảng 700 MB khi đang nói, khoảng 2 GB khi đã nạp tiếng Do Thái.
  • Thời gian: trên Intel Core i7-13700T, một giây giọng nói mất khoảng một phần năm giây để tạo, một phần ba giây với tiếng Do Thái. Câu tiếng Do Thái đầu tiên phải chờ thêm khoảng 15 giây trong khi mô hình đọc được nạp.
  • Bộ xử lý: bất kỳ bộ xử lý Intel hoặc AMD 64 bit nào, hoặc Apple Silicon. Không dùng card đồ họa.

Giọng nói

Trong tab Người nói, chọn BlueTTS làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.

16 giọng nói.

Giọng nói
Nữ Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Nam Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Mọi giọng đều nói được cả bảy ngôn ngữ, mỗi ngôn ngữ ở nhịp độ tự nhiên riêng của giọng đó. Các giọng được tạo từ những người đọc của kho sách nói LibriTTS-R.

Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề của họ hoặc vài phụ đề ngắn nối lại. Nếu bạn đã tách nhạc khỏi giọng nói cho video này, mẫu được lấy chỉ từ giọng nói. Fallback reference clip trong cài đặt của tiện ích chỉ được dùng khi không cắt được mẫu nào.

BlueTTS nghe khoảng chín giây đầu của mẫu, và sao chép âm sắc và cao độ của giọng, không sao chép cách nói. Mẫu tốt nhất là lời nói rõ ràng, thu gần micrô: tiếng ồn và tiếng vang làm bản nhân bản kém giống người nói, và bản ghi âm qua điện thoại cho ra một giọng nghe như qua điện thoại.

Mô hình

Mô hình và các mô hình đọc không nằm trong tiện ích bổ sung: mỗi cái được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu một câu cần đến nó, từ Hugging Face ở một phiên bản cố định, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại chúng.

Mô hình Tải vềPhù hợp với
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru Mặc định bluev3
428 MB
Mọi câu: các giọng, và cách đọc tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Ý và tiếng Nga
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
Chính giọng người nói, vào lần đầu bạn lồng tiếng bằng một giọng như vậy
RenikudPlus Hebrew G2P renikudplus
1.2 GB
Tiếng Do Thái, vào lần đầu bạn lồng tiếng (mặc định)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
Tiếng Do Thái, khi bạn chọn mô hình đọc gọn nhẹ
ReNikud-yi Yiddish context model renikud-yi
307 MB
Tiếng Yiddish, vào lần đầu bạn lồng tiếng

Tiện ích chạy mã nguồn của chính BlueTTS trên ONNX Runtime, không cần PyTorch. Với cùng giọng, câu và seed, nó cho ra đúng y như gói Python của chính BlueTTS.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Cấu hình.

CPU threads
Mặc định: 0

0 dùng các bộ xử lý logic của máy tính, tối đa 8. Nhiều hơn hiếm khi nhanh hơn; ít hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.

Quality steps
Mặc định: 8

Số lượt mô hình xử lý mỗi câu. 8 là thiết lập của chính BlueTTS. 4 nhanh gấp khoảng 1,7 lần, chất lượng thấp hơn một chút.

Hebrew reading model
Mặc định: accurate

Cách văn bản tiếng Do Thái được chuyển thành âm. accurate là mô hình đầy đủ, 1,2 GB, dùng khoảng 2 GB bộ nhớ. compact là cùng mô hình đó được thu nhỏ, 312 MB: trong thử nghiệm của chúng tôi, nó đọc khác khoảng 1 từ trên 200, thường là đọc sai.

Fallback reference clip
Mặc định: trống

Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: khoảng 10 giây một người đang nói, rõ ràng, không phải bản ghi âm qua điện thoại.

Ngôn ngữ

Tiếng Do Thái, tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Ý, tiếng Nga và tiếng Yiddish. Một dự án ở bất kỳ ngôn ngữ nào khác sẽ nhận được một thông báo nói rõ điều này: hãy chọn một công cụ lồng tiếng khác cho dự án đó.

Tiếng Tây Ban Nha theo khu vực của dự án: Tây Ban Nha thì đọc giọng Castilla, mọi khu vực khác thì đọc tiếng Tây Ban Nha Mỹ Latinh. Số, ngày tháng, giá tiền và mã được đọc thành chữ, trừ tiếng Yiddish: hãy viết số tiếng Yiddish bằng chữ, nếu không câu đó sẽ bị từ chối với một thông báo nói rõ điều này.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Nền tảng

Hệ thống Tải vềĐã thử
Linux x86-64 61.7 MBLồng tiếng với mô hình thật trên máy thật, qua trình quản lý tiện ích bổ sung của Subtitld, và trong CI
macOS (Apple silicon) 43.8 MBLồng tiếng với mô hình thật trong CI (Apple Silicon)
Windows x86-64 37.3 MBLồng tiếng với mô hình thật trong CI

Linux x86-64, macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng, CI cài tiện ích bổ sung giống như Subtitld làm, tải các mô hình và lồng tiếng một câu ở mỗi ngôn ngữ.

Khắc phục sự cố

  • network_unavailableKhông tải được một mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.
  • disk_fullKhông đủ dung lượng đĩa cho mô hình: 428 MB, và thêm tối đa 1,7 GB cho tiếng Do Thái, tiếng Yiddish và chính giọng người nói.
  • unsupported_languageNgôn ngữ của dự án không thuộc bảy ngôn ngữ này, hoặc chưa được đặt. Hãy đặt ngôn ngữ trong dự án, hoặc chọn một công cụ lồng tiếng khác.
  • unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.
  • bad_paramsCâu không có văn bản, một câu tiếng Yiddish có chữ số, hoặc giọng nhân bản không có mẫu: hãy mở video, hoặc đặt Fallback reference clip. Thông báo cho biết là trường hợp nào.
  • out_of_memoryMáy tính đã hết bộ nhớ. Đóng các chương trình khác: BlueTTS cần khoảng 1 GB trống, 2,5 GB với tiếng Do Thái.
  • internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.

Giấy phép

Tiện ích bổ sung
Apache-2.0
Công cụ
MIT
BlueTTS, của Maxim Melichov; ONNX Runtime theo MIT
Mô hình
MIT, BigScience OpenRAIL-M
Trọng số BlueV3; bộ vocoder, được tinh chỉnh từ Supertonic-3 của Supertone, theo OpenRAIL-M, có giới hạn sử dụng
Giọng nói
CC-BY-4.0
Được tạo từ những người nói của LibriTTS-R
Mô hình đọc
Apache-2.0, MIT, CC BY-SA
RenikudPlus (tiếng Do Thái), polyg2p; từ điển tiếng Đức và tiếng Ý cùng một phần từ điển tiếng Yiddish theo CC BY-SA

Tiện ích bổ sung theo Apache-2.0 và mã nguồn của BlueTTS theo MIT. Mô hình giọng nói cũng theo MIT, trừ bộ vocoder, phần biến đầu ra của mô hình thành âm thanh: nó được tinh chỉnh từ Supertonic-3 của Supertone và mang giấy phép BigScience OpenRAIL-M. Công việc thương mại được phép, nhưng OpenRAIL-M cấm một số cách dùng những gì nó tạo ra, trong đó có vi phạm pháp luật, lừa dối người khác và mạo danh ai đó khi không có sự đồng ý của họ. 15 giọng theo CC-BY-4.0. Từ điển tiếng Đức và tiếng Ý, cùng một phần từ điển tiếng Yiddish, theo CC BY-SA; chúng được tải cùng các mô hình và giữ nguyên như tác giả của chúng công bố.

Bản lồng tiếng bạn làm ra là của bạn. Một giọng nhân bản nghe giống một người thật: hãy chỉ nhân bản những giọng bạn có quyền sử dụng, và nói rõ rằng bản lồng tiếng là tổng hợp khi điều đó quan trọng.

Phiên bản

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Các tiện ích bổ sung Giọng nói khác