Reverb ngoại tuyến, nhân bản giọng nói, 7 ngôn ngữ, phi thương mại

Giọng nóiNgoại tuyếnChỉ CPUNhân bản giọng nóiPhi thương mại

Lồng tiếng phụ đề của bạn bằng tiếng Anh, tiếng Đức, tiếng Pháp, tiếng Tây Ban Nha, tiếng Ý, tiếng Ba Lan và tiếng Bồ Đào Nha với Reverb-TTS, của Software Mansion AI Labs, bằng một trong 16 giọng hoặc bằng chính giọng của mỗi người nói được nhân bản từ vài giây của video và phụ đề của nó. Nó chạy trên bộ xử lý của chính máy tính bạn, không cần card đồ họa. Mô hình chỉ dành cho mục đích phi thương mại.

Cài đặt từ Subtitld

Cài đặt Tiện ích bổ sung Reverb (offline, voice clone, 7 languages, non-commercial) Cài đặt

Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.

Mã nguồn trên GitHub
Ngôn ngữ
7
Mô hình
3
Giọng nói
17
Tải tiện ích bổ sung
40–65 MB
RAM, tối thiểu
2.5 GB

Nó làm gì

Bảy ngôn ngữ

Tiếng Anh, tiếng Đức, tiếng Pháp, tiếng Tây Ban Nha, tiếng Ý, tiếng Ba Lan và tiếng Bồ Đào Nha. Số, ngày tháng, giá tiền và đơn vị được đọc thành chữ, theo cách riêng của từng ngôn ngữ.

Chính giọng của người nói

Subtitld cắt vài giây của mỗi người nói từ video và gửi kèm với các phụ đề được nói trong đó. Reverb nhân bản giọng đó bằng bất kỳ ngôn ngữ nào trong bảy ngôn ngữ của nó. Hoặc chọn một trong 16 giọng.

Exact hoặc Fast

Exact chạy mô hình đúng như khi được phát hành. Fast nhanh gấp khoảng hai lần và tải về nhỏ hơn, đổi lại độ chính xác giảm đi một chút.

Ngoại tuyến sau câu đầu tiên

Mô hình chỉ được tải một lần, vào lần đầu một câu cần đến nó. Sau đó, không có gì rời khỏi máy tính của bạn.

Mô hình phi thương mại. Trọng số Reverb-TTS và các giọng đặt sẵn của nó theo CC-BY-NC-4.0, giấy phép không cho phép sử dụng thương mại. Mã của tiện ích là Apache-2.0, nhưng điều đó không thay đổi điều khoản của trọng số. Với công việc thương mại, ZONOS3-Mini cũng nhân bản giọng ở cả bảy ngôn ngữ này, và trọng số của nó là Apache-2.0.

Trước khi cài đặt

  • Đĩa: 640 MB cho mô hình, được tải ở câu đầu tiên; thay vào đó là 378 MB nếu bạn chọn Fast trước câu đầu tiên. Lần đầu bạn dùng chính giọng của một người nói, thêm 327 MB.
  • Bộ nhớ: khoảng 1,5 GB khi đang nói.
  • Thời gian: trên một Intel Core i7-13700T đang bận với công việc khác, một giây giọng nói mất khoảng 0,8 giây để tạo ở tốc độ Exact và khoảng 0,6 giây ở Fast.
  • Bộ xử lý: bộ xử lý Intel hoặc AMD 64 bit, hoặc Apple Silicon. Không dùng card đồ họa.

Giọng nói

Trong tab Người nói, chọn Reverb làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.

17 giọng nói.

Thu âm bằng Nữ Nam
Tiếng Anh Người dẫn chuyện, thì thầm Người dẫn chuyện 1, người dẫn chuyện 2, giận dữ
Tiếng Pháp Nữ người Pháp Nam người Pháp
Tiếng Đức Nữ người Đức Nam người Đức
Tiếng Ý Nam người Ý, nam người Ý biểu cảm
Tiếng Ba Lan Nam người Ba Lan
Tiếng Bồ Đào Nha Nữ người Bồ Đào Nha Nam người Bồ Đào Nha
Tiếng Tây Ban Nha Nam người Tây Ban Nha 1, nam người Tây Ban Nha 2

Đây là các giọng đặt sẵn của chính Reverb. Mọi giọng đều nói được mọi ngôn ngữ, nhưng mang giọng địa phương của ngôn ngữ mà nó được thu âm. Với một ngôn ngữ không có giọng riêng ở đây, hoặc không có giọng nữ, hãy dùng chính giọng của người nói.

Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề của họ hoặc vài phụ đề ngắn nối lại, và gửi kèm những gì được nói trong đó: văn bản của các phụ đề ấy. Reverb cần cả hai. Nó nói tiếp từ mẫu và lời của mẫu, và nếu không có lời, nó sẽ bỏ mất mấy từ đầu của mỗi câu.

Vì vậy, phụ đề phải ở ngôn ngữ được nói trong video. Nếu bạn đã dịch chúng, Subtitld gửi văn bản gốc, miễn là nó biết âm thanh ở ngôn ngữ nào: hãy đặt điều đó trong Ngôn ngữ phụ đề ở bảng Chuyển thành văn bản. Nếu không, câu đó sẽ dừng lại với một thông báo nói rõ điều này. Phụ đề diễn đạt lại những gì được nói, thay vì ghi lại đúng từng chữ, sẽ làm bản nhân bản kém đi.

Mẫu tốt nhất là từ 3 đến 10 giây một người đang nói, rõ ràng và thu gần micrô. Mẫu ngắn hơn 2 giây sẽ bị từ chối, và mẫu dài hơn 15 giây thường cho ra các câu kém hơn. Fallback reference clip trong cài đặt của tiện ích, cùng với Fallback clip's transcript của nó, chỉ được dùng khi không cắt được mẫu nào.

Mỗi câu được tạo với seed mà Subtitld gửi, nên cùng một câu bằng cùng một giọng sẽ ra giống hệt nhau mỗi lần.

Mô hình

Mô hình không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu một câu cần đến nó, từ bản phát hành riêng của tiện ích trên GitHub, nơi lưu trọng số của Reverb đã được chuyển đổi cho ONNX Runtime, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại nó.

Mô hình Tải vềPhù hợp với
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices Mặc định reverb
640 MB
Mọi câu ở tốc độ Exact, mặc định: mạng, bộ giải mã và 16 giọng
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Mọi câu ở tốc độ Fast, thay cho mạng Exact: tổng cộng 378 MB cùng với bộ giải mã
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
Chính giọng người nói, vào lần đầu bạn lồng tiếng bằng một giọng như vậy

Exact và Fast dùng chung bộ giải mã và các giọng (111 MB): chỉ có mạng là khác, 529 MB cho Exact và 266 MB cho Fast. Chuyển từ chế độ này sang chế độ kia về sau sẽ tải mạng còn lại vào lần đầu một câu cần đến nó.

Tiện ích chạy Reverb trên ONNX Runtime, không cần PyTorch. Bộ lấy mẫu và phần chuẩn bị văn bản của Reverb được chuyển từ mã của chính Software Mansion. Số ngẫu nhiên của nó đến từ một nguồn khác, nên cùng một seed ở đây cho ra một bản khác so với gói của chính Reverb; mạng Exact đã được kiểm tra để dự đoán đúng như gói đó dự đoán.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › Reverb (offline, voice clone, 7 languages, non-commercial) › Cấu hình.

CPU threads
Mặc định: 0

0 dùng các bộ xử lý logic của máy tính, tối đa 8. Nhiều hơn hiếm khi nhanh hơn; ít hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.

Quality steps
Mặc định: 8

Số lượt mô hình xử lý mỗi câu. 8 là thiết lập của chính Reverb; ít hơn thì nhanh hơn, nhưng lỗi nhiều hơn.

Speed
Mặc định: exact

Exact chạy mô hình đúng như Software Mansion đã phát hành. Fast chạy nó bằng số nguyên 8 bit, nhanh gấp khoảng hai lần, với bản tải riêng 266 MB: các câu thường nghe giống nhau, nhưng nó lệch xa hơn so với mô hình đã phát hành và lỗi thường xuyên hơn.

Fallback reference clip
Mặc định: trống

Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: từ 3 đến 10 giây một người đang nói, rõ ràng.

Fallback clip's transcript
Mặc định: trống

Chính xác những gì được nói trong đoạn dự phòng, từng chữ một. Reverb nhân bản từ đoạn âm thanh và lời của nó, nên đoạn dự phòng sẽ bị từ chối nếu thiếu phần này.

Ngôn ngữ

Tiếng Anh, tiếng Đức, tiếng Pháp, tiếng Tây Ban Nha, tiếng Ý, tiếng Ba Lan và tiếng Bồ Đào Nha. Một dự án ở bất kỳ ngôn ngữ nào khác sẽ nhận được một thông báo nói rõ điều này: hãy chọn một công cụ lồng tiếng khác cho dự án đó.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Nền tảng

Hệ thống Tải vềĐã thử
Linux x86-64 64.9 MBNói cả bảy ngôn ngữ và nhân bản một giọng với mô hình thật trong CI
macOS (Apple silicon) 45.6 MBNói cả bảy ngôn ngữ và nhân bản một giọng với mô hình thật trong CI (Apple Silicon)
Windows x86-64 40.5 MBNói cả bảy ngôn ngữ và nhân bản một giọng với mô hình thật trong CI

Linux x86-64 (glibc 2.35 trở lên, như Ubuntu 22.04, Debian 12 hoặc Fedora 36), macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng, CI cài tiện ích bổ sung giống như Subtitld làm, tải mô hình, nói một câu ở mỗi ngôn ngữ và nhân bản một giọng.

Khắc phục sự cố

  • network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.
  • disk_fullKhông đủ dung lượng đĩa cho mô hình: 640 MB (378 MB với Fast), và thêm 327 MB cho chính giọng người nói.
  • unsupported_languageNgôn ngữ của dự án không thuộc bảy ngôn ngữ này, hoặc chưa được đặt. Hãy đặt ngôn ngữ trong dự án, hoặc chọn một công cụ lồng tiếng khác.
  • unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.
  • bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu hay bản ghi lời của mẫu. Với một dự án đã dịch, hãy đặt Ngôn ngữ phụ đề thành ngôn ngữ được nói; khi không mở video, hãy đặt Fallback reference clip và bản ghi lời của nó. Thông báo cho biết là trường hợp nào.
  • out_of_memoryMáy tính đã hết bộ nhớ. Đóng các chương trình khác: Reverb cần khoảng 1,5 GB trống.
  • internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.

Giấy phép

Tiện ích bổ sung
Apache-2.0
với mã của chính Reverb, chuyển sang numpy
Công cụ
MIT
ONNX Runtime
Mô hình
CC-BY-NC-4.0
Trọng số Reverb-TTS v1.0.0, của Software Mansion AI Labs; chỉ phi thương mại
Giọng nói
CC-BY-NC-4.0
16 giọng đặt sẵn của Reverb; chỉ phi thương mại
Cách đọc văn bản
MIT, Unicode-3.0
Verbalis, của Software Mansion, với một bảng từ Unicode Character Database

Tiện ích bổ sung theo Apache-2.0, và mã của Reverb mà nó chuyển sang cũng vậy. Trọng số Reverb-TTS và 16 giọng đặt sẵn của nó theo CC-BY-NC-4.0: chỉ dành cho mục đích phi thương mại. Một tệp giấy phép đi kèm mô hình cho biết những gì đã được thay đổi khi chuyển đổi nó. ONNX Runtime theo MIT, và Verbalis, phần đọc số và ngày tháng, theo MIT.

Hãy sử dụng có trách nhiệm. Một giọng nhân bản nghe giống một người thật. Chỉ nhân bản những giọng bạn có quyền sử dụng, với sự đồng ý của người nói; đừng mạo danh người thật, và đừng dùng giọng nói bạn tạo ra để lừa dối, lừa đảo hay quấy rối. Hãy cho người nghe biết khi họ đang nghe một giọng tổng hợp.

Phiên bản

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Các tiện ích bổ sung Giọng nói khác