Tải về

Audio8 TTS (offline, voice clone, 11 languages)

Giọng nóiNgoại tuyếnChỉ CPUNhân bản giọng nóiĐược dùng thương mại

Lồng tiếng phụ đề của bạn bằng tiếng Trung, tiếng Quảng Đông, tiếng Nhật, tiếng Hàn, tiếng Anh, tiếng Hà Lan, tiếng Pháp, tiếng Đức, tiếng Ý, tiếng Ba Lan và tiếng Tây Ban Nha với Audio8 TTS Preview, bằng chính giọng của mỗi người nói được nhân bản từ vài giây của video. Nó chạy trên bộ xử lý của chính máy tính bạn, không cần card đồ họa, và tiện ích bổ sung, mã nguồn cùng mô hình đều miễn phí cho công việc thương mại. Nó chậm: mỗi giây giọng nói mất hai đến ba giây để tạo.

Cài đặt từ Subtitld

Cài đặt Tiện ích bổ sung Audio8 TTS (offline, voice clone, 11 languages) Cài đặt

Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.

Mã nguồn trên GitHub
Ngôn ngữ
11
Mô hình
1
Giọng nói
1
Tải tiện ích bổ sung
35–59 MB
RAM, tối thiểu
3 GB

Nó làm gì

Chính giọng của người nói

Subtitld cắt vài giây của mỗi người nói từ video và gửi kèm những từ được nói trong đó. Audio8 TTS nhân bản giọng đó, nên bản lồng tiếng nghe giống người trên màn hình, bằng bất kỳ ngôn ngữ nào trong mười một ngôn ngữ của nó, dù đoạn mẫu ở ngôn ngữ nào.

Mười một ngôn ngữ

Bao gồm tiếng Trung, tiếng Quảng Đông, tiếng Nhật và tiếng Hàn, những ngôn ngữ mà ít công cụ nhân bản giọng chạy trên bộ xử lý nói được. Âm thanh ở 44,1 kHz.

Ngoại tuyến sau câu đầu tiên

Mô hình chỉ được tải một lần, vào lần đầu bạn lồng tiếng với nó. Sau đó, không có gì rời khỏi máy tính của bạn.

Miễn phí cho công việc thương mại

Tiện ích bổ sung, mã nguồn của Audio8 TTS và mô hình của nó đều theo Apache-2.0.

Trước khi cài đặt

Audio8 TTS đòi hỏi máy tính của bạn nhiều hơn các công cụ lồng tiếng nhẹ:

  • Đĩa: khoảng 1 GB cho mô hình, được tải khi bạn lồng tiếng câu đầu tiên.
  • Bộ nhớ: khoảng 1,6 GB khi đang nói, và có lúc lên tới 3 GB trong chốc lát khi lần đầu nghe một người nói mới.
  • Thời gian: mỗi giây giọng nói mất hai đến ba giây để tạo, trên Intel Core i7-13700T. Một video mười phút có thể mất khoảng nửa giờ.
  • Bộ xử lý: bất kỳ bộ xử lý Intel hoặc AMD 64 bit nào, hoặc Apple Silicon. Không dùng card đồ họa.

Để lồng tiếng nhanh, Sopro hoặc Chatterbox nhân bản giọng nhanh khoảng bằng thời gian thực hoặc hơn, với ít ngôn ngữ hơn.

Giọng nói

Trong tab Người nói, chọn Audio8 TTS làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.

1 giọng nói.

Audio8 TTS có một giọng, Speaker's own voice, và không có giọng có sẵn nào: mỗi câu đều nhân bản một người nói. Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề dài 3 đến 12 giây của họ, hoặc vài phụ đề ngắn nối lại. Nếu bạn đã tách nhạc khỏi giọng nói cho video này, mẫu được lấy chỉ từ giọng nói. Fallback reference clip trong cài đặt của tiện ích chỉ được dùng khi không cắt được mẫu nào.

Subtitld gửi văn bản phụ đề kèm mẫu, và Audio8 TTS dùng nó để gần giọng người nói hơn. Khi không có văn bản, chẳng hạn khi chưa đặt ngôn ngữ gốc của dự án, tiện ích nhân bản chỉ từ âm thanh của mẫu, kém giống hơn một chút. Nếu phụ đề của bạn diễn đạt lại lời nói thay vì chép lại đúng từng chữ, hãy bật Don't send the subtitles of the reference clip.

Câu đầu tiên của mỗi người nói mất thêm vài giây, trong lúc tiện ích nghe mẫu của họ. Tiện ích ghi nhớ mẫu đó, nên các câu tiếp theo của người nói ấy bắt đầu ngay.

Mô hình

Chỉ có một mô hình, Audio8 TTS Preview 0.6B, ở bản dựng ONNX 4 bit mà các tác giả của nó công bố cho bộ xử lý. Nó không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu bạn lồng tiếng, từ Hugging Face ở một phiên bản cố định, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại mô hình.

Mô hình Tải vềPhù hợp với
Audio8 TTS Preview 0.6B (4-bit ONNX) Mặc định preview-0.6b-int4
1 GB
Giọng nhân bản, cả mười một ngôn ngữ

Tiện ích chạy bản dựng đó mà không cần PyTorch. Với cùng giọng, cùng câu và cùng seed, nó cho ra đúng y như runtime của chính Audio8.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › Audio8 TTS (offline, voice clone, 11 languages) › Cấu hình.

CPU threads
Mặc định: 0

0 dùng một nửa số bộ xử lý logic của máy tính, tối đa 8. Ít luồng hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.

Don't send the subtitles of the reference clip
Mặc định: tắt

Nhân bản chỉ từ âm thanh của đoạn, không dùng lời trong đó. Hãy thử khi phụ đề của bạn diễn đạt lại lời nói thay vì chép lại đúng từng chữ.

Fallback reference clip
Mặc định: trống

Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: 3 đến 30 giây một người đang nói.

What the fallback clip says
Mặc định: trống

Chính xác những từ được nói trong đoạn ở trên. Có chúng, bản nhân bản gần giọng người nói hơn; để trống thì nhân bản chỉ từ âm thanh.

Ngôn ngữ

Tiếng Trung, tiếng Quảng Đông, tiếng Nhật, tiếng Hàn, tiếng Anh, tiếng Hà Lan, tiếng Pháp, tiếng Đức, tiếng Ý, tiếng Ba Lan và tiếng Tây Ban Nha. Một người nói được nhân bản từ đoạn mẫu bằng một trong các ngôn ngữ này sẽ nói được tất cả các ngôn ngữ còn lại. Một dự án ở bất kỳ ngôn ngữ nào khác sẽ nhận được một thông báo nói rõ điều này: hãy chọn một công cụ lồng tiếng khác cho dự án đó.

Audio8 gọi mô hình này là bản xem trước: đây là các ngôn ngữ mà họ khuyến nghị. Chúng tôi đã kiểm tra một câu ở mỗi ngôn ngữ, bằng Whisper và một điểm độ giống giọng, chứ không nghe bằng tai ở mọi ngôn ngữ.

  • zh
  • yue
  • nl
  • en
  • fr
  • de
  • it
  • ja
  • ko
  • pl
  • es

Nền tảng

Hệ thống Tải vềĐã thử
Linux x86-64 58.6 MBLồng tiếng với mô hình thật trong Subtitld, trên máy thật và trong CI
macOS (Apple silicon) 39.8 MBLồng tiếng với mô hình thật trong CI (Apple Silicon)
Windows x86-64 34.8 MBLồng tiếng với mô hình thật trong CI

Linux x86-64, macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng, CI cài tiện ích bổ sung giống như Subtitld làm, tải mô hình và lồng tiếng với nó.

Khắc phục sự cố

  • network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.
  • disk_fullKhông đủ dung lượng đĩa cho mô hình, khoảng 1 GB.
  • unsupported_languageNgôn ngữ của dự án không thuộc mười một ngôn ngữ này, hoặc chưa được đặt. Hãy đặt ngôn ngữ trong dự án, hoặc chọn một công cụ lồng tiếng khác.
  • unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.
  • bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu: hãy mở video, hoặc đặt Fallback reference clip. Thông báo cho biết là trường hợp nào.
  • out_of_memoryMáy tính đã hết bộ nhớ. Đóng các chương trình khác: Audio8 TTS cần khoảng 3 GB trống.
  • internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.

Giấy phép

Tiện ích bổ sung
Apache-2.0
Công cụ
Apache-2.0
Audio8 TTS, của Audio8; ONNX Runtime theo MIT
Mô hình
Apache-2.0
Trọng số Audio8 TTS Preview 0.6B, bản dựng ONNX INT4

Phù hợp cho công việc thương mại: tiện ích bổ sung theo Apache-2.0, mã nguồn Audio8 TTS và trọng số Audio8 TTS Preview 0.6B cũng vậy. Bản lồng tiếng bạn làm ra là của bạn. Một giọng nhân bản nghe như người thật: hãy chỉ nhân bản những giọng bạn có quyền sử dụng, và nói rõ bản lồng tiếng là giọng tổng hợp khi điều đó quan trọng.

Phiên bản

  • 26.11.1

    Voice-cloning text-to-speech for Subtitld with Audio8 TTS Preview 0.6B: 11 languages (Chinese, Cantonese, Dutch, English, French, German, Italian, Japanese, Korean, Polish, Spanish) at 44.1 kHz, in the speaker's own voice cloned from the video.

    The archive holds the add-on and ONNX Runtime. The model (1 GB, the official INT4 ONNX release) downloads on the first line, at a pinned revision, checked by sha256. It runs on the CPU at about 0.4 to 0.5 times real time and needs about 3 GB of memory.

    The add-on, Audio8 TTS's code and its weights are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and upstream's NOTICE. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is audio8-<version>-libquadmath-source.tar.gz in this release.

Các tiện ích bổ sung Giọng nói khác

Cập nhật · Từ danh mục tiện ích bổ sung Báo cáo sự cố với tiện ích bổ sung này