ZONOS3-Mini ngoại tuyến, nhân bản giọng nói, 43 ngôn ngữ

Giọng nóiNgoại tuyếnChỉ CPUNhân bản giọng nóiĐược dùng thương mại

Lồng tiếng phụ đề của bạn bằng 43 ngôn ngữ với ZONOS3-Mini, của Zyphra, bằng một trong 27 giọng hoặc bằng chính giọng của mỗi người nói được nhân bản từ vài giây của video. Nó chạy trên bộ xử lý của chính máy tính bạn, nhanh gấp khoảng hai lần thời gian thực, không cần card đồ họa.

Cài đặt từ Subtitld

Cài đặt Tiện ích bổ sung ZONOS3-Mini (offline, voice clone, 43 languages) Cài đặt

Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.

Mã nguồn trên GitHub
Ngôn ngữ
43
Mô hình
2
Giọng nói
28
Tải tiện ích bổ sung
19–24 MB
RAM, tối thiểu
2 GB

Nó làm gì

43 ngôn ngữ

Từ tiếng Ả Rập, tiếng Bengal và tiếng Bulgaria đến tiếng Thổ Nhĩ Kỳ, tiếng Urdu và tiếng Việt, gồm cả tiếng Nhật, tiếng Hàn, tiếng Quan Thoại, tiếng Hindi và tám ngôn ngữ khác của Ấn Độ. Số, ngày tháng, giá tiền và đơn vị được đọc theo ngữ pháp riêng của từng ngôn ngữ.

Chính giọng của người nói

Subtitld cắt một mẫu của mỗi người nói từ video và gửi kèm với mỗi câu. ZONOS3-Mini nhân bản giọng đó bằng bất kỳ ngôn ngữ nào của nó. Hoặc chọn một trong 27 giọng.

Câu kết thúc khi văn bản kết thúc

Mỗi câu được kiểm tra trong lúc được nói, nên không có từ nào bị bỏ sót, và câu dừng lại khi văn bản đã được đọc xong thay vì nói tiếp những từ không có trong phụ đề.

Ngoại tuyến sau câu đầu tiên

Mô hình chỉ được tải một lần, vào lần đầu một câu cần đến nó. Sau đó, không có gì rời khỏi máy tính của bạn.

Trước khi cài đặt

  • Đĩa: 1.115 MB cho mô hình, được tải ở câu đầu tiên, và thêm 45 MB vào lần đầu bạn dùng chính giọng của một người nói.
  • Bộ nhớ: khoảng 1,6 GB khi đang nói.
  • Thời gian: trên Intel Core i7-13700T, một giây giọng nói mất khoảng nửa giây để tạo. Câu đầu tiên phải chờ thêm khoảng 4 giây trong khi mô hình được nạp, và câu đầu tiên bằng chính giọng của một người nói chờ thêm khoảng 5 giây trong khi giọng đó được học.
  • Bộ xử lý: bộ xử lý Intel hoặc AMD 64 bit có AVX2 (Intel từ 2013, AMD từ 2015), hoặc Apple Silicon. Không dùng card đồ họa.

Giọng nói

Trong tab Người nói, chọn ZONOS3-Mini làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.

28 giọng nói.

Thu âm bằng Nữ Nam
Tiếng Anh Imogen (Anh), Morgana (phù thủy), Sakura (anime), Savannah (Mỹ), Willow (ASMR) Cillian (Ireland), Jett (năng động), Rupert (Anh), Thaddeus (phát thanh viên), Wyatt (Mỹ)
Tiếng Pháp Gaspard
Tiếng Đức Liesel Wolfgang
Tiếng Hindi Ananya Arjun
Tiếng Ý Ginevra Lorenzo
Tiếng Hàn Seoyeon Minjun
Tiếng Quan Thoại Meilin (năng động) Haoran (năng động)
Tiếng Bồ Đào Nha Leonor Thiago
Tiếng Tây Ban Nha Ximena Rodrigo
Tiếng Telugu Sravya Chaitanya

Đây là các giọng mặc định của chính Zyphra. Mọi giọng đều nói được mọi ngôn ngữ, nhưng mang giọng địa phương của ngôn ngữ mà nó được thu âm, và ở một ngôn ngữ khác, giọng đó có thể rất nặng: một giọng tiếng Anh nói tiếng Nga sẽ khó nghe. Với một ngôn ngữ không có giọng riêng ở đây, hãy dùng chính giọng của người nói.

Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề của họ hoặc vài phụ đề ngắn nối lại. Nếu bạn đã tách nhạc khỏi giọng nói cho video này, mẫu được lấy chỉ từ giọng nói. Fallback reference clip trong cài đặt của tiện ích chỉ được dùng khi không cắt được mẫu nào.

ZONOS3-Mini nghe tối đa một phút của mẫu và sao chép giọng nói, không sao chép lời hay cách nói. Mẫu tốt nhất là lời nói rõ ràng, thu gần micrô: tiếng ồn và tiếng vang làm bản nhân bản kém giống người nói, và bản ghi âm qua điện thoại cho ra một giọng nghe như qua điện thoại.

Mô hình

Mô hình không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu một câu cần đến nó, từ kho Hugging Face của Zyphra ở một phiên bản cố định, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại nó.

Mô hình Tải vềPhù hợp với
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) Mặc định zonos3-mini
1.1 GB
Mọi câu, ở mọi ngôn ngữ và giọng
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
Chính giọng người nói, vào lần đầu bạn lồng tiếng bằng một giọng như vậy

Tiện ích chạy runtime ggml của chính Zyphra, cùng mã nguồn với máy chủ cục bộ của Zyphra, được dựng sẵn vào tiện ích mà không cần PyTorch.

Nếu để nguyên, mô hình đôi khi vẫn tiếp tục nói sau một câu ngắn, thêm vài từ không có trong phụ đề. Vì vậy mỗi câu đều chạy dưới LACI, bước kiểm tra căn chỉnh của Zyphra: nó theo dõi phần nào của văn bản đang được nói, làm lại một đoạn bị bỏ qua hoặc bị kẹt, và dừng câu khi văn bản đã được đọc xong. Sau đó tiện ích cắt câu tại khoảng lặng đầu tiên sau điểm đó. Cách cắt này là quy tắc riêng của tiện ích, không phải của Zyphra. Trong thử nghiệm của chúng tôi với các câu phụ đề ngắn, theo cách này 61 trên 64 câu ra sạch, so với 37 trên 64 khi không dùng. Một câu ra không có tiếng sẽ được tạo lại.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › ZONOS3-Mini (offline, voice clone, 43 languages) › Cấu hình.

CPU threads
Mặc định: 0

0 dùng các bộ xử lý logic của máy tính, tối đa 8. Nhiều hơn hiếm khi nhanh hơn; ít hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.

Fallback reference clip
Mặc định: trống

Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: từ 5 đến 20 giây một người đang nói, rõ ràng, không phải bản ghi âm qua điện thoại.

Ngôn ngữ

Tiếng Ả Rập, tiếng Bengal, tiếng Bulgaria, tiếng Trung (Quan Thoại), tiếng Séc, tiếng Đan Mạch, tiếng Hà Lan, tiếng Anh, tiếng Phần Lan, tiếng Pháp, tiếng Gruzia, tiếng Đức, tiếng Hy Lạp, tiếng Gujarat, tiếng Do Thái, tiếng Hindi, tiếng Hungary, tiếng Indonesia, tiếng Ý, tiếng Nhật, tiếng Kannada, tiếng Hàn, tiếng Mã Lai, tiếng Malayalam, tiếng Marathi, tiếng Na Uy, tiếng Odia, tiếng Ba Lan, tiếng Bồ Đào Nha, tiếng Punjab, tiếng Romania, tiếng Nga, tiếng Slovakia, tiếng Tây Ban Nha, tiếng Thụy Điển, tiếng Tagalog, tiếng Tamil, tiếng Telugu, tiếng Thái, tiếng Thổ Nhĩ Kỳ, tiếng Ukraina, tiếng Urdu và tiếng Việt. Một dự án ở bất kỳ ngôn ngữ nào khác sẽ nhận được một thông báo nói rõ điều này: hãy chọn một công cụ lồng tiếng khác cho dự án đó.

Tiếng Anh theo khu vực của dự án: Vương quốc Anh, Ireland, Úc, New Zealand, Nam Phi và Ấn Độ thì đọc tiếng Anh Anh, mọi khu vực khác thì đọc tiếng Anh Mỹ. Tiếng Bồ Đào Nha được đọc như tiếng Bồ Đào Nha Brazil, và tiếng Pháp như tiếng Pháp của nước Pháp.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Nền tảng

Hệ thống Tải vềĐã thử
Linux x86-64 19.0 MBLồng tiếng với mô hình thật từ gói phát hành trên AlmaLinux 8, và trong CI
macOS (Apple silicon) 24.0 MBLồng tiếng với mô hình thật trong CI (Apple Silicon)
Windows x86-64 18.5 MBLồng tiếng với mô hình thật trong CI

Linux x86-64, macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng, CI cài tiện ích bổ sung giống như Subtitld làm, tải mô hình và lồng tiếng các câu ở sáu ngôn ngữ, một câu ngắn và một giọng nhân bản.

Khắc phục sự cố

  • network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.
  • disk_fullKhông đủ dung lượng đĩa cho mô hình: 1.115 MB, và thêm 45 MB cho chính giọng người nói.
  • unsupported_languageNgôn ngữ của dự án không thuộc 43 ngôn ngữ này, hoặc chưa được đặt. Hãy đặt ngôn ngữ trong dự án, hoặc chọn một công cụ lồng tiếng khác.
  • unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.
  • bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu: hãy mở video, hoặc đặt Fallback reference clip. Thông báo cho biết là trường hợp nào.
  • out_of_memoryMáy tính đã hết bộ nhớ. Đóng các chương trình khác: ZONOS3-Mini cần khoảng 2 GB trống.
  • internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết. Trên một bộ xử lý cũ hơn không có AVX2, thông báo sẽ nói rõ điều này.

Giấy phép

Tiện ích bổ sung
Apache-2.0
Công cụ
MIT
Runtime ZONOS3-Mini của Zyphra, với ggml
Mô hình
Apache-2.0
Trọng số ZONOS3-Mini, của Zyphra
Giọng nói
Apache-2.0
Các giọng mặc định của Zyphra
Cách đọc văn bản
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm, với ngữ pháp chuyển từ NeMo-text-processing của NVIDIA và dữ liệu từ Unicode CLDR

Tiện ích bổ sung theo Apache-2.0. Trọng số của ZONOS3-Mini và các giọng mặc định của nó theo Apache-2.0, còn runtime của Zyphra theo MIT, nên công việc thương mại được phép. Phần đọc văn bản, zyphra-textnorm, theo MIT, với ngữ pháp chuyển từ NeMo-text-processing (Apache-2.0) của NVIDIA và dữ liệu từ Unicode CLDR.

Bản lồng tiếng bạn làm ra là của bạn. Một giọng nhân bản nghe giống một người thật: hãy chỉ nhân bản những giọng bạn có quyền sử dụng, và nói rõ rằng bản lồng tiếng là tổng hợp khi điều đó quan trọng.

Phiên bản

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Các tiện ích bổ sung Giọng nói khác