Sopro (offline, voice clone, 4 languages)

Giọng nóiNgoại tuyếnChỉ CPUNhân bản giọng nóiĐược dùng thương mại

Lồng tiếng phụ đề của bạn bằng tiếng Anh, tiếng Bồ Đào Nha châu Âu, tiếng Pháp và tiếng Đức với Sopro V2 Turbo, bằng chính giọng của mỗi người nói được nhân bản từ vài giây của video, hoặc bằng một trong 8 giọng có sẵn. Nó chạy trên bộ xử lý của chính máy tính bạn, nhanh gấp khoảng hai lần thời gian thực, không cần card đồ họa.

Cài đặt từ Subtitld

Cài đặt Tiện ích bổ sung Sopro (offline, voice clone, 4 languages) Cài đặt

Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.

Mã nguồn trên GitHub
Ngôn ngữ
4
Mô hình
1
Giọng nói
9
Tải tiện ích bổ sung
38–61 MB
RAM, tối thiểu
1.5 GB

Nó làm gì

Chính giọng của người nói

Subtitld cắt vài giây của mỗi người nói từ video và gửi kèm với mỗi câu. Sopro nhân bản giọng đó, nên bản lồng tiếng nghe giống người trên màn hình, bằng bất kỳ ngôn ngữ nào trong bốn ngôn ngữ của nó.

Nhanh trên mọi máy tính

Sopro V2 Turbo là một mô hình nhỏ, 120 triệu tham số. Trên bộ xử lý của máy tính xách tay, nó nói nhanh gấp khoảng hai lần thời gian thực, với khoảng 1 GB bộ nhớ.

Ngoại tuyến sau câu đầu tiên

Mô hình chỉ được tải một lần, vào lần đầu bạn lồng tiếng với nó. Sau đó, không có gì rời khỏi máy tính của bạn.

Miễn phí cho công việc thương mại

Tiện ích bổ sung, Sopro và mô hình của nó đều theo Apache-2.0. Các giọng có sẵn là người đọc LibriVox, với bản ghi âm thuộc phạm vi công cộng.

Trước khi cài đặt

Sopro đòi hỏi rất ít ở máy tính của bạn:

  • Đĩa: khoảng 340 MB cho mô hình, được tải ở câu đầu tiên.
  • Bộ nhớ: khoảng 1 GB khi đang nói.
  • Bộ xử lý: bất kỳ bộ xử lý Intel hoặc AMD 64 bit nào, hoặc Apple Silicon. Không dùng card đồ họa.

Chỉ nhân bản một giọng khi có sự đồng ý của chủ nhân giọng đó. Tác giả của Sopro yêu cầu không bao giờ dùng nó để giả làm người khác.

Giọng nói

Trong tab Người nói, chọn Sopro làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó.

9 giọng nói.

Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, từ một phụ đề của họ hoặc vài phụ đề ngắn nối lại. Nếu bạn đã tách nhạc khỏi giọng nói cho video này, mẫu được lấy chỉ từ giọng nói. Fallback reference clip trong cài đặt của tiện ích chỉ được dùng khi không cắt được mẫu nào. Mẫu tốt nhất là 5 đến 20 giây chỉ có người nói đó, không có nhạc hay giọng khác.

Giọng có sẵn
Nữ Tiếng Anh, tiếng Bồ Đào Nha, tiếng Pháp, tiếng Đức
Nam Tiếng Anh, tiếng Bồ Đào Nha, tiếng Pháp, tiếng Đức

Mỗi giọng có sẵn là một tình nguyện viên LibriVox đọc một cuốn sách bằng ngôn ngữ đó. Mọi giọng có sẵn đều nói được cả bốn ngôn ngữ; ngôn ngữ riêng của giọng chỉ tạo cho nó một giọng địa phương, nên hãy chọn một giọng theo ngôn ngữ của dự án để có bản lồng tiếng tự nhiên nhất.

Mô hình

Sopro có một mô hình cho cả bốn ngôn ngữ. Nó không nằm trong tiện ích bổ sung: nó được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu bạn lồng tiếng, từ Hugging Face ở một phiên bản cố định, với từng tệp được kiểm tra. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại mô hình.

Mô hình Tải vềPhù hợp với
Sopro V2 Turbo (120M, ONNX) Mặc định sopro-v2-turbo
336 MB
Mọi giọng, cả bốn ngôn ngữ, nhanh khoảng 2,5 lần thời gian thực

Tiện ích chạy bản dựng ONNX của Sopro do chính tác giả công bố, không cần PyTorch. Chúng tôi đã so sánh nó với bản dựng PyTorch chính thức trên cùng các câu ở cả bốn ngôn ngữ: nó không mắc nhiều lỗi hơn và nghe gần giọng người nói không kém.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › Sopro (offline, voice clone, 4 languages) › Cấu hình.

CPU threads
Mặc định: 0

0 dùng một nửa số bộ xử lý logic của máy tính, tối đa 8. Ít luồng hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.

Variation
Mặc định: 0.8

Thấp hơn thì đều và phẳng hơn, cao hơn thì sinh động hơn nhưng dễ trật hơn. 0,8 là giá trị mặc định của chính Sopro.

Fallback reference clip
Mặc định: trống

Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: 5 đến 20 giây một người đang nói.

Ngôn ngữ

Tiếng Anh, tiếng Bồ Đào Nha châu Âu, tiếng Pháp và tiếng Đức. Văn bản tiếng Bồ Đào Nha Brazil cũng được đọc, nhưng với giọng châu Âu. Một dự án ở bất kỳ ngôn ngữ nào khác sẽ nhận được một thông báo nói rõ điều này: hãy chọn một công cụ lồng tiếng khác cho dự án đó.

Hãy viết số và ký hiệu bằng chữ khi điều đó quan trọng: Sopro đọc "1 + 2" kém tin cậy hơn "one plus two". Một từ của ngôn ngữ khác nằm trong câu có thể bị phát âm sai.

  • en
  • pt
  • fr
  • de

Nền tảng

Hệ thống Tải vềĐã thử
Linux x86-64 61.1 MBLồng tiếng với mô hình thật trên máy thật và trong CI
macOS (Apple silicon) 43.2 MBLồng tiếng với mô hình thật trong CI (Apple Silicon)
Windows x86-64 38.1 MBLồng tiếng với mô hình thật trong CI

Linux x86-64, macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng, CI cài tiện ích bổ sung giống như Subtitld làm, tải mô hình và lồng tiếng với nó.

Khắc phục sự cố

  • network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.
  • disk_fullKhông đủ dung lượng đĩa cho mô hình, khoảng 340 MB.
  • unsupported_languageNgôn ngữ của dự án không thuộc bốn ngôn ngữ này, hoặc chưa được đặt. Hãy đặt ngôn ngữ trong dự án, hoặc chọn một công cụ lồng tiếng khác.
  • unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.
  • bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu: hãy mở video, hoặc đặt Fallback reference clip. Thông báo cho biết là trường hợp nào.
  • out_of_memoryMáy tính đã hết bộ nhớ. Đóng các chương trình khác: Sopro cần khoảng 1 GB.
  • internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết.

Giấy phép

Tiện ích bổ sung
Apache-2.0
Công cụ
Apache-2.0
Sopro, của Samuel Vitorino; ONNX Runtime theo MIT
Mô hình
Apache-2.0
Trọng số Sopro V2 Turbo
Giọng có sẵn
Public domain, CC-BY-4.0
Người đọc LibriVox; các giọng tiếng Anh qua LibriTTS-R

Phù hợp cho công việc thương mại: tiện ích bổ sung, Sopro và mô hình Sopro V2 Turbo đều theo Apache-2.0. Các giọng có sẵn là bản ghi âm LibriVox, thuộc phạm vi công cộng; các giọng tiếng Anh đến qua LibriTTS-R, theo CC-BY-4.0, và tiện ích ghi công từng giọng. Bản lồng tiếng bạn làm ra là của bạn.

Phiên bản

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Sopro V2 Turbo: English, European Portuguese, French and German at 24 kHz, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. The 336 MB model downloads on the first line, at a pinned revision, checked by sha256. It runs on the CPU, about twice as fast as real time.

    The add-on and the Sopro model are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/sopro_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is sopro-<version>-libquadmath-source.tar.gz in this release.

Các tiện ích bổ sung Giọng nói khác