Tải về

KittenTTS 2 (offline, voice clone, 16 languages)

Giọng nóiNgoại tuyếnChỉ CPUNhân bản giọng nóiHạn chế sử dụng thương mại

Lồng tiếng phụ đề của bạn bằng 16 ngôn ngữ với KittenTTS 2 của KittenML, bằng chính giọng của mỗi người nói được nhân bản từ video, hoặc bằng một trong 115 giọng có sẵn. Nó chạy trên bộ xử lý của chính máy tính bạn, nhanh khoảng bằng thời gian thực, không cần card đồ họa.

Cài đặt từ Subtitld

Cài đặt Tiện ích bổ sung KittenTTS 2 (offline, voice clone, 16 languages) Cài đặt

Subtitld tải về, kiểm tra SHA-256 và giữ cho tiện ích luôn được cập nhật.

Mã nguồn trên GitHub
Ngôn ngữ
16
Mô hình
2
Giọng nói
116
Tải tiện ích bổ sung
96–136 MB
RAM, tối thiểu
3 GB

Nó làm gì

Chính giọng của người nói

Subtitld cắt vài giây của mỗi người nói từ video và gửi kèm với mỗi câu, cùng những từ được nói trong đó. KittenTTS 2 nhân bản giọng đó và nói câu đã dịch bằng giọng ấy, nên bản lồng tiếng nghe giống người trên màn hình.

16 ngôn ngữ, 115 giọng

Tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Ý, tiếng Bồ Đào Nha, tiếng Nga, tiếng Trung, tiếng Nhật, tiếng Hàn, tiếng Ả Rập, tiếng Hindi, tiếng Thổ Nhĩ Kỳ, tiếng Hà Lan, tiếng Ba Lan và tiếng Indonesia, mỗi ngôn ngữ có từ 2 đến 50 giọng có sẵn.

Khoảng bằng thời gian thực, trên CPU

Một giây lời nói mất 1,1 đến 1,5 giây để tạo trên bộ xử lý của máy tính xách tay, với khoảng 2,3 GB bộ nhớ. Không dùng card đồ họa.

Ngoại tuyến sau câu đầu tiên

Mô hình chỉ được tải một lần, vào lần đầu bạn lồng tiếng với nó. Sau đó, không có gì rời khỏi máy tính của bạn.

Một giấy phép hạn chế cho mô hình. Tiện ích bổ sung theo Apache-2.0, nhưng trọng số KittenTTS 2 mà nó tải về là của KittenML, theo Stellon Labs Community License. Việc dùng cho mục đích thương mại, kể cả lồng tiếng có trả tiền, chỉ miễn phí khi bạn và các bên liên kết có doanh thu hằng năm dưới 1.000.000 đô la Mỹ và tổng vốn huy động dưới 1.000.000 đô la Mỹ, và bạn phải đăng ký với Stellon Labs. Việc sử dụng cũng phải tuân theo một Chính sách sử dụng được chấp nhận (Acceptable Use Policy) mà Stellon Labs không công bố, và giấy phép có thể bị thu hồi. Hãy đọc giấy phép trước khi dùng nó cho công việc có trả tiền. Nếu các điều khoản không phù hợp với bạn, VoxCPM2 và Sopro cũng nhân bản giọng, theo Apache-2.0.

Trước khi cài đặt

  • Đĩa: khoảng 1,7 GB cho mô hình, được tải ở câu đầu tiên, và thêm 540 MB để nhân bản, ở câu nhân bản đầu tiên.
  • Bộ nhớ: khoảng 2,3 GB khi đang nói, nên cần trống khoảng 3 GB.
  • Bộ xử lý: với Intel và AMD, một bộ xử lý có AVX2, FMA và F16C, mà bộ xử lý Intel đã có từ năm 2013 và AMD từ năm 2015. Một số bộ xử lý Celeron, Pentium và Atom không có chúng, và trên đó câu đầu tiên sẽ thất bại với một thông báo nói rõ điều này. Mọi máy Mac Apple Silicon đều chạy được.

Chỉ nhân bản một giọng khi có sự đồng ý của chủ nhân giọng đó.

Giọng nói

Trong tab Người nói, chọn KittenTTS 2 làm Công cụ lồng tiếng của một người nói, rồi chọn một Giọng nói. Bật Khớp bản lồng tiếng với thời lượng phụ đề cho người nói đó để kéo dài hoặc nén mỗi câu cho vừa phụ đề của nó. Hãy đặt ngôn ngữ của dự án trước khi lồng tiếng.

116 giọng nói bằng 16 ngôn ngữ.

  • ar 4
  • de 4
  • en 50
  • es 5
  • fr 5
  • hi 5
  • id 2
  • it 6
  • ja 4
  • ko 3
  • nl 3
  • pl 4
  • pt 6
  • ru 7
  • tr 3
  • zh 4

Với Speaker's own voice, Subtitld cắt một mẫu của người nói đó từ âm thanh của dự án, dài 3 đến 12 giây, và gửi kèm văn bản phụ đề được nói trong đó. KittenTTS nói tiếp từ mẫu đó, cách này gần với người nói nhất và ổn định nhất. Trong thử nghiệm của chúng tôi, với mẫu tiếng Anh và các câu tiếng Bồ Đào Nha, các bản lồng tiếng nhân bản nghe gần giọng người nói gần như ngang với của VoxCPM2, và sai ít từ hơn. Nếu bạn đã tách nhạc khỏi giọng nói cho video này, mẫu được lấy chỉ từ giọng nói. Fallback reference clip trong cài đặt của tiện ích chỉ được dùng khi không cắt được mẫu nào.

Mỗi giọng có sẵn thuộc về một ngôn ngữ: đó là một bản ghi âm, và mô hình nói tiếp với giọng địa phương của nó. Vì vậy danh sách Giọng nói hiển thị các giọng của ngôn ngữ dự án bạn. Tiếng Anh có 50 giọng, trong đó có Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki và Leo của KittenTTS 0.8, và những nhân vật như Marcus, một DJ radio giọng mượt mà, hay Victoria, một người dẫn chuyện trang trọng. Các ngôn ngữ khác có từ 2 đến 7 giọng mỗi ngôn ngữ. KittenML không cho biết các bản ghi âm đến từ đâu.

Thỉnh thoảng mô hình im lặng thay vì nói một câu. Tiện ích nhận ra điều đó và thử lại, tối đa ba lần, nên bạn không phải tự làm.

Mô hình

Không tệp nào của KittenML nằm trong tiện ích bổ sung: chúng được tải vào bộ nhớ đệm mô hình dùng chung của Subtitld vào lần đầu bạn lồng tiếng, từ kho Hugging Face của KittenML ở một phiên bản cố định, với từng tệp được kiểm tra. Bộ mã hóa tham chiếu, thứ biến một mẫu thành một giọng, được tải từ bản phát hành của chính tiện ích ở câu nhân bản đầu tiên. Một lần tải bị gián đoạn sẽ tiếp tục từ chỗ đã dừng. Cập nhật hoặc gỡ tiện ích bổ sung vẫn giữ lại các mô hình.

Mô hình Tải vềPhù hợp với
KittenTTS 2 (1.7B, ternary) Mặc định kitten-tts-2
1.6 GB
Mọi giọng và ngôn ngữ, nhanh khoảng bằng thời gian thực trên CPU
Reference encoder, for cloning ref-encoder
517 MB
Chỉ dành cho giọng nhân bản, được tải ở câu nhân bản đầu tiên

Tiện ích chạy chương trình C++ của chính KittenML cho KittenTTS 2, nhanh hơn khoảng bốn lần so với gói Python của KittenML và chỉ cần một phần ba bộ nhớ.

Tùy chọn

Trong Cài đặt › Tiện ích bổ sung › KittenTTS 2 (offline, voice clone, 16 languages) › Cấu hình.

Delivery
Mặc định: stable

Stable hợp với hầu hết mọi dự án. Expressive sinh động hơn, nhưng một câu nghe lạ thường xảy ra hơn.

CPU threads
Mặc định: 0

0 dùng các nhân hiệu năng của bộ xử lý có cả nhân tiết kiệm điện, nếu không thì một luồng cho mỗi nhân, tối đa 8. Ít luồng hơn giúp máy tính phản hồi tốt hơn trong khi lồng tiếng.

Fallback reference clip
Mặc định: trống

Một đoạn cho giọng nhân bản khi Subtitld không cắt được đoạn nào từ video, chẳng hạn khi không mở video: 3 đến 30 giây một người đang nói.

Fallback reference transcript
Mặc định: trống

The exact words spoken in the fallback clip. With them the clone is closer to the speaker and makes fewer mistakes.

Clone the timbre only
Mặc định: tắt

Bỏ các từ trong đoạn mẫu của người nói, và chỉ nhân bản âm sắc. Hãy thử nếu bản lồng tiếng vẫn giữ giọng địa phương của người nói, hoặc khi phụ đề diễn đạt lại điều được nói.

Ngôn ngữ

Tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Ý, tiếng Bồ Đào Nha, tiếng Nga, tiếng Trung, tiếng Nhật, tiếng Hàn, tiếng Ả Rập, tiếng Hindi, tiếng Thổ Nhĩ Kỳ, tiếng Hà Lan, tiếng Ba Lan và tiếng Indonesia. Một dự án ở bất kỳ ngôn ngữ nào khác sẽ nhận được một thông báo nói rõ điều này: hãy chọn một công cụ lồng tiếng khác cho dự án đó.

Văn bản tiếng Anh được đọc theo đúng ý của nó: trong tiếng Anh, "the 3rd of May" thành "the third of May", "$12.50" thành "twelve dollars fifty". Ở các ngôn ngữ khác, hãy viết số và ký hiệu bằng chữ khi điều đó quan trọng.

  • en
  • es
  • fr
  • de
  • it
  • pt
  • ru
  • zh
  • ja
  • ko
  • ar
  • hi
  • tr
  • nl
  • pl
  • id

Nền tảng

Hệ thống Tải vềĐã thử
Linux x86-64 136.1 MBLồng tiếng với mô hình thật, kể cả nhân bản, trên máy thật và trong CI
macOS (Apple silicon) 109.2 MBLồng tiếng với mô hình thật, kể cả nhân bản, trong CI (Apple Silicon)
Windows x86-64 96.4 MBLồng tiếng với mô hình thật, kể cả nhân bản, trong CI

Linux x86-64, macOS trên Apple Silicon và Windows x86-64. Mỗi bản phát hành được dựng trên cả ba, và trên mỗi nền tảng, CI cài tiện ích bổ sung giống như Subtitld làm, tải mô hình và lồng tiếng với nó, cả bằng giọng nhân bản. Trên Linux, nó cần glibc 2.35 trở lên.

Khắc phục sự cố

  • network_unavailableKhông tải được mô hình. Kiểm tra kết nối rồi thử lại: việc tải sẽ tiếp tục.
  • disk_fullKhông đủ dung lượng đĩa cho mô hình, khoảng 1,7 GB, hoặc 2,2 GB khi nhân bản.
  • unsupported_languageNgôn ngữ của dự án không thuộc 16 ngôn ngữ này, hoặc chưa được đặt. Hãy đặt ngôn ngữ trong dự án, hoặc chọn một công cụ lồng tiếng khác.
  • unsupported_voiceDự án chỉ định một giọng mà phiên bản này không có. Chọn lại giọng trong tab Người nói.
  • bad_paramsCâu không có văn bản, hoặc giọng nhân bản không có mẫu: hãy mở video, hoặc đặt Fallback reference clip. Thông báo cho biết là trường hợp nào.
  • internalCó lỗi bên trong tiện ích bổ sung; thông báo có chi tiết. Nếu thông báo nói bộ xử lý thiếu AVX2, FMA và F16C, máy tính này không thể chạy KittenTTS 2. Nếu thông báo nói câu cứ tạo ra im lặng, hãy thử một giọng khác hoặc viết lại câu đó.

Giấy phép

Tiện ích bổ sung
Apache-2.0
Công cụ
MIT, Apache-2.0
kitten-tts-2-cpp, của KittenML; LibTorch theo BSD-3-Clause
Bộ mã hóa tham chiếu
MIT
Từ chatterbox-turbo (ResembleAI) và pyannote
Mô hình
Stellon Labs Community License
Trọng số KittenTTS 2; chỉ miễn phí cho mục đích thương mại khi doanh thu hoặc vốn huy động dưới 1 triệu đô la Mỹ

Tiện ích bổ sung theo Apache-2.0. Môi trường chạy của KittenML theo MIT và Apache-2.0, LibTorch theo BSD-3-Clause, và các phần của bộ mã hóa tham chiếu theo MIT. Trọng số KittenTTS 2 theo Stellon Labs Community License, mà bạn chấp nhận khi tiện ích tải chúng về: miễn phí cho nghiên cứu và mục đích cá nhân, và cho mục đích thương mại chỉ khi doanh thu hằng năm và tổng vốn huy động đều dưới 1.000.000 đô la Mỹ, kèm việc đăng ký với Stellon Labs. Trọng số và những gì chúng tạo ra không được dùng để huấn luyện các mô hình khác. Bản lồng tiếng bạn làm ra là của bạn. Powered by KittenML.

Phiên bản

  • 26.10.1

    Offline text-to-speech for Subtitld with KittenML's KittenTTS 2, in 16 languages (English, Spanish, French, German, Italian, Portuguese, Russian, Chinese, Japanese, Korean, Arabic, Hindi, Turkish, Dutch, Polish and Indonesian), at 24 kHz.

    • The speaker's own voice. Cloned from the clip Subtitld cuts from the video, and spoken in another language too. With the subtitle text Subtitld sends with the clip, KittenTTS continues from it, which is closest to the speaker; "Clone the timbre only" leaves the words out.
    • 115 built-in voices. 50 in English, 2 to 7 in each other language.
    • About real time on a CPU. A second of speech takes 1.1 to 1.5 seconds on an i7-13700T, with about 2.3 GB of memory. x86-64 needs AVX2, FMA and F16C; Apple Silicon works.
    • Downloads on first use. The model, 1.66 GB, from KittenML's repository on the first line; the reference encoder, 542 MB, from this repository's ref-encoder-1 prerelease, on the first cloned line. Both are pinned and checked by sha256.

    The weights are not open source. KittenTTS 2 is under the Stellon Labs Community License. Commercial use, dubbing for pay included, is free only below US$1,000,000 in annual revenue and in total funding, and requires registering with Stellon Labs. Use must also follow an Acceptable Use Policy that is not published, and the licence is revocable. The add-on ships none of KittenML's weights; read the licence before using it for paid work. Powered by KittenML.

    Built on KittenML's C++ runtime (kitten-tts-2-cpp) with LibTorch 2.14.1, patched to end a line whose model scores go non-finite, and with the CPU flash-attention path off (it produced such lines depending on the thread count). A line that falls into silence is retried with another seed, up to three times, and the silence around each line is trimmed.

    Each archive was installed in CI the way Subtitld installs add-ons, on Linux, macOS (Apple Silicon) and Windows, and spoke English, Portuguese and Chinese lines and a cross-lingual clone through the add-on protocol.

Các tiện ích bổ sung Giọng nói khác

Cập nhật · Từ danh mục tiện ích bổ sung Báo cáo sự cố với tiện ích bổ sung này