다운로드

KittenTTS 2 (offline, voice clone, 16 languages)

음성오프라인CPU 전용음성 복제상업적 이용 제한

KittenML의 KittenTTS 2로 자막을 16개 언어로 더빙합니다. 영상에서 복제한 화자 각자의 목소리나, 기본 제공 목소리 115가지 중 하나를 씁니다. 그래픽 카드 없이 여러분의 컴퓨터 프로세서에서 실행되며, 속도는 대략 실시간입니다.

Subtitld에서 설치하세요

설정 애드온 KittenTTS 2 (offline, voice clone, 16 languages) 설치

Subtitld가 내려받고, SHA-256을 확인하고, 최신 상태로 유지합니다.

GitHub의 소스
언어
16
모델
2
음성
116
애드온 다운로드
96–136 MB
최소 RAM
3 GB

기능

화자 본인의 목소리

Subtitld가 영상에서 각 화자의 몇 초를 잘라, 그 안에서 말한 단어와 함께 대사마다 보냅니다. KittenTTS 2는 그 목소리를 복제해 번역된 대사를 그 목소리로 말하므로, 더빙이 화면 속 사람처럼 들립니다.

16개 언어, 목소리 115가지

영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 포르투갈어, 러시아어, 중국어, 일본어, 한국어, 아랍어, 힌디어, 튀르키예어, 네덜란드어, 폴란드어, 인도네시아어. 언어마다 기본 제공 목소리가 2~50가지 있습니다.

CPU에서 대략 실시간

노트북 프로세서에서 1초 분량의 음성을 만드는 데 1.1~1.5초가 걸리며, 메모리는 약 2.3 GB를 씁니다. 그래픽 카드는 쓰지 않습니다.

첫 대사 이후로는 오프라인

모델은 그 모델로 처음 더빙할 때 한 번만 내려받습니다. 그 뒤로는 아무것도 컴퓨터 밖으로 나가지 않습니다.

모델에 붙은 제한적인 라이선스. 애드온은 Apache-2.0이지만, 애드온이 내려받는 KittenTTS 2 가중치는 KittenML의 것으로, Stellon Labs Community License에 따릅니다. 유료 더빙을 포함한 상업적 사용은 여러분과 계열사의 연간 매출이 100만 미국 달러 미만이고 총 투자 유치액도 100만 미국 달러 미만인 동안에만 무료이며, Stellon Labs에 등록해야 합니다. 사용은 Stellon Labs가 공개하지 않은 허용 사용 정책(Acceptable Use Policy)도 따라야 하며, 라이선스는 철회될 수 있습니다. 유료 작업에 쓰기 전에 라이선스를 읽으세요. 조건이 맞지 않는다면, VoxCPM2와 Sopro도 Apache-2.0으로 목소리를 복제합니다.

설치하기 전에

  • 디스크: 모델에 약 1.7 GB. 첫 대사에서 내려받습니다. 복제에는 첫 복제 대사에서 540 MB가 더 필요합니다.
  • 메모리: 말하는 동안 약 2.3 GB이므로, 약 3 GB의 여유가 필요합니다.
  • 프로세서: Intel과 AMD에서는 AVX2, FMA, F16C를 지원하는 프로세서. Intel 프로세서는 2013년부터, AMD는 2015년부터 지원합니다. 일부 Celeron, Pentium, Atom 프로세서는 이를 지원하지 않으며, 이 경우 첫 대사가 그렇다고 알리는 메시지와 함께 실패합니다. Apple Silicon Mac은 모두 작동합니다.

목소리는 그 주인의 동의가 있을 때만 복제하세요.

목소리

화자 탭에서 화자의 더빙 엔진으로 KittenTTS 2를 고른 뒤 음성을 고르세요. 화자의 각 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 더빙을 자막 길이에 맞추기를 켜세요. 더빙하기 전에 프로젝트의 언어를 설정하세요.

음성 116개 언어 16개.

  • ar 4
  • de 4
  • en 50
  • es 5
  • fr 5
  • hi 5
  • id 2
  • it 6
  • ja 4
  • ko 3
  • nl 3
  • pl 4
  • pt 6
  • ru 7
  • tr 3
  • zh 4

Speaker's own voice를 고르면, Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 3~12초 분량으로 잘라내, 그 안에서 말한 자막 텍스트와 함께 보냅니다. KittenTTS는 그 샘플에 이어서 말하며, 이 방식이 화자에 가장 가깝고 가장 안정적입니다. 영어 샘플과 포르투갈어 대사로 한 테스트에서, 복제한 더빙은 VoxCPM2와 거의 비슷한 정도로 화자에 가깝게 들렸고, 틀린 단어는 더 적었습니다. 이 영상의 음악과 목소리를 분리해 두었다면, 샘플은 목소리만으로 만들어집니다. 애드온 설정의 Fallback reference clip은 샘플을 잘라낼 수 없을 때만 사용됩니다.

기본 제공 목소리는 각각 한 언어에 속합니다. 목소리는 녹음이고, 모델은 그 억양을 이어 가기 때문입니다. 그래서 음성 목록에는 프로젝트 언어의 목소리가 나옵니다. 영어에는 50가지가 있으며, 그중에는 KittenTTS 0.8의 Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki, Leo와, 부드러운 라디오 DJ인 Marcus나 기품 있는 내레이터인 Victoria 같은 캐릭터가 있습니다. 다른 언어에는 각각 2~7가지가 있습니다. KittenML은 녹음의 출처를 밝히지 않습니다.

가끔 모델이 대사를 말하지 않고 조용해질 때가 있습니다. 애드온이 이를 알아채고 최대 세 번까지 다시 시도하므로, 여러분이 직접 할 필요는 없습니다.

모델

KittenML의 파일은 애드온 안에 하나도 들어 있지 않습니다. 처음 더빙할 때 KittenML의 Hugging Face 저장소에서 고정된 리비전으로 Subtitld의 공유 모델 캐시에 내려받으며, 파일마다 확인합니다. 샘플을 목소리로 바꾸는 참조 인코더는 첫 복제 대사에서 애드온 자체의 릴리스에서 내려받습니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.

모델 다운로드적합한 용도
KittenTTS 2 (1.7B, ternary) 기본값 kitten-tts-2
1.6 GB
모든 목소리와 언어, CPU에서 대략 실시간 속도
Reference encoder, for cloning ref-encoder
517 MB
복제 목소리 전용, 첫 복제 대사에서 내려받음

애드온은 KittenML이 직접 만든 KittenTTS 2용 C++ 프로그램을 실행합니다. 이 프로그램은 KittenML의 Python 패키지보다 약 4배 빠르고, 메모리는 3분의 1만 씁니다.

옵션

설정 › 애드온 › KittenTTS 2 (offline, voice clone, 16 languages) › 구성에서 설정할 수 있습니다.

Delivery
기본값: stable

Stable은 거의 모든 프로젝트에 맞습니다. Expressive는 더 생기 있지만, 대사가 이상하게 나오는 일이 더 잦습니다.

CPU threads
기본값: 0

0이면 효율 코어도 있는 프로세서에서는 성능 코어를, 그 밖에는 코어마다 스레드 하나를, 최대 8개까지 사용합니다. 스레드를 줄이면 더빙하는 동안 컴퓨터가 더 잘 반응합니다.

Fallback reference clip
기본값: 비어 있음

Subtitld가 영상에서 클립을 잘라낼 수 없을 때(예: 영상이 열려 있지 않을 때) 복제 목소리에 쓸 클립입니다. 한 사람이 말하는 3~30초 분량이면 됩니다.

Fallback reference transcript
기본값: 비어 있음

The exact words spoken in the fallback clip. With them the clone is closer to the speaker and makes fewer mistakes.

Clone the timbre only
기본값: 끄기

화자 클립의 단어는 빼고 음색만 복제합니다. 더빙에 화자의 억양이 남거나, 자막이 말한 내용을 바꿔 표현한 경우에 시도해 보세요.

언어

영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 포르투갈어, 러시아어, 중국어, 일본어, 한국어, 아랍어, 힌디어, 튀르키예어, 네덜란드어, 폴란드어, 인도네시아어. 다른 언어로 된 프로젝트에서는 그렇다고 알리는 메시지가 나옵니다. 그런 프로젝트에는 다른 더빙 엔진을 고르세요.

영어 텍스트는 의도한 대로 읽습니다. 예를 들어 영어의 "the 3rd of May"는 "the third of May"로, "$12.50"은 "twelve dollars fifty"로 읽습니다. 다른 언어에서는 중요한 곳의 숫자와 기호를 단어로 쓰세요.

  • en
  • es
  • fr
  • de
  • it
  • pt
  • ru
  • zh
  • ja
  • ko
  • ar
  • hi
  • tr
  • nl
  • pl
  • id

플랫폼

시스템 다운로드테스트 완료
Linux x86-64 136.1 MB실제 컴퓨터와 CI에서 실제 모델로 더빙, 복제 포함
macOS (Apple 실리콘) 109.2 MBCI에서 실제 모델로 더빙, 복제 포함(Apple Silicon)
Windows x86-64 96.4 MBCI에서 실제 모델로 더빙, 복제 포함

Linux x86-64, Apple Silicon의 macOS, Windows x86-64. 각 릴리스는 세 플랫폼 모두에서 빌드되며, 플랫폼마다 CI가 Subtitld와 같은 방식으로 애드온을 설치하고 모델을 내려받아, 복제한 목소리까지 포함해 그 모델로 더빙합니다. Linux에서는 glibc 2.35 이상이 필요합니다.

문제 해결

  • network_unavailable모델을 내려받지 못했습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 이어서 진행됩니다.
  • disk_full모델을 위한 디스크 공간(약 1.7 GB, 복제를 쓰면 2.2 GB)이 부족합니다.
  • unsupported_language프로젝트의 언어가 16개 언어 중 하나가 아니거나, 설정되어 있지 않습니다. 프로젝트에서 언어를 설정하거나 다른 더빙 엔진을 고르세요.
  • unsupported_voice프로젝트가 이 버전에 없는 목소리를 지정하고 있습니다. 화자 탭에서 목소리를 다시 고르세요.
  • bad_params대사에 텍스트가 없거나, 복제 목소리에 샘플이 없습니다. 영상을 열거나 Fallback reference clip을 설정하세요. 메시지에 어느 쪽인지 나옵니다.
  • internal애드온 내부에서 문제가 생겼습니다. 자세한 내용은 메시지에 나옵니다. 프로세서가 AVX2, FMA, F16C를 지원하지 않는다고 나오면, 이 컴퓨터에서는 KittenTTS 2를 실행할 수 없습니다. 대사가 계속 무음으로 나왔다고 나오면, 다른 목소리를 써 보거나 대사를 바꿔 써 보세요.

라이선스

애드온
Apache-2.0
엔진
MIT, Apache-2.0
kitten-tts-2-cpp, KittenML 제작. LibTorch는 BSD-3-Clause
참조 인코더
MIT
chatterbox-turbo(ResembleAI)와 pyannote에서 가져옴
모델
Stellon Labs Community License
KittenTTS 2 가중치. 매출이나 투자 유치액이 100만 미국 달러 미만일 때만 상업적 사용 무료

애드온은 Apache-2.0입니다. KittenML의 런타임은 MIT와 Apache-2.0, LibTorch는 BSD-3-Clause이며, 참조 인코더의 구성 요소는 MIT입니다. KittenTTS 2 가중치는 Stellon Labs Community License에 따르며, 애드온이 가중치를 내려받을 때 여러분은 이 라이선스에 동의하게 됩니다. 연구와 개인 용도로는 무료이고, 상업적 용도로는 연간 매출과 총 투자 유치액이 모두 100만 미국 달러 미만일 때만 무료이며, Stellon Labs에 등록해야 합니다. 가중치와 그것으로 만든 결과물은 다른 모델을 학습시키는 데 쓸 수 없습니다. 만든 더빙은 여러분의 것입니다. Powered by KittenML.

버전

  • 26.10.1

    Offline text-to-speech for Subtitld with KittenML's KittenTTS 2, in 16 languages (English, Spanish, French, German, Italian, Portuguese, Russian, Chinese, Japanese, Korean, Arabic, Hindi, Turkish, Dutch, Polish and Indonesian), at 24 kHz.

    • The speaker's own voice. Cloned from the clip Subtitld cuts from the video, and spoken in another language too. With the subtitle text Subtitld sends with the clip, KittenTTS continues from it, which is closest to the speaker; "Clone the timbre only" leaves the words out.
    • 115 built-in voices. 50 in English, 2 to 7 in each other language.
    • About real time on a CPU. A second of speech takes 1.1 to 1.5 seconds on an i7-13700T, with about 2.3 GB of memory. x86-64 needs AVX2, FMA and F16C; Apple Silicon works.
    • Downloads on first use. The model, 1.66 GB, from KittenML's repository on the first line; the reference encoder, 542 MB, from this repository's ref-encoder-1 prerelease, on the first cloned line. Both are pinned and checked by sha256.

    The weights are not open source. KittenTTS 2 is under the Stellon Labs Community License. Commercial use, dubbing for pay included, is free only below US$1,000,000 in annual revenue and in total funding, and requires registering with Stellon Labs. Use must also follow an Acceptable Use Policy that is not published, and the licence is revocable. The add-on ships none of KittenML's weights; read the licence before using it for paid work. Powered by KittenML.

    Built on KittenML's C++ runtime (kitten-tts-2-cpp) with LibTorch 2.14.1, patched to end a line whose model scores go non-finite, and with the CPU flash-attention path off (it produced such lines depending on the thread count). A line that falls into silence is retried with another seed, up to three times, and the silence around each line is trimmed.

    Each archive was installed in CI the way Subtitld installs add-ons, on Linux, macOS (Apple Silicon) and Windows, and spoke English, Portuguese and Chinese lines and a cross-lingual clone through the add-on protocol.

다른 음성 애드온

업데이트됨 · 애드온 카탈로그 기준 이 애드온의 문제 신고