Chatterbox 오프라인, 음성 복제, 20개 언어

음성오프라인CPU 전용음성 복제상업적 사용 가능

Resemble AI의 Chatterbox로 자막을 20개 언어로 더빙합니다. 영상의 몇 초에서 복제한 화자 각자의 목소리나, 미리 준비된 목소리 8가지 중 하나를 씁니다. 복제한 목소리는 클립이 어떤 언어이든 모든 언어를 말합니다. 그래픽 카드 없이 여러분의 컴퓨터 프로세서에서 실행되며, 속도는 실시간과 비슷합니다.

Subtitld에서 설치하세요

설정 애드온 Chatterbox (offline, voice clone, 20 languages) 설치

Subtitld가 내려받고, SHA-256을 확인하고, 최신 상태로 유지합니다.

GitHub의 소스
언어
20
모델
2
음성
9
애드온 다운로드
39–62 MB
최소 RAM
2 GB

들어 보기

기능

화자 본인의 목소리로, 다른 언어로

Subtitld가 영상에서 각 화자의 몇 초를 잘라 대사마다 함께 보냅니다. Chatterbox는 그 목소리를 20개 언어 어느 것으로든 복제하므로, 포르투갈어를 쓰는 배우를 독일어로 더빙해도 여전히 본인처럼 들립니다.

두 가지 모델

Multilingual은 20개 언어를 모두 말합니다. Turbo는 영어만 말하지만, 화자와 더 비슷하게 들리고, 메모리를 덜 쓰며, 자막에 쓴 [laugh]나 [sigh] 같은 태그를 읽습니다.

어떤 컴퓨터에서도

그래픽 카드 없이 프로세서에서 실시간과 비슷한 속도로 실행됩니다. 10초짜리 대사는 약 10초가 걸립니다.

상업적 작업도 무료

애드온은 Apache-2.0, Chatterbox와 그 모델은 MIT입니다. 미리 준비된 목소리는 LibriVox 낭독자들이며, 퍼블릭 도메인입니다.

설치하기 전에

  • 디스크: 첫 대사에서 Multilingual은 1.3 GB, Turbo는 725 MB를 내려받습니다.
  • 메모리: 말하는 동안 Multilingual은 약 1.7 GB, Turbo는 약 1 GB.
  • 프로세서: 64비트 Intel 또는 AMD 프로세서라면 무엇이든, 또는 Apple Silicon. 그래픽 카드는 쓰지 않습니다.

목소리는 그 주인의 동의가 있을 때만 복제하세요. Chatterbox의 공식 빌드는 오디오에 들리지 않는 워터마크를 넣지만, 이 애드온은 넣지 않습니다. 따라서 복제한 목소리를 어떻게 쓰는지에 대한 책임은 여러분에게 있습니다.

목소리

화자 탭에서 화자의 더빙 엔진으로 Chatterbox를 고른 뒤 음성을 고르세요. 화자의 각 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 더빙을 자막 길이에 맞추기를 켜세요.

음성 9개.

Speaker's own voice를 고르면, Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 잘라냅니다. 그 화자의 자막 하나에서, 또는 짧은 자막 여러 개를 이어 붙여 만듭니다. 이 영상의 음악과 목소리를 분리해 두었다면, 샘플은 목소리만으로 만들어집니다. 애드온 설정의 Fallback reference clip은 샘플을 잘라낼 수 없을 때만 사용됩니다. 가장 좋은 샘플은 음악이나 다른 목소리 없이 그 화자 혼자 말하는 5~20초 분량입니다. 애드온은 그중 처음 10초를 씁니다.

미리 준비된 목소리
여성 영어, 포르투갈어, 프랑스어, 독일어
남성 영어, 포르투갈어, 프랑스어, 독일어

미리 준비된 목소리는 각각 그 언어로 책을 읽는 LibriVox 자원봉사자이며, Sopro 애드온과 같은 낭독자들입니다. 미리 준비된 목소리는 모두 20개 언어를 전부 말합니다. 목소리의 원래 언어는 억양만 더할 뿐이니, 가장 자연스러운 더빙을 원하면 프로젝트 언어에 가장 가까운 목소리를 고르세요.

모델

두 모델 모두 애드온 안에 들어 있지 않습니다. 사용하는 모델은 처음 더빙할 때 Hugging Face에서 고정된 리비전으로 Subtitld의 공유 모델 캐시에 내려받으며, 파일마다 확인합니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.

모델언어 다운로드적합한 용도
Chatterbox Multilingual (0.5B, 4-bit ONNX) 기본값 multilingual
1.3 GB
20개 언어 전부. 기본 모델
Chatterbox Turbo (350M, 4-bit ONNX, English) turboen
725 MB
영어 전용: 화자와 더 비슷하고, 메모리를 덜 쓰며, [laugh], [sigh], [cough]를 읽습니다

애드온은 Chatterbox의 ONNX 내보내기 버전을 PyTorch 없이 실행합니다. 영어, 포르투갈어, 프랑스어, 독일어, 스페인어, 이탈리아어, 러시아어, 폴란드어로 된 10개 문장을 각각 두 목소리로 복제해 시험해 보니, Multilingual은 단어의 2.4%를 틀렸고 화자와 비슷하게 들렸습니다. Turbo는 영어에서 하나도 틀리지 않았고 화자와 더욱 비슷하게 들렸습니다.

옵션

설정 › 애드온 › Chatterbox (offline, voice clone, 20 languages) › 구성에서 설정할 수 있습니다.

Model
기본값: multilingual

Turbo는 영어만 말합니다. Turbo를 고르면 다른 언어의 대사는 Multilingual이 말합니다. 메모리에는 한 번에 모델 하나만 올라갑니다.

Expressiveness
기본값: 0.5

Multilingual 전용: 목소리에 감정을 얼마나 담을지 정합니다. 0.5는 Chatterbox 자체의 기본값입니다. 높일수록 더 극적이 되고 말이 빨라지는 경향이 있습니다.

CPU threads
기본값: 0

0이면 컴퓨터 논리 프로세서의 절반을, 최대 8개까지 사용합니다. 스레드를 줄이면 더빙하는 동안 컴퓨터가 더 잘 반응합니다.

Fallback reference clip
기본값: 비어 있음

Subtitld가 영상에서 클립을 잘라낼 수 없을 때(예: 영상이 열려 있지 않을 때) 복제 목소리에 쓸 클립입니다. 한 사람이 말하는 5~20초 분량이면 됩니다.

언어

아랍어, 덴마크어, 네덜란드어, 영어, 핀란드어, 프랑스어, 독일어, 그리스어, 힌디어, 이탈리아어, 한국어, 말레이어, 노르웨이어, 폴란드어, 포르투갈어, 러시아어, 스페인어, 스와힐리어, 스웨덴어, 튀르키예어. 다른 언어로 된 프로젝트에서는 그렇다고 알리는 메시지가 나옵니다. 그런 프로젝트에는 다른 더빙 엔진을 고르세요.

Chatterbox는 히브리어, 일본어, 중국어도 지원하지만 이 애드온에서는 뺐습니다. 히브리어는 모음 부호를 붙이는 두 번째 모델이 필요하고, 일본어는 라이선스상 함께 배포할 수 없는 변환기가 필요하며, 중국어는 저희 테스트에서 소리가 뭉개져 나왔습니다.

중요한 곳에서는 숫자와 기호를 단어로 쓰세요. 대사 하나는 한 번에 읽히며, 최대 40초 분량의 음성이 됩니다.

  • ar
  • da
  • de
  • el
  • en
  • es
  • fi
  • fr
  • hi
  • it
  • ko
  • ms
  • nl
  • no
  • pl
  • pt
  • ru
  • sv
  • sw
  • tr

플랫폼

시스템 다운로드테스트 완료
Linux x86-64 62.5 MB실제 컴퓨터와 Subtitld 자체에서 두 모델로 더빙
macOS (Apple 실리콘) 43.7 MBCI에서 설치된 애드온이 모델을 내려받아 더빙(Apple Silicon)
Windows x86-64 38.7 MBCI에서 설치된 애드온이 모델을 내려받아 더빙

Linux x86-64, Apple Silicon의 macOS, Windows x86-64. 각 릴리스는 세 플랫폼 모두에서 빌드되며, 플랫폼마다 CI가 Subtitld와 같은 방식으로 애드온을 설치하고 모델을 내려받아 그 모델로 더빙합니다.

문제 해결

  • network_unavailable모델을 내려받지 못했습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 이어서 진행됩니다.
  • disk_full모델을 위한 디스크 공간이 부족합니다. Multilingual은 1.3 GB, Turbo는 725 MB가 필요합니다.
  • unsupported_language프로젝트의 언어가 20개 언어 중 하나가 아니거나, 설정되어 있지 않습니다. 프로젝트에서 언어를 설정하거나 다른 더빙 엔진을 고르세요.
  • unsupported_voice프로젝트가 이 버전에 없는 목소리를 지정하고 있습니다. 화자 탭에서 목소리를 다시 고르세요.
  • bad_params대사에 텍스트가 없거나, 복제 목소리에 샘플이 없습니다. 영상을 열거나 Fallback reference clip을 설정하세요. 메시지에 어느 쪽인지 나옵니다.
  • out_of_memory컴퓨터의 메모리가 부족해졌습니다. 다른 프로그램을 닫거나, 영어라면 Turbo를 고르세요. Turbo는 약 1 GB가 필요합니다.
  • internal애드온 내부에서 문제가 생겼습니다. 자세한 내용은 메시지에 나옵니다.

라이선스

애드온
Apache-2.0
엔진
MIT
Chatterbox, Resemble AI 제작. ONNX Runtime은 MIT
모델
MIT
Chatterbox Multilingual 및 Turbo 가중치, ONNX 내보내기 버전
미리 준비된 목소리
Public domain, CC-BY-4.0
LibriVox 낭독자. 영어 목소리는 LibriTTS-R을 거침

상업적 작업에 문제 없습니다. 애드온은 Apache-2.0이고, Chatterbox와 두 모델은 모두 MIT입니다. 미리 준비된 목소리는 LibriVox 녹음으로, 퍼블릭 도메인입니다. 영어 목소리는 LibriTTS-R을 거쳐 CC-BY-4.0으로 제공되며, 애드온은 각 목소리의 출처를 표기합니다. 만든 더빙은 여러분의 것입니다.

버전

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Resemble AI's Chatterbox: 20 languages at 24 kHz with Chatterbox Multilingual, or English with Chatterbox Turbo, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. A model (Multilingual 1.3 GB, Turbo 0.7 GB) downloads on its first line, at a pinned revision, checked by sha256. It runs on the CPU at about real time.

    The add-on is Apache-2.0; the Chatterbox models are MIT. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/chatterbox_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is chatterbox-<version>-libquadmath-source.tar.gz in this release.

다른 음성 애드온

업데이트됨 · 애드온 카탈로그 기준 이 애드온의 문제 신고