다운로드

VoxCPM2 (offline, voice clone, 30 languages)

음성오프라인GPU 선택 사항음성 복제상업적 사용 가능

OpenBMB의 VoxCPM2로 자막을 30개 언어로 더빙합니다. 영상에서 복제한 화자 각자의 목소리나, 설명으로 만든 목소리를 씁니다. 여러분의 컴퓨터에서 실행되며, 애드온, 코드, 가중치가 모두 Apache-2.0입니다.

Subtitld에서 설치하세요

설정 애드온 VoxCPM2 (offline, voice clone, 30 languages) 설치

Subtitld가 내려받고, SHA-256을 확인하고, 최신 상태로 유지합니다.

GitHub의 소스
언어
30
모델
1
음성
9
애드온 다운로드
205–318 MB
최소 RAM
7 GB

기능

화자 본인의 목소리

Subtitld가 영상에서 각 화자의 클립을 잘라, 그 안에서 말한 단어와 함께 보냅니다. VoxCPM2는 그 클립에 이어서 말하므로, 더빙이 화면 속 사람처럼 들립니다. 30개 언어 어디서나 됩니다.

또는 설명한 목소리

따뜻한 여성부터 걸걸한 나이 든 남성, 내레이터까지 미리 준비된 목소리 일곱 가지, 또는 직접 쓴 설명: "젊은 남성, 빠르고 쾌활하게".

스튜디오 음질

음성은 영상에서 쓰는 48 kHz로 나옵니다.

상업적 작업도 무료

애드온, VoxCPM 코드, VoxCPM2 가중치가 모두 Apache-2.0입니다.

설치하기 전에

VoxCPM2는 매개변수 24억 개의 큰 모델입니다. 오프라인 애드온 가운데 가장 자연스러운 더빙을 만들지만, 컴퓨터에 가장 많은 것을 요구합니다.

  • 디스크: 약 5.6 GB. 대부분은 4.96 GB 모델이며, 첫 대사를 더빙할 때 내려받습니다.
  • 메모리: 여유 공간 약 7 GB. 그보다 적어도 실행되지만 훨씬 느립니다.
  • 시간: CPU에서는 음성 1초를 만드는 데 몇 초가 걸립니다. Intel Core i7-13700T에서 5~6초입니다. 10분짜리 영상은 한 시간쯤 걸릴 수 있습니다. Apple Silicon Mac에서는 GPU에서 실행됩니다.

평범한 컴퓨터에서 빠르게 더빙하려면 Piper나 Kokoro가 훨씬 가볍습니다.

목소리

Speakers 탭에서 화자의 Dubbing engine으로 VoxCPM2를 고른 뒤 Voice를 고르세요. 화자의 각 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 Fit dub to subtitle duration을 켜세요.

음성 9개.

복제한 목소리

Speaker's own voice를 고르면, Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 잘라냅니다. 3초에서 12초 사이인 자막 하나에서, 또는 짧은 자막 여러 개를 이어 붙여 만듭니다. 이 영상의 음악과 목소리를 분리해 두었다면, 샘플은 목소리만으로 만들어집니다. 애드온 설정의 Fallback reference clip은 샘플을 잘라낼 수 없을 때만 사용됩니다.

Subtitld는 샘플과 함께 자막 텍스트를 보내고, VoxCPM2는 그 샘플에 이어서 말합니다. 이렇게 하면 말투까지 화자에 가장 가까워집니다. 다른 언어로 더빙할 때 화자의 억양이 남는다면 Clone the timbre only를 켜세요.

설명한 목소리

VoxCPM2는 설명을 읽을 때마다 새 목소리를 만들어 냅니다. 그래서 애드온은 각 화자의 목소리를 한 번만 만들고, 그 화자의 모든 대사에서 다시 씁니다. 목소리는 영상 내내 같게 유지되고, 같은 설명을 받은 두 화자도 서로 다른 두 사람처럼 들립니다.

모델

모델은 VoxCPM2 하나입니다. 애드온 안에 들어 있지 않고, 처음 더빙할 때 Hugging Face에서 고정된 리비전으로 Subtitld의 공유 모델 캐시에 내려받으며, 파일마다 확인합니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.

모델 다운로드적합한 용도
VoxCPM2 (2.4B) 기본값 voxcpm2
4.7 GB
모든 목소리, 30개 언어 전부

첫 대사에서는 모델도 불러오기 때문에 그다음 대사보다 오래 걸립니다. 취소하면 두 단계 사이에서 대사를 멈추거나, 다운로드를 멈춥니다.

옵션

설정 › 애드온 › VoxCPM2 (offline, voice clone, 30 languages) › 구성에서 설정할 수 있습니다.

Inference device
기본값: auto

자동은 Apple Silicon Mac에서는 GPU를, 그 밖에는 CPU를 사용합니다. 이 빌드는 NVIDIA 그래픽 카드를 사용하지 않습니다.

Weight precision
기본값: auto

자동은 거의 모든 컴퓨터에 알맞습니다. float32는 조금 더 빠르지만 메모리가 약 11 GB 필요합니다.

Quality steps
기본값: 10

단계가 많을수록 발음이 또렷해지고 느려집니다. 5는 10보다 약 4분의 1 빠르지만, 귀로 느낄 만큼 덜 또렷합니다.

Guidance
기본값: 2

How closely the speech follows the text and the voice. VoxCPM's default is 2.0.

CPU threads
기본값: 0

0이면 효율 코어도 있는 CPU에서 성능 코어를 고릅니다. 스레드를 줄이면 더빙하는 동안 컴퓨터가 더 잘 반응합니다.

Voice description
기본값: 비어 있음

"Voice you describe" 목소리에서 사용됩니다. 누가 어떻게 말하는지 몇 단어로 적습니다. 예: "An elderly woman, soft and warm voice, slow pace". 영어 설명은 모든 언어에 통합니다.

Fallback reference clip
기본값: 비어 있음

Subtitld가 영상에서 클립을 잘라낼 수 없을 때(예: 영상이 열려 있지 않을 때) 복제 목소리에 쓸 클립입니다. 한 사람이 말하는 3~15초 분량이면 됩니다.

Fallback reference transcript
기본값: 비어 있음

위 클립에서 말하는 단어 그대로입니다. 이것이 있으면 복제가 화자에 더 가까워집니다.

Clone the timbre only
기본값: 끄기

클립의 말투는 따르지 않고 목소리의 소리만 복제합니다. 다른 언어로 더빙할 때 화자의 억양이 남거나, 자막이 말한 내용을 바꿔 쓴 경우에 시도해 보세요.

언어

아랍어, 버마어, 중국어, 덴마크어, 네덜란드어, 영어, 핀란드어, 프랑스어, 독일어, 그리스어, 히브리어, 힌디어, 인도네시아어, 이탈리아어, 일본어, 크메르어, 한국어, 라오어, 말레이어, 노르웨이어, 폴란드어, 포르투갈어, 러시아어, 스페인어, 스와힐리어, 스웨덴어, 타갈로그어, 태국어, 튀르키예어, 베트남어. VoxCPM2는 텍스트 자체에서 언어를 읽으므로, 모든 목소리가 모든 언어를 말합니다.

  • ar
  • my
  • zh
  • da
  • nl
  • en
  • fi
  • fr
  • de
  • el
  • he
  • hi
  • id
  • it
  • ja
  • km
  • ko
  • lo
  • ms
  • no
  • pl
  • pt
  • ru
  • es
  • sw
  • sv
  • tl
  • th
  • tr
  • vi

플랫폼

시스템 다운로드테스트 완료
Linux x86-64 312.0 MB실제 컴퓨터에서 실제 모델로 더빙, CI에서 빌드 및 확인
macOS (Apple 실리콘) 318.0 MBCI에서 빌드 및 확인(Apple Silicon)
Windows x86-64 204.6 MBCI에서 빌드 및 확인

Linux x86-64, Apple Silicon의 macOS, Windows x86-64. 각 릴리스는 세 플랫폼 모두에서 빌드되며, CI는 말하는 데 필요한 모든 것이 빌드에 들어 있는지 확인합니다. CI는 모델 자체를 실행하지 않습니다.

문제 해결

  • network_unavailable모델을 내려받지 못했습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 이어서 진행됩니다.
  • disk_full모델을 위한 디스크 공간이 부족합니다. 약 5 GB의 여유 공간이 필요합니다.
  • oom메모리가 부족합니다. 다른 프로그램을 닫으세요. VoxCPM2는 약 7 GB, float32에서는 11 GB의 여유 메모리가 필요합니다.
  • bad_params대사에 텍스트가 없거나, 복제 목소리에 샘플이 없습니다. 영상을 열거나 Fallback reference clip을 설정하세요. 메시지에 어느 쪽인지 나옵니다.
  • unsupported_voice프로젝트가 이 버전에 없는 목소리를 지정하고 있습니다. Speakers 탭에서 목소리를 다시 고르세요.
  • internal애드온 내부에서 문제가 생겼습니다. 자세한 내용은 메시지에 나옵니다. Inference device를 바꿨다면 자동으로 되돌리세요.

라이선스

애드온
Apache-2.0
엔진
Apache-2.0
VoxCPM, OpenBMB 제작
모델
Apache-2.0
VoxCPM2 가중치

상업적 작업에 문제 없습니다. 애드온, VoxCPM, VoxCPM2 가중치가 모두 Apache-2.0입니다. 만든 더빙은 여러분의 것입니다. 복제한 목소리는 실제 사람처럼 들립니다. 사용할 권리가 있는 목소리만 복제하고, 중요한 경우에는 더빙이 합성 음성임을 밝히세요.

버전

  • 0.0.1

    Text-to-speech for Subtitld with OpenBMB's VoxCPM2: 30 languages at 48 kHz, in the speaker's own voice cloned from the video, or in a voice made from a description.

    The archive holds the add-on and a CPU build of PyTorch. The 4.96 GB model downloads on the first synthesis, at a pinned revision, checked by sha256. Plan for about 7 GB of free memory; on a CPU each second of speech takes several seconds to make.

    The add-on, VoxCPM and the VoxCPM2 weights are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is voxcpm-<version>-libquadmath-source.tar.gz in this release.

다른 음성 애드온

업데이트됨 · 애드온 카탈로그 기준 이 애드온의 문제 신고