VoxMel 오프라인, 음성 복제, 2개 언어
VoxDance Lab의 VoxMel로 자막을 영어와 표준 중국어로 더빙합니다. 영상과 그 자막에서 충실하게 복제한 화자 각자의 목소리를 쓰거나, 미리 준비된 목소리 여덟 가지 중 하나를 씁니다. 여러분의 컴퓨터에서 실행되며, 애드온, 모델, 목소리가 모두 Apache-2.0입니다.
설정 애드온 VoxMel (offline, voice clone, 2 languages) 설치
Subtitld가 내려받고, SHA-256을 확인하고, 최신 상태로 유지합니다.
- 언어
- 2
- 모델
- 1
- 음성
- 9
- 애드온 다운로드
- 15–19 MB
- 최소 RAM
- 2 GB
들어 보기
기능
Subtitld가 영상에서 각 화자의 몇 초를 잘라, 그 안에서 말한 자막과 함께 보냅니다. VoxMel은 그 목소리를 영어로든 표준 중국어로든 충실하게 복제합니다.
언어마다 여성 둘, 남성 둘. 복제하고 싶지 않은 화자에게 쓰세요. VoxMel이 직접 만든 목소리로, 이를 위해 누구의 목소리도 녹음하지 않았습니다.
최신 노트북 프로세서에서 복제한 목소리의 대사는 음성 1초에 2~4초가 걸립니다.
애드온, audio.cpp 엔진, VoxMel 가중치, 미리 준비된 목소리가 모두 Apache-2.0입니다.
설치하기 전에
- 디스크: 약 1.2 GB. 대부분은 1.04 GB 모델이며, 첫 대사를 더빙할 때 내려받습니다.
- 메모리: 여유 공간 약 2 GB.
- 시간: Intel Core i7-13700T에서 화자 본인의 목소리로 된 대사는 음성 1초에 2~4초가 걸렸습니다. Apple Silicon Mac에서는 GPU에서 실행됩니다.
- 언어: 영어와 표준 중국어만 지원합니다. 다른 언어라면 VoxCPM2가 30개 언어로, OmniVoice가 646개 언어로 목소리를 복제합니다.
목소리
화자 탭에서 화자의 더빙 엔진으로 VoxMel을 고른 뒤 음성을 고르세요. VoxMel 자체에는 말하는 속도를 조절하는 기능이 없으므로, 화자의 각 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 더빙을 자막 길이에 맞추기를 켜세요.
음성 9개 언어 2개.
en4zh4
복제한 목소리
Speaker's own voice를 고르면, Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 잘라냅니다. 3초에서 12초 사이인 자막 하나에서, 또는 짧은 자막 여러 개를 이어 붙여 만들고, 자막 텍스트를 함께 보냅니다. VoxMel에는 샘플과 그 말이 둘 다 필요합니다. 애드온 설정의 Fallback reference clip과 그 전사문은 샘플을 잘라낼 수 없을 때만 사용됩니다.
VoxMel은 같은 언어 안에서 가장 잘 복제합니다. 표준 중국어 화자를 영어로 더빙하면 잘 되지만, 영어 화자를 표준 중국어로 더빙하면 일부 단어가 뭉개질 수 있습니다.
Clone the timbre only는 이 애드온에서 작동하지 않습니다. VoxMel은 샘플의 말 없이는 복제할 수 없기 때문입니다. VoxMel을 쓰는 화자에게는 꺼 두세요.
미리 준비된 목소리
각 목소리는 VoxMel이 참조 녹음 없이 만든 짧은 클립으로, 정확한 말과 함께 보관되어 있습니다. 미리 준비된 목소리를 받은 화자의 모든 대사는 그 클립을 복제하므로, 목소리가 영상 내내 같게 유지됩니다. 영어 목소리는 영어 대사에, 표준 중국어 목소리는 표준 중국어 대사에 어울립니다.
모델
모델은 Vocos 보코더를 포함한 VoxMel 0.6B 하나이며, audio.cpp 프로젝트가 변환한 대로 가중치를 8비트로 저장합니다. 애드온 안에 들어 있지 않고, 처음 더빙할 때 Hugging Face에서 고정된 리비전으로 Subtitld의 공유 모델 캐시에 내려받으며, 확인을 거칩니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.
| 모델 | 다운로드 | 적합한 용도 |
|---|---|---|
| VoxMel 0.6B (8-bit) 기본값 voxmel | 모든 목소리, 영어와 표준 중국어 |
첫 대사에서는 모델도 불러오기 때문에 그다음 대사보다 오래 걸립니다. Apple Silicon Mac에서는 맨 처음 한 번, 애드온이 GPU에서 짧은 테스트 대사를 하나 말해 보고, 잘 되지 않으면 CPU를 사용합니다. 취소하면 두 단계 사이에서 대사를 멈추거나, 다운로드를 멈춥니다.
옵션
설정 › 애드온 › VoxMel (offline, voice clone, 2 languages) › 구성에서 설정할 수 있습니다.
32VoxMel이 음성의 순간순간을 얼마나 세밀하게 그려 내는지입니다. 32가 VoxMel 자체 설정입니다. 줄이면 빨라지지만 디테일이 줄어듭니다.
3.5음성이 텍스트를 얼마나 충실히 따르는지입니다. 3.5가 VoxMel 자체 설정입니다.
3복제한 목소리가 클립을 얼마나 충실히 따르는지입니다. 3.0이 VoxMel 자체 설정입니다. 높이면 더 비슷하게 들릴 수도, 억지스럽게 들릴 수도 있습니다.
00이면 효율 코어도 있는 CPU에서 성능 코어를 고릅니다. 스레드를 줄이면 더빙하는 동안 컴퓨터가 더 잘 반응합니다.
Subtitld가 영상에서 클립을 잘라낼 수 없을 때(예: 영상이 열려 있지 않을 때) 복제 목소리에 쓸 클립입니다. 한 사람이 말하는 3~15초 분량이면 됩니다.
대체 클립에서 말하는 내용을 한 단어도 빠짐없이 그대로 적은 것입니다. VoxMel은 클립과 그 말로 복제하므로, 이것이 없으면 대체 클립을 받아들이지 않습니다.
언어
영어와 중국어(표준 중국어). VoxMel은 텍스트에서 언어를 알아냅니다.
enzh
플랫폼
| 시스템 | 다운로드 | 테스트 완료 |
|---|---|---|
| Linux x86-64 | 18.8 MB | 실제 컴퓨터와 AlmaLinux 8에서 실제 모델로 더빙, CI에서 설치된 애드온이 모델을 내려받고, 말하고, 목소리를 복제하고, 대사를 취소함 |
| macOS (Apple 실리콘) | 18.1 MB | CI에서 설치된 애드온이 모델을 내려받고, 말하고, 목소리를 복제하고, 대사를 취소함(Apple Silicon) |
| Windows x86-64 | 15.4 MB | CI에서 설치된 애드온이 모델을 내려받고, 말하고, 목소리를 복제하고, 대사를 취소함 |
Linux x86-64(2018년 이후의 모든 배포판, glibc 2.28 이상), Apple Silicon의 macOS 13.3 이상, Windows x86-64. 각 릴리스는 세 플랫폼 모두에서 빌드되며, 각 플랫폼에서 CI가 애드온을 설치하고 모델을 내려받은 뒤, 말하기, 목소리 복제, 대사 취소를 시켜 봅니다.
문제 해결
network_unavailable모델을 내려받지 못했습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 이어서 진행됩니다.disk_full모델을 위한 디스크 공간이 부족합니다. 약 1.2 GB의 여유 공간이 필요합니다.oom메모리가 부족합니다. 다른 프로그램을 닫으세요. VoxMel은 약 2 GB의 여유 메모리가 필요합니다.bad_params대사에 텍스트가 없거나, 복제 목소리에 샘플이나 그 말이 없습니다. 메시지에 어느 쪽인지 나옵니다. 복제 목소리라면 영상을 열고 Clone the timbre only를 꺼 두세요.unsupported_voice프로젝트가 이 버전에 없는 목소리를 지정하고 있습니다. 화자 탭에서 목소리를 다시 고르세요.internal애드온 내부에서 문제가 생겼습니다. 자세한 내용은 메시지에 나옵니다.
라이선스
상업적 작업에 문제 없습니다. 애드온과 그 미리 준비된 목소리, audio.cpp 엔진, VoxMel 가중치가 모두 Apache-2.0이며, Vocos 보코더와 ggml은 MIT입니다. 만든 더빙은 여러분의 것입니다. 복제한 목소리는 실제 사람처럼 들립니다. 사용할 권리가 있는 목소리만 복제하고, 중요한 경우에는 더빙이 합성 음성임을 밝히세요.
버전
- 26.11.1
The first release: text-to-speech for Subtitld with VoxDance Lab's VoxMel 0.6B, in English and Mandarin.
- The speaker's own voice, cloned closely from the clip Subtitld cuts from the video and its subtitles. VoxMel needs the clip's words, so "Clone the timbre only" doesn't work with this add-on. It clones best within a language: an English dub of a Mandarin speaker works well, a Mandarin dub of an English speaker may slur some words.
- Eight preset voices, two women and two men in each language. VoxMel made them itself, with no reference recording, and every line of a speaker clones the same clip, so the voice stays the same.
- Runs on the CPU, or on the GPU of an Apple Silicon Mac once a short test line shows that works there. A cloned line takes two to four seconds per second of speech on a recent laptop CPU.
- The 1.04 GB model downloads on the first line, pinned and checked; about 2 GB of memory. The archives are about 17 MB, and the Linux one runs on glibc 2.28 and newer.
The add-on, its preset voices, audio.cpp and the VoxMel weights are Apache-2.0; the Vocos vocoder, ggml, cJSON, libyaml, utf8proc and llama.cpp's tokenizer are MIT. Each archive carries THIRD_PARTY_LICENSES/, with the one change we made to audio.cpp (a step callback for cancel and progress).
다른 음성 애드온
-
Piper 오프라인
49개 언어의 158가지 오프라인 목소리, 각각 따로 받는 작은 파일.
-
Kokoro 오프라인
하나의 82 MB 모델로 9개 언어의 54가지 오프라인 목소리.
-
Supertonic 오프라인
10가지 오프라인 목소리, 각각 31개 언어 모두 가능.
-
sanoTTS 오프라인
14개 언어의 28가지 초소형 오프라인 목소리, 각각 10 MB 미만.
-
Parler-TTS 오프라인
글로 된 설명을 따르는 영어 목소리. 이름 붙은 화자 34명.
-
Qwen3-TTS 복제
10개 언어, 목소리 9가지, 화자 3초 분량으로 복제.
-
Coqui XTTS 복제
16개 언어로 음성 복제, 비상업적 모델 라이선스.
-
F5-TTS 복제
영어와 중국어 음성 복제 전용. 비상업적 모델.
-
VoxCPM2 복제
48 kHz로 30개 언어, 화자 본인의 목소리나 설명한 목소리로. 무거움.
-
Pocket TTS 오프라인
빠르고 가벼움, CPU만 사용. 유럽 7개 언어, 23가지 목소리.
-
Sopro 복제
화자 본인의 목소리를 CPU에서 빠르게. 4개 언어.
-
KittenTTS 2 복제
화자 본인의 목소리를 16개 언어로, CPU에서. 가중치는 제한적인 라이선스.
-
Ming-3.0-tts 복제
44.1 kHz로 7개 언어, 복제한 목소리, 내장 목소리, 설명한 목소리로, 감정까지. 무거움.
-
Scylla's Band 오프라인
여섯 언어로 말하는 목소리 14가지, CPU에서 가볍고 빠르게. 기본 제공 목소리만.
-
Audio8 TTS 복제
화자 본인의 목소리로 23개 언어, 광둥어와 아랍어 포함. CPU에서는 느림.
-
Inflect 오프라인
아주 작은 모델로 자연스러운 영어 음성을, 어떤 CPU에서도 빠르게.
-
Paradee 오프라인
자연스러운 영어 목소리 넷, 미국과 영국 억양을 8.5 MB 모델 하나로.
-
BlueTTS 복제
히브리어와 이디시어, 그리고 다섯 개 언어 더. 화자 본인의 목소리를 CPU에서 빠르게.
-
ZONOS3-Mini 복제
아랍어부터 베트남어까지 43개 언어. 화자 본인의 목소리를 CPU에서.
-
Reverb 복제
유럽 7개 언어와 화자 본인의 목소리를 CPU에서. 비상업적 모델.
-
OmniVoice 복제
646개 언어, 언어를 넘나드는 화자 본인의 목소리. 비상업적 모델.
-
tiny-voca 오프라인
매개변수 450만 개 모델의 미국 영어 목소리 둘, 내려받을 것 없이.
-
Chatterbox 복제
화자 본인의 목소리로 20개 언어를, CPU에서, 계정 없이.