ZONOS3-Mini 오프라인, 음성 복제, 43개 언어

음성오프라인CPU 전용음성 복제상업적 사용 가능

Zyphra가 만든 ZONOS3-Mini로 자막을 43개 언어로 더빙합니다. 목소리 27가지 중 하나나, 영상의 몇 초에서 복제한 화자 각자의 목소리를 씁니다. 그래픽 카드 없이 여러분의 컴퓨터 프로세서에서 실행되고, 실시간보다 약 2배 빠릅니다.

Subtitld에서 설치하세요

설정 애드온 ZONOS3-Mini (offline, voice clone, 43 languages) 설치

Subtitld가 내려받고, SHA-256을 확인하고, 최신 상태로 유지합니다.

GitHub의 소스
언어
43
모델
2
음성
28
애드온 다운로드
19–24 MB
최소 RAM
2 GB

기능

43개 언어

아랍어, 벵골어, 불가리아어부터 튀르키예어, 우르두어, 베트남어까지. 일본어, 한국어, 표준 중국어, 힌디어와 인도의 다른 언어 8개도 포함됩니다. 숫자, 날짜, 가격, 단위는 언어마다 그 언어의 문법대로 읽습니다.

화자 본인의 목소리

Subtitld가 영상에서 각 화자의 샘플을 잘라 대사마다 함께 보냅니다. ZONOS3-Mini는 그 목소리를 지원하는 어느 언어로든 복제합니다. 목소리 27가지 중 하나를 고를 수도 있습니다.

텍스트가 끝나면 대사도 끝납니다

대사마다 말하는 동안 확인하므로 단어를 건너뛰지 않고, 텍스트를 다 읽으면 멈춥니다. 자막에 없는 말을 이어서 하지 않습니다.

첫 대사 이후로는 오프라인

모델은 대사에 처음 필요할 때 한 번만 내려받습니다. 그 뒤로는 아무것도 컴퓨터 밖으로 나가지 않습니다.

설치하기 전에

  • 디스크: 모델에 1,115 MB. 첫 대사에서 내려받습니다. 화자 본인의 목소리를 처음 쓸 때 45 MB가 더 필요합니다.
  • 메모리: 말하는 동안 약 1.6 GB.
  • 시간: Intel Core i7-13700T에서 음성 1초를 만드는 데 약 0.5초가 걸립니다. 첫 대사는 모델을 불러오느라 약 4초를 더 기다리고, 화자 본인의 목소리로 하는 첫 대사는 목소리를 익히느라 약 5초를 더 기다립니다.
  • 프로세서: AVX2를 지원하는 64비트 Intel 또는 AMD 프로세서(Intel은 2013년 이후, AMD는 2015년 이후), 또는 Apple Silicon. 그래픽 카드는 쓰지 않습니다.

목소리

화자 탭에서 화자의 더빙 엔진으로 ZONOS3-Mini를 고른 뒤 음성을 고르세요. 화자의 각 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 더빙을 자막 길이에 맞추기를 켜세요.

음성 28개.

녹음 언어 여성 남성
영어 Imogen(영국), Morgana(마녀), Sakura(애니메이션), Savannah(미국), Willow(ASMR) Cillian(아일랜드), Jett(활기찬), Rupert(영국), Thaddeus(아나운서), Wyatt(미국)
프랑스어 Gaspard
독일어 Liesel Wolfgang
힌디어 Ananya Arjun
이탈리아어 Ginevra Lorenzo
한국어 Seoyeon Minjun
표준 중국어 Meilin(활기찬) Haoran(활기찬)
포르투갈어 Leonor Thiago
스페인어 Ximena Rodrigo
텔루구어 Sravya Chaitanya

이 목소리들은 Zyphra 자체의 기본 목소리입니다. 모든 목소리가 모든 언어를 말하지만, 녹음된 언어의 억양이 남아 있고, 다른 언어에서는 그 억양이 강할 수 있습니다. 영어 목소리로 러시아어를 말하면 알아듣기 어렵습니다. 여기에 자기 목소리가 없는 언어라면 화자 본인의 목소리를 쓰세요.

Speaker's own voice를 고르면, Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 잘라냅니다. 그 화자의 자막 하나에서, 또는 짧은 자막 여러 개를 이어 붙여 만듭니다. 이 영상의 음악과 목소리를 분리해 두었다면, 샘플은 목소리만으로 만들어집니다. 애드온 설정의 Fallback reference clip은 샘플을 잘라낼 수 없을 때만 사용됩니다.

ZONOS3-Mini는 샘플을 최대 1분까지 듣고 목소리를 따라 합니다. 말한 내용이나 말투는 따라 하지 않습니다. 가장 좋은 샘플은 마이크 가까이에서 녹음한 깨끗한 말소리입니다. 잡음과 울림이 있으면 복제한 목소리가 화자와 덜 닮게 되고, 전화 녹음은 전화기 너머 같은 목소리가 됩니다.

모델

모델은 애드온 안에 들어 있지 않고, 대사에 처음 필요할 때 Zyphra의 Hugging Face 저장소에서 고정된 리비전으로 Subtitld의 공유 모델 캐시에 내려받으며, 파일마다 확인합니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.

모델 다운로드적합한 용도
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) 기본값 zonos3-mini
1.1 GB
모든 대사, 모든 언어와 목소리
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
화자 본인의 목소리, 그 목소리로 처음 더빙할 때

애드온은 Zyphra 자체의 ggml 런타임을 실행합니다. Zyphra의 로컬 서버와 같은 코드로, PyTorch 없이 애드온에 내장되어 있습니다.

그대로 두면 모델이 짧은 대사 뒤에도 말을 이어 가며, 자막에 없는 단어 몇 개를 덧붙이곤 합니다. 그래서 모든 대사는 Zyphra의 정렬 검사인 LACI 아래에서 실행됩니다. LACI는 텍스트의 어느 부분을 말하고 있는지 따라가면서, 건너뛰거나 막힌 부분은 다시 하고, 텍스트를 다 읽으면 대사를 멈춥니다. 그다음 애드온이 그 지점 뒤의 첫 무음에서 대사를 자릅니다. 이렇게 자르는 것은 Zyphra가 아니라 애드온 자체의 규칙입니다. 짧은 자막 대사로 한 저희 테스트에서, 이 방식으로는 64개 중 61개가 깔끔하게 나왔고, 이 방식 없이는 64개 중 37개였습니다. 소리 없이 나온 대사는 다시 만듭니다.

옵션

설정 › 애드온 › ZONOS3-Mini (offline, voice clone, 43 languages) › 구성에서 설정할 수 있습니다.

CPU threads
기본값: 0

0이면 컴퓨터의 논리 프로세서를 최대 8개까지 사용합니다. 늘린다고 빨라지는 경우는 드뭅니다. 줄이면 더빙하는 동안 컴퓨터가 더 잘 반응합니다.

Fallback reference clip
기본값: 비어 있음

Subtitld가 영상에서 클립을 잘라낼 수 없을 때(예: 영상이 열려 있지 않을 때) 복제 목소리에 쓸 클립입니다. 한 사람이 말하는 깨끗한 5~20초 분량이면 됩니다. 전화 녹음은 피하세요.

언어

아랍어, 벵골어, 불가리아어, 중국어(표준 중국어), 체코어, 덴마크어, 네덜란드어, 영어, 핀란드어, 프랑스어, 조지아어, 독일어, 그리스어, 구자라트어, 히브리어, 힌디어, 헝가리어, 인도네시아어, 이탈리아어, 일본어, 칸나다어, 한국어, 말레이어, 말라얄람어, 마라티어, 노르웨이어, 오디아어, 폴란드어, 포르투갈어, 펀자브어, 루마니아어, 러시아어, 슬로바키아어, 스페인어, 스웨덴어, 타갈로그어, 타밀어, 텔루구어, 태국어, 튀르키예어, 우크라이나어, 우르두어, 베트남어. 다른 언어로 된 프로젝트에서는 그렇다고 알리는 메시지가 나옵니다. 그런 프로젝트에는 다른 더빙 엔진을 고르세요.

영어는 프로젝트의 지역을 따릅니다. 영국, 아일랜드, 오스트레일리아, 뉴질랜드, 남아프리카 공화국, 인도면 영국 영어, 다른 지역이면 미국 영어로 읽습니다. 포르투갈어는 브라질 포르투갈어로, 프랑스어는 프랑스의 프랑스어로 읽습니다.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

플랫폼

시스템 다운로드테스트 완료
Linux x86-64 19.0 MBAlmaLinux 8에서 릴리스 아카이브의 실제 모델로, 그리고 CI에서 더빙
macOS (Apple 실리콘) 24.0 MBCI에서 실제 모델로 더빙(Apple Silicon)
Windows x86-64 18.5 MBCI에서 실제 모델로 더빙

Linux x86-64, Apple Silicon의 macOS, Windows x86-64. 각 릴리스는 세 플랫폼 모두에서 빌드되며, 플랫폼마다 CI가 Subtitld와 같은 방식으로 애드온을 설치하고 모델을 내려받아 6개 언어의 대사, 짧은 대사 하나, 복제한 목소리를 더빙합니다.

문제 해결

  • network_unavailable모델을 내려받지 못했습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 이어서 진행됩니다.
  • disk_full모델을 위한 디스크 공간이 부족합니다. 1,115 MB에, 화자 본인의 목소리를 위해 45 MB가 더 필요합니다.
  • unsupported_language프로젝트의 언어가 43개 언어 중 하나가 아니거나, 설정되어 있지 않습니다. 프로젝트에서 언어를 설정하거나 다른 더빙 엔진을 고르세요.
  • unsupported_voice프로젝트가 이 버전에 없는 목소리를 지정하고 있습니다. 화자 탭에서 목소리를 다시 고르세요.
  • bad_params대사에 텍스트가 없거나, 복제 목소리에 샘플이 없습니다. 영상을 열거나 Fallback reference clip을 설정하세요. 메시지에 어느 쪽인지 나옵니다.
  • out_of_memory컴퓨터의 메모리가 부족해졌습니다. 다른 프로그램을 닫으세요. ZONOS3-Mini는 약 2 GB의 여유 메모리가 필요합니다.
  • internal애드온 내부에서 문제가 생겼습니다. 자세한 내용은 메시지에 나옵니다. AVX2가 없는 오래된 프로세서라면 메시지에 그렇다고 나옵니다.

라이선스

애드온
Apache-2.0
엔진
MIT
Zyphra의 ZONOS3-Mini 런타임, ggml 포함
모델
Apache-2.0
ZONOS3-Mini 가중치, Zyphra 제작
목소리
Apache-2.0
Zyphra의 기본 목소리
텍스트 읽기
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm. 문법은 NVIDIA의 NeMo-text-processing에서 옮겨 왔고, 데이터는 Unicode CLDR에서 가져옴

애드온은 Apache-2.0입니다. ZONOS3-Mini의 가중치와 기본 목소리는 Apache-2.0이고 Zyphra의 런타임은 MIT이므로, 상업적 작업도 허용됩니다. 텍스트 읽기를 맡는 zyphra-textnorm은 MIT이며, 문법은 NVIDIA의 NeMo-text-processing(Apache-2.0)에서 옮겨 왔고 데이터는 Unicode CLDR에서 가져왔습니다.

만든 더빙은 여러분의 것입니다. 복제한 목소리는 실제 사람처럼 들립니다. 사용할 권리가 있는 목소리만 복제하고, 중요한 경우에는 더빙이 합성 음성이라고 밝히세요.

버전

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

다른 음성 애드온

업데이트됨 · 애드온 카탈로그 기준 이 애드온의 문제 신고