Ming-3.0-tts (offline, voice clone, 7 languages)

기능

설치하기 전에

Ming-3.0-tts는 오디오 코덱을 포함해 매개변수 약 15억 개의 큰 모델입니다. 컴퓨터에 많은 것을 요구합니다.

• 디스크: 약 3.4 GB. 대부분은 2.99 GB 모델이며, 첫 대사를 더빙할 때 내려받습니다.
• 메모리: 여유 공간 약 5 GB. 그보다 적어도 실행되지만 훨씬 느립니다.
• 시간: CPU에서는 음성 1초를 만드는 데 약 4~5초가 걸립니다(Intel Core i7-13700T 기준). 10분짜리 영상은 45분쯤 걸릴 수 있습니다.

평범한 컴퓨터에서 빠르게 더빙하려면 Piper나 Kokoro가 훨씬 가볍습니다.

목소리

화자 탭에서 화자의 더빙 엔진으로 Ming-3.0-tts를 고른 뒤 음성을 고르세요. 화자의 각 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 더빙을 자막 길이에 맞추기를 켜세요.

음성 12개.

복제한 목소리

Speaker's own voice를 고르면, Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 잘라냅니다. 3초에서 12초 사이인 자막 하나에서, 또는 짧은 자막 여러 개를 이어 붙여 만듭니다. 이 영상의 음악과 목소리를 분리해 두었다면, 샘플은 목소리만으로 만들어집니다. 애드온 설정의 Fallback reference clip은 샘플을 잘라낼 수 없을 때만 사용됩니다.

Subtitld는 샘플과 함께 자막 텍스트를 보내고, Ming-3.0-tts는 그 샘플에 이어서 말합니다. 이렇게 하면 말투까지 화자에 가장 가까워집니다. 다른 언어로 더빙할 때 화자의 억양이 남는다면 Clone the timbre only를 켜세요.

내장 목소리

Emma(미국), George와 Charlotte(영국), Ling Xiaorou(灵小柔)와 Ling Kai(灵楷)(중국)는 모델이 학습한 화자입니다. 각 목소리는 모든 대사에서 똑같이 들리고, 7개 언어를 모두 말합니다.

설명한 목소리

Ming-3.0-tts는 설명을 읽을 때마다 새 목소리를 만들어 냅니다. 그래서 애드온은 각 화자의 목소리를 한 번만 만들고, 그 화자의 모든 대사에서 다시 씁니다. 목소리는 영상 내내 같게 유지되고, 같은 설명을 받은 두 화자도 서로 다른 두 사람처럼 들립니다.

감정, 속도, 음높이, 음량

이것들은 애드온의 설정이므로, 복제한 목소리나 설명한 목소리로 더빙하는 모든 화자에 적용됩니다. 모델 자체의 조절 기능으로, 화자 목소리의 소리는 가져오지만 말투는 가져오지 않으며, 한 번에 하나씩만 작동합니다. 감정을 설정하면 속도, 음높이, 음량보다 우선합니다. 내장 목소리는 이 설정들을 무시합니다.

중국어나 영어 대사에서는 텍스트에 적어 넣은 소리도 모델이 냅니다: [Laughter], [Sigh], [Breathing], [Cough], [Uhm] 등.

모델

모델은 Ming-3.0-tts-0.5B 하나입니다. 애드온 안에 들어 있지 않고, 처음 더빙할 때 Hugging Face에서 고정된 리비전으로 Subtitld의 공유 모델 캐시에 내려받으며, 파일마다 확인합니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.

첫 대사에서는 모델도 불러오기 때문에 그다음 대사보다 오래 걸립니다. 취소하면 두 단계 사이에서 대사를 멈추거나, 다운로드를 멈춥니다.

옵션

설정 › 애드온 › Ming-3.0-tts (offline, voice clone, 7 languages) › 구성에서 설정할 수 있습니다.

언어

중국어, 영어, 일본어, 한국어, 독일어, 프랑스어, 스페인어. 모든 목소리가 이 언어를 모두 말합니다.

• zh
• en
• ja
• ko
• de
• fr
• es

플랫폼

Linux x86-64, Apple Silicon의 macOS, Windows x86-64. 각 릴리스는 세 플랫폼 모두에서 빌드되며, CI는 말하는 데 필요한 모든 것이 빌드에 들어 있는지 확인합니다. CI는 모델 자체를 실행하지 않습니다.

문제 해결

• network_unavailable모델을 내려받지 못했습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 이어서 진행됩니다.
• disk_full모델을 위한 디스크 공간이 부족합니다. 약 3.4 GB의 여유 공간이 필요합니다.
• oom메모리가 부족합니다. 다른 프로그램을 닫으세요. Ming-3.0-tts는 약 5 GB의 여유 메모리가 필요합니다.
• bad_params대사에 텍스트가 없거나, 복제 목소리에 샘플이 없거나, Voice you describe에 설명이 없습니다. 메시지에 어느 쪽인지 나옵니다. 영상을 열거나, Fallback reference clip을 설정하거나, Voice description을 쓰세요.
• unsupported_voice프로젝트가 이 버전에 없는 목소리를 지정하고 있습니다. 화자 탭에서 목소리를 다시 고르세요.
• internal애드온 내부에서 문제가 생겼습니다. 자세한 내용은 메시지에 나옵니다. Inference device를 바꿨다면 자동으로 되돌리세요.

라이선스

상업적 작업에 문제 없습니다. 애드온은 Apache-2.0이고, Ming-3.0-tts의 코드와 Ming-3.0-tts-0.5B 가중치는 MIT입니다. 만든 더빙은 여러분의 것입니다. 복제한 목소리는 실제 사람처럼 들립니다. 사용할 권리가 있는 목소리만 복제하고, 중요한 경우에는 더빙이 합성 음성임을 밝히세요.