영상에서 몇 초 분량을 가져와 화자 각자의 목소리를 복제하고, 자막을 16개 언어로 말합니다. 여러분의 컴퓨터에서 실행됩니다. 이 모델은 비상업적 용도로만 무료입니다.

기능

영상에서 복제

Custom voice를 고르면 Subtitld가 영상에서 그 화자의 몇 초 분량을 잘라 모델에 줍니다. 6초 이상일 때 가장 잘 작동합니다.

기본 목소리 두 가지

XTTS female 1과 XTTS male 1은 복제하지 않는 화자를 위한 것입니다.

16개 언어

프로젝트의 언어로 말하며, 프로젝트에 언어가 없으면 영어로 말합니다.

한 번만 로드

첫 대사는 모델이 로드되는 것을 기다리고, 처음에는 내려받는 것도 기다립니다. 나머지는 모델을 재사용합니다. CPU에서는 긴 문장 하나에 30초가 걸릴 수 있습니다.

비상업적 모델. XTTS-v2 가중치는 Coqui Public Model License(CPML)에 따르며, 비상업적 사용은 무료이고 그 밖의 용도에는 Coqui의 유료 라이선스가 필요합니다. 애드온은 모델을 불러올 때 Coqui의 약관에 동의하는 창을 대신 처리하므로 여러분이 그것을 보지 않을 수 있지만, 약관은 그대로 적용됩니다.

목소리

Speakers 탭에서 화자의 Dubbing engine으로 Coqui XTTS를 고른 뒤 Voice를 고르세요. Custom voice는 목록 맨 위에 있습니다. 각 대사는 모델이 만든 길이 그대로 나옵니다. 화자의 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 Fit dub to subtitle duration을 켜세요.

음성 3개 언어 1개.

en 2

복제용 샘플

화자의 목소리가 Custom voice이면, Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 잘라냅니다.

3초에서 12초 사이인 가장 긴 자막.
맞는 것이 없으면, 더 긴 자막의 처음 12초.
모두 3초보다 짧으면, 연달아 있는 여러 자막을 3초가 될 때까지 이어 붙입니다.

XTTS는 6초 이상일 때 가장 잘 작동하므로, 화자마다 최소 한 개의 대사를 6초에서 12초 사이로 주세요. 이 영상의 음악과 목소리를 분리해 두었다면, 샘플은 목소리만으로 만들어집니다. 애드온 설정의 Default voice reference는 샘플을 잘라낼 수 없을 때만 사용됩니다. 예를 들어 영상이 열려 있지 않을 때입니다.

Subtitld는 화자의 샘플을 보관하고, 오디오 파일이 바뀔 때만 다시 자릅니다. 화자의 대사 시간을 다시 맞춘 뒤에는 샘플을 삭제해 새로 만드세요. 샘플의 이름은 화자의 이름으로 끝납니다.

시스템	폴더
Linux	`~/.cache/subtitld/clone-refs`
macOS	`~/Library/Caches/subtitld/clone-refs`
Windows	`%LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs`

모델

모델은 하나이며, 대사를 처음 생성할 때 내려받습니다. 옆에 있는 작은 파일 두 개는 설정과 어휘 정보입니다. 애드온은 모델을 다섯 분 동안 사용하지 않을 때까지 로드된 상태로 둡니다.

모델	다운로드
xtts_v2	1.9 GB
xtts_v2_config	1 MB
xtts_v2_vocab	1 MB

옵션

애드온은 시작할 때 이 설정을 읽으므로, 변경 사항은 5분 동안 사용하지 않았을 때나 Subtitld를 다시 시작한 뒤에 적용됩니다.

설정 › 애드온 › Coqui XTTS-v2 (offline + voice clone) › 구성에서 설정할 수 있습니다.

Inference device

기본값: cpu

CPU로 두세요. 배포되는 빌드는 PyTorch의 CPU 패키지로 만들어지므로 CUDA는 작동하지 않으며, MPS는 베타로 표시되어 있습니다.

Default voice reference (6+ seconds, mono WAV recommended)

기본값: 비어 있음

Subtitld가 영상에서 화자의 샘플을 가져올 수 없을 때(예: 영상이 열려 있지 않을 때) 따라 할 클립입니다. 영상의 샘플이 항상 먼저 쓰입니다. 이것이 설정되어 있으면 두 기본 목소리도 이 클립을 따라 합니다.

언어

애드온은 프로젝트의 언어를 지역 없이 모델에 전달합니다. 언어가 설정되어 있지 않으면 영어로 말합니다.

en
es
fr
de
it
pt
pl
tr
ru
nl
cs
ar
zh-cn
ja
hu
ko

플랫폼

시스템	다운로드	테스트 완료
Linux x86-64	442.7 MB	CI에서 빌드 및 시작
macOS (유니버설)	323.1 MB	CI에서 빌드 및 시작
Windows x86-64	302.2 MB	CI에서 빌드 및 시작

각 릴리스는 Linux, macOS, Windows에서 빌드되며, CI는 프로그램이 시작되고 목소리 목록을 보여 주는지 확인합니다. CI는 음성을 생성하지 않습니다.

문제 해결

bad_params자막에 텍스트가 없거나, 복제에 쓸 샘플이 없습니다. Subtitld가 샘플을 잘라내지 못했고(영상이 열려 있지 않거나 그 화자의 자막이 없음) 기본 클립도 설정되어 있지 않습니다. 자막에 텍스트를 넣거나, 영상을 열거나, Default voice reference를 설정하세요.
internal모델이 로드되지 않았거나 대사를 말하지 못했습니다. 메시지에 어느 쪽인지 나옵니다. 첫 사용 때 다운로드가 실패해도 여기에 해당합니다. 연결과 디스크 공간을 확인하고 다시 시도하세요. 또한 프로젝트의 언어가 위에 나열된 언어 중 하나인지 확인하세요.

라이선스

애드온

MIT

엔진

MPL-2.0

coqui-ai-TTS (idiap 포크)

모델

CPML

XTTS-v2 가중치; Coqui 라이선스 없이는 비상업적 용도

Coqui에서 XTTS-v2 가중치에 대한 상업 라이선스를 받지 않았다면 상업적 작업에 사용할 수 없습니다. 애드온 자체 코드는 MIT입니다.

Coqui XTTS (offline + voice clone)

기능

목소리

복제용 샘플

모델

옵션

언어

플랫폼

문제 해결

라이선스

버전

다른 음성 애드온