F5-TTS (offline + voice clone)

기능

목소리

Speakers 탭에서 화자의 Dubbing engine으로 F5-TTS를 고르세요. 이 엔진의 유일한 Voice는 Custom voice입니다. 각 대사는 모델이 만든 길이 그대로 나옵니다. 화자의 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 Fit dub to subtitle duration을 켜세요.

음성 1개.

복제용 샘플

화자마다 Subtitld가 프로젝트의 오디오에서 샘플을 잘라냅니다.

• 3초에서 12초 사이인 가장 긴 자막.
• 맞는 것이 없으면, 더 긴 자막의 처음 12초.
• 모두 3초보다 짧으면, 연달아 있는 여러 자막을 3초가 될 때까지 이어 붙입니다.

F5-TTS는 6초에서 15초일 때 가장 잘 작동하므로, 화자마다 최소 한 개의 대사를 6초에서 12초 사이로 주세요. 이 영상의 음악과 목소리를 분리해 두었다면, 샘플은 목소리만으로 만들어집니다. 애드온 설정의 Default voice reference는 샘플을 잘라낼 수 없을 때만 사용됩니다. 예를 들어 영상이 열려 있지 않을 때입니다.

Subtitld는 화자의 샘플을 보관하고, 오디오 파일이 바뀔 때만 다시 자릅니다. 화자의 대사 시간을 다시 맞춘 뒤에는 샘플을 삭제해 새로 만드세요. 샘플의 이름은 화자의 이름으로 끝납니다.

모델

둘 다 대사를 처음 생성할 때 내려받습니다. F5-TTS 모델과, 그 출력을 소리로 바꾸는 Vocos 보코더입니다. F5-TTS가 샘플을 처음 전사해야 할 때는 Whisper도 추가로 내려받습니다.

옵션

애드온은 시작할 때 이 설정을 읽으므로, 변경 사항은 5분 동안 사용하지 않았을 때나 Subtitld를 다시 시작한 뒤에 적용됩니다. Skip auto-extracted reference transcript만 예외이며, Subtitld는 이를 모든 대사에서 읽습니다.

설정 › 애드온 › F5-TTS (offline + voice clone) › 구성에서 설정할 수 있습니다.

언어

F5-TTS는 언어를 받지 않으며, 각 대사를 적힌 그대로 읽습니다. 다른 언어의 모델도 있지만 이 애드온은 그것들을 로드하지 않습니다.

• en
• zh-cn

플랫폼

각 릴리스는 Linux, macOS, Windows에서 빌드되며, CI는 프로그램이 시작되고 목소리를 보여 주는지 확인합니다. CI는 음성을 생성하지 않습니다.

문제 해결

• bad_params작업할 것이 없습니다. 자막에 텍스트가 없거나, 복사할 샘플이 없습니다. Subtitld가 샘플을 잘라내지 못했고(영상이 열려 있지 않거나 그 화자의 자막이 없음) 기본 클립도 설정되어 있지 않거나, 기본 클립 파일이 옮겨졌습니다. 자막에 텍스트를 넣거나, 영상을 열거나, Default voice reference를 존재하는 파일로 설정하세요.
• internal모델이 로드되지 않았거나 대사를 말하지 못했습니다. 메시지에 어느 쪽인지 나옵니다. 첫 사용 때 다운로드가 실패해도 여기에 해당합니다. 연결과 디스크 공간을 확인하고 다시 시도하세요. 메시지에 ffmpeg가 언급되면, ffmpeg를 설치해 PATH에 있게 하세요. F5-TTS는 샘플을 읽기 위해 이것이 필요합니다.

라이선스

상업적 작업에는 사용할 수 없습니다. 가중치의 CC-BY-NC-4.0 라이선스가 이를 금지하며, 애드온의 코드가 MIT이더라도 마찬가지입니다.