Audio8 TTS (offline, voice clone, 11 languages)

기능

설치하기 전에

Audio8 TTS는 가벼운 더빙 엔진보다 컴퓨터에 더 많은 것을 요구합니다.

• 디스크: 모델에 약 1 GB. 첫 대사를 더빙할 때 내려받습니다.
• 메모리: 말하는 동안 약 1.6 GB, 새 화자를 처음 들을 때는 잠깐 최대 3 GB.
• 시간: 음성 1초를 만드는 데 2~3초가 걸립니다(Intel Core i7-13700T 기준). 10분짜리 영상은 30분쯤 걸릴 수 있습니다.
• 프로세서: 64비트 Intel 또는 AMD 프로세서라면 무엇이든, 또는 Apple Silicon. 그래픽 카드는 쓰지 않습니다.

빠르게 더빙하려면 Sopro나 Chatterbox가 지원 언어는 더 적지만 실시간 정도나 그보다 빠르게 목소리를 복제합니다.

목소리

화자 탭에서 화자의 더빙 엔진으로 Audio8 TTS를 고른 뒤 음성을 고르세요. 화자의 각 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 더빙을 자막 길이에 맞추기를 켜세요.

음성 1개.

Audio8 TTS의 목소리는 Speaker's own voice 하나뿐이고, 미리 준비된 목소리는 없습니다. 모든 대사가 화자를 복제합니다. Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 잘라냅니다. 3초에서 12초 사이인 자막 하나에서, 또는 짧은 자막 여러 개를 이어 붙여 만듭니다. 이 영상의 음악과 목소리를 분리해 두었다면, 샘플은 목소리만으로 만들어집니다. 애드온 설정의 Fallback reference clip은 샘플을 잘라낼 수 없을 때만 사용됩니다.

Subtitld는 샘플과 함께 자막 텍스트를 보내고, Audio8 TTS는 그 텍스트로 화자에 더 가까워집니다. 텍스트가 없으면(예: 프로젝트의 원래 언어가 설정되지 않았을 때) 애드온은 샘플의 소리만으로 복제하며, 조금 덜 비슷해집니다. 자막이 말한 내용을 그대로 받아 적지 않고 바꿔 썼다면 Don't send the subtitles of the reference clip을 켜세요.

각 화자의 첫 대사는 애드온이 그 화자의 샘플을 듣는 동안 몇 초 더 걸립니다. 애드온이 이를 기억하므로, 그 화자의 다음 대사는 바로 시작됩니다.

모델

모델은 Audio8 TTS Preview 0.6B 하나로, 제작진이 프로세서용으로 공개한 4비트 ONNX 빌드입니다. 애드온 안에 들어 있지 않고, 처음 더빙할 때 Hugging Face에서 고정된 리비전으로 Subtitld의 공유 모델 캐시에 내려받으며, 파일마다 확인합니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.

애드온은 이 빌드를 PyTorch 없이 실행합니다. 목소리, 대사, 시드가 같으면 Audio8 자체 런타임과 정확히 같은 결과를 냅니다.

옵션

설정 › 애드온 › Audio8 TTS (offline, voice clone, 11 languages) › 구성에서 설정할 수 있습니다.

언어

중국어, 광둥어, 일본어, 한국어, 영어, 네덜란드어, 프랑스어, 독일어, 이탈리아어, 폴란드어, 스페인어. 이 중 한 언어로 된 클립에서 복제한 화자는 나머지 언어도 모두 말합니다. 다른 언어로 된 프로젝트에서는 그렇다고 알리는 메시지가 나옵니다. 그런 프로젝트에는 다른 더빙 엔진을 고르세요.

Audio8에서는 이 모델을 프리뷰라고 부르며, 이 언어들이 권장 언어입니다. 각 언어에서 한 문장씩 Whisper와 목소리 유사도 점수로 확인했으며, 모든 언어를 귀로 들어 확인하지는 않았습니다.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

플랫폼

Linux x86-64, Apple Silicon의 macOS, Windows x86-64. 각 릴리스는 세 플랫폼 모두에서 빌드되며, 플랫폼마다 CI가 Subtitld와 같은 방식으로 애드온을 설치하고 모델을 내려받아 그 모델로 더빙합니다.

문제 해결

• network_unavailable모델을 내려받지 못했습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 이어서 진행됩니다.
• disk_full모델을 위한 디스크 공간(약 1 GB)이 부족합니다.
• unsupported_language프로젝트의 언어가 11개 언어 중 하나가 아니거나, 설정되어 있지 않습니다. 프로젝트에서 언어를 설정하거나 다른 더빙 엔진을 고르세요.
• unsupported_voice프로젝트가 이 버전에 없는 목소리를 지정하고 있습니다. 화자 탭에서 목소리를 다시 고르세요.
• bad_params대사에 텍스트가 없거나, 복제 목소리에 샘플이 없습니다. 영상을 열거나 Fallback reference clip을 설정하세요. 메시지에 어느 쪽인지 나옵니다.
• out_of_memory컴퓨터의 메모리가 부족해졌습니다. 다른 프로그램을 닫으세요. Audio8 TTS는 약 3 GB의 여유 메모리가 필요합니다.
• internal애드온 내부에서 문제가 생겼습니다. 자세한 내용은 메시지에 나옵니다.

라이선스

상업적 작업에 문제 없습니다. 애드온은 Apache-2.0이고, Audio8 TTS의 코드와 Audio8 TTS Preview 0.6B 가중치도 Apache-2.0입니다. 만든 더빙은 여러분의 것입니다. 복제한 목소리는 실제 사람처럼 들립니다. 사용할 권리가 있는 목소리만 복제하고, 중요한 경우에는 더빙이 합성 음성임을 밝히세요.