Reverb 오프라인, 음성 복제, 7개 언어, 비상업적

음성오프라인CPU 전용음성 복제비상업용

Software Mansion AI Labs가 만든 Reverb-TTS로 자막을 영어, 독일어, 프랑스어, 스페인어, 이탈리아어, 폴란드어, 포르투갈어로 더빙합니다. 목소리 16가지 중 하나나, 영상의 몇 초와 그 자막에서 복제한 화자 각자의 목소리를 씁니다. 그래픽 카드 없이 여러분의 컴퓨터 프로세서에서 실행됩니다. 모델은 비상업적 용도로만 사용할 수 있습니다.

Subtitld에서 설치하세요

설정 애드온 Reverb (offline, voice clone, 7 languages, non-commercial) 설치

Subtitld가 내려받고, SHA-256을 확인하고, 최신 상태로 유지합니다.

GitHub의 소스
언어
7
모델
3
음성
17
애드온 다운로드
40–65 MB
최소 RAM
2.5 GB

기능

7개 언어

영어, 독일어, 프랑스어, 스페인어, 이탈리아어, 폴란드어, 포르투갈어. 숫자, 날짜, 가격, 단위는 언어마다 그 언어의 방식대로 말로 풀어 읽습니다.

화자 본인의 목소리

Subtitld가 영상에서 각 화자의 몇 초를 잘라, 그 안에서 말한 자막과 함께 보냅니다. Reverb는 그 목소리를 7개 언어 중 어느 언어로든 복제합니다. 목소리 16가지 중 하나를 고를 수도 있습니다.

Exact 또는 Fast

Exact는 공개된 그대로 모델을 실행합니다. Fast는 약 2배 빠르고 내려받을 용량도 작지만, 정확도가 조금 떨어집니다.

첫 대사 이후로는 오프라인

모델은 대사에 처음 필요할 때 한 번만 내려받습니다. 그 뒤로는 아무것도 컴퓨터 밖으로 나가지 않습니다.

비상업적 모델. Reverb-TTS 가중치와 기본 목소리는 CC-BY-NC-4.0에 따르며, 이는 상업적 사용을 허용하지 않습니다. 애드온의 코드는 Apache-2.0이지만, 그것이 가중치의 약관을 바꾸지는 않습니다. 상업적 작업에는 ZONOS3-Mini도 이 7개 언어 모두에서 목소리를 복제할 수 있으며, 그 가중치는 Apache-2.0입니다.

설치하기 전에

  • 디스크: 모델에 640 MB. 첫 대사에서 내려받습니다. 첫 대사 전에 Fast를 고르면 대신 378 MB입니다. 화자 본인의 목소리를 처음 쓸 때 327 MB가 더 필요합니다.
  • 메모리: 말하는 동안 약 1.5 GB.
  • 시간: 다른 작업으로 바쁜 Intel Core i7-13700T에서 음성 1초를 만드는 데 Exact 속도로 약 0.8초, Fast로 약 0.6초가 걸렸습니다.
  • 프로세서: 64비트 Intel 또는 AMD 프로세서, 또는 Apple Silicon. 그래픽 카드는 쓰지 않습니다.

목소리

화자 탭에서 화자의 더빙 엔진으로 Reverb를 고른 뒤 음성을 고르세요. 화자의 각 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 더빙을 자막 길이에 맞추기를 켜세요.

음성 17개.

녹음 언어 여성 남성
영어 내레이터, 속삭임 내레이터 1, 내레이터 2, 화난 목소리
프랑스어 프랑스 여성 프랑스 남성
독일어 독일 여성 독일 남성
이탈리아어 이탈리아 남성, 표현력 있는 이탈리아 남성
폴란드어 폴란드 남성
포르투갈어 포르투갈 여성 포르투갈 남성
스페인어 스페인 남성 1, 스페인 남성 2

이 목소리들은 Reverb 자체의 기본 목소리입니다. 모든 목소리가 모든 언어를 말하지만, 녹음된 언어의 억양이 남아 있습니다. 여기에 자기 목소리가 없는 언어나 여성 목소리가 없는 언어라면 화자 본인의 목소리를 쓰세요.

Speaker's own voice를 고르면, Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 잘라냅니다. 그 화자의 자막 하나에서, 또는 짧은 자막 여러 개를 이어 붙여 만들고, 그 안에서 말한 내용, 즉 그 자막들의 텍스트를 함께 보냅니다. Reverb에는 둘 다 필요합니다. Reverb는 샘플과 그 말에 이어서 말하기 때문에, 말이 없으면 대사마다 첫 몇 단어를 빠뜨립니다.

그래서 자막은 영상에서 말하는 언어여야 합니다. 자막을 번역했다면, 오디오가 어떤 언어인지 Subtitld가 알고 있는 한 원래 텍스트를 보냅니다. 전사 패널의 자막 언어에서 설정하세요. 그렇지 않으면 그 대사는 그렇다고 알리는 메시지와 함께 멈춥니다. 말한 내용을 받아 적지 않고 바꿔 표현한 자막은 복제 품질을 떨어뜨립니다.

가장 좋은 샘플은 한 사람이 말하는 3~10초 분량으로, 깨끗하고 마이크 가까이에서 녹음한 것입니다. 2초보다 짧은 샘플은 받아들이지 않으며, 15초보다 긴 샘플은 대사 품질이 나빠지기 쉽습니다. 애드온 설정의 Fallback reference clip과 그 Fallback clip's transcript는 샘플을 잘라낼 수 없을 때만 사용됩니다.

대사마다 Subtitld가 보내는 시드로 만들기 때문에, 같은 목소리의 같은 대사는 매번 똑같이 나옵니다.

모델

모델은 애드온 안에 들어 있지 않고, 대사에 처음 필요할 때 애드온 자체의 GitHub 릴리스에서 Subtitld의 공유 모델 캐시로 내려받으며, 파일마다 확인합니다. 그 릴리스에는 ONNX Runtime용으로 변환한 Reverb 가중치가 들어 있습니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.

모델 다운로드적합한 용도
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices 기본값 reverb
640 MB
기본값인 Exact 속도의 모든 대사: 네트워크, 디코더, 목소리 16가지
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Fast 속도의 모든 대사, Exact 네트워크 대신 사용: 디코더와 합쳐 모두 378 MB
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
화자 본인의 목소리, 그 목소리로 처음 더빙할 때

Exact와 Fast는 디코더와 목소리(111 MB)를 함께 쓰고, 네트워크만 다릅니다. Exact는 529 MB, Fast는 266 MB입니다. 나중에 한쪽에서 다른 쪽으로 바꾸면, 대사에 처음 필요할 때 다른 쪽 네트워크를 내려받습니다.

애드온은 PyTorch 없이 ONNX Runtime에서 Reverb를 실행합니다. Reverb의 샘플러와 텍스트 준비 과정은 Software Mansion 자체 코드에서 옮겨 왔습니다. 난수를 다른 곳에서 얻기 때문에, 같은 시드라도 Reverb 자체 패키지와는 다른 결과가 나옵니다. Exact 네트워크는 그 패키지와 같은 예측을 하는지 확인되어 있습니다.

옵션

설정 › 애드온 › Reverb (offline, voice clone, 7 languages, non-commercial) › 구성에서 설정할 수 있습니다.

CPU threads
기본값: 0

0이면 컴퓨터의 논리 프로세서를 최대 8개까지 사용합니다. 늘린다고 빨라지는 경우는 드뭅니다. 줄이면 더빙하는 동안 컴퓨터가 더 잘 반응합니다.

Quality steps
기본값: 8

모델이 대사마다 거치는 패스 수입니다. 8은 Reverb 자체의 설정입니다. 줄이면 빨라지지만 실수가 늘어납니다.

Speed
기본값: exact

Exact는 Software Mansion이 공개한 그대로 모델을 실행합니다. Fast는 8비트 정수로 실행해 약 2배 빠르고, 266 MB를 따로 내려받습니다. 대사는 대개 똑같이 들리지만, 공개된 모델에서 더 많이 벗어나고 실수도 더 잦습니다.

Fallback reference clip
기본값: 비어 있음

Subtitld가 영상에서 클립을 잘라낼 수 없을 때(예: 영상이 열려 있지 않을 때) 복제 목소리에 쓸 클립입니다. 한 사람이 말하는 깨끗한 3~10초 분량이면 됩니다.

Fallback clip's transcript
기본값: 비어 있음

대체 클립에서 말하는 내용을 한 단어도 빠짐없이 그대로 적은 것입니다. Reverb는 클립과 그 말로 복제하므로, 이것이 없으면 대체 클립을 받아들이지 않습니다.

언어

영어, 독일어, 프랑스어, 스페인어, 이탈리아어, 폴란드어, 포르투갈어. 다른 언어로 된 프로젝트에서는 그렇다고 알리는 메시지가 나옵니다. 그런 프로젝트에는 다른 더빙 엔진을 고르세요.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

플랫폼

시스템 다운로드테스트 완료
Linux x86-64 64.9 MBCI에서 실제 모델로 7개 언어를 모두 말하고 목소리를 복제
macOS (Apple 실리콘) 45.6 MBCI에서 실제 모델로 7개 언어를 모두 말하고 목소리를 복제(Apple Silicon)
Windows x86-64 40.5 MBCI에서 실제 모델로 7개 언어를 모두 말하고 목소리를 복제

Linux x86-64(glibc 2.35 이상, 예: Ubuntu 22.04, Debian 12, Fedora 36), Apple Silicon의 macOS, Windows x86-64. 각 릴리스는 세 플랫폼 모두에서 빌드되며, 플랫폼마다 CI가 Subtitld와 같은 방식으로 애드온을 설치하고 모델을 내려받아, 언어마다 대사 하나씩을 말하고 목소리를 복제합니다.

문제 해결

  • network_unavailable모델을 내려받지 못했습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 이어서 진행됩니다.
  • disk_full모델을 위한 디스크 공간이 부족합니다. 640 MB(Fast는 378 MB)에, 화자 본인의 목소리를 위해 327 MB가 더 필요합니다.
  • unsupported_language프로젝트의 언어가 7개 언어 중 하나가 아니거나, 설정되어 있지 않습니다. 프로젝트에서 언어를 설정하거나 다른 더빙 엔진을 고르세요.
  • unsupported_voice프로젝트가 이 버전에 없는 목소리를 지정하고 있습니다. 화자 탭에서 목소리를 다시 고르세요.
  • bad_params대사에 텍스트가 없거나, 복제 목소리에 샘플이나 그 전사문이 없습니다. 번역한 프로젝트라면 자막 언어를 말하는 언어로 설정하세요. 영상이 열려 있지 않다면 Fallback reference clip과 그 전사문을 설정하세요. 메시지에 어느 쪽인지 나옵니다.
  • out_of_memory컴퓨터의 메모리가 부족해졌습니다. 다른 프로그램을 닫으세요. Reverb는 약 1.5 GB의 여유 메모리가 필요합니다.
  • internal애드온 내부에서 문제가 생겼습니다. 자세한 내용은 메시지에 나옵니다.

라이선스

애드온
Apache-2.0
numpy로 옮긴 Reverb 자체 코드 포함
엔진
MIT
ONNX Runtime
모델
CC-BY-NC-4.0
Reverb-TTS v1.0.0 가중치, Software Mansion AI Labs 제작; 비상업적 용도만
목소리
CC-BY-NC-4.0
Reverb의 기본 목소리 16가지; 비상업적 용도만
텍스트 읽기
MIT, Unicode-3.0
Software Mansion의 Verbalis, Unicode Character Database의 표 사용

애드온은 Apache-2.0이며, 애드온이 옮겨 온 Reverb의 코드도 마찬가지입니다. Reverb-TTS 가중치와 기본 목소리 16가지는 CC-BY-NC-4.0으로, 비상업적 용도로만 사용할 수 있습니다. 모델과 함께 오는 라이선스 파일에 변환하면서 무엇을 바꾸었는지 적혀 있습니다. ONNX Runtime은 MIT이고, 숫자와 날짜를 읽는 Verbalis도 MIT입니다.

책임감 있게 사용하세요. 복제한 목소리는 실제 사람처럼 들립니다. 사용할 권리가 있고 화자의 동의를 받은 목소리만 복제하세요. 실제 사람을 사칭하지 말고, 만든 음성을 속이거나 사기를 치거나 괴롭히는 데 쓰지 마세요. 듣는 사람에게 합성 음성이라는 것을 알리세요.

버전

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

다른 음성 애드온

업데이트됨 · 애드온 카탈로그 기준 이 애드온의 문제 신고