BlueTTS 오프라인, 음성 복제, 히브리어 + 6개 언어

음성오프라인CPU 전용음성 복제상업적 사용 가능

Maxim Melichov가 만든 BlueV3로 자막을 히브리어, 영어, 독일어, 스페인어, 이탈리아어, 러시아어, 이디시어로 더빙합니다. 목소리 15가지 중 하나나, 영상의 약 10초에서 복제한 화자 각자의 목소리를 씁니다. 그래픽 카드 없이 여러분의 컴퓨터 프로세서에서 실행되고, 실시간보다 3~5배 빠릅니다.

Subtitld에서 설치하세요

설정 애드온 BlueTTS (offline, voice clone, Hebrew + 6 languages) 설치

Subtitld가 내려받고, SHA-256을 확인하고, 최신 상태로 유지합니다.

GitHub의 소스
언어
7
모델
5
음성
16
애드온 다운로드
37–62 MB
최소 RAM
2.5 GB

기능

히브리어와 이디시어

BlueTTS는 무엇보다 히브리어를 위해 만들어졌습니다. 모음 부호가 없는 히브리어 텍스트를 숫자, 날짜, 가격까지 읽고, 히브리어 대사 속의 영어 단어는 영어로 읽습니다. 이디시어도 말하는데, 이를 말하는 더빙 엔진은 드뭅니다.

화자 본인의 목소리

Subtitld가 영상에서 각 화자의 약 10초를 잘라 대사마다 함께 보냅니다. BlueTTS는 그 목소리를 7개 언어 어디서나 복제합니다. 목소리 15가지 중 하나를 고를 수도 있습니다.

어떤 컴퓨터에서도 빠르게

노트북 프로세서에서 실시간보다 3~5배 빠르게 말합니다. 그래픽 카드는 쓰지 않습니다.

첫 대사 이후로는 오프라인

각 구성 요소는 대사에 처음 필요할 때 한 번만 내려받습니다. 그 뒤로는 아무것도 컴퓨터 밖으로 나가지 않습니다.

설치하기 전에

BlueTTS에 필요한 것은 더빙하는 언어에 따라 다릅니다.

  • 디스크: 모델에 428 MB. 첫 대사에서 내려받습니다. 히브리어는 1.2 GB(작은 읽기 모델이면 312 MB), 이디시어는 307 MB, 화자 본인의 목소리는 136 MB가 더 필요하며, 각각 처음 쓸 때 내려받습니다.
  • 메모리: 말하는 동안 약 700 MB, 히브리어를 불러오면 약 2 GB.
  • 시간: Intel Core i7-13700T에서 음성 1초를 만드는 데 약 5분의 1초, 히브리어는 약 3분의 1초가 걸립니다. 첫 히브리어 대사는 읽기 모델을 불러오느라 약 15초를 더 기다립니다.
  • 프로세서: 64비트 Intel 또는 AMD 프로세서라면 무엇이든, 또는 Apple Silicon. 그래픽 카드는 쓰지 않습니다.

목소리

화자 탭에서 화자의 더빙 엔진으로 BlueTTS를 고른 뒤 음성을 고르세요. 화자의 각 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 더빙을 자막 길이에 맞추기를 켜세요.

음성 16개.

목소리
여성 Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
남성 Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

모든 목소리가 7개 언어를 전부 말하며, 언어마다 그 목소리 나름의 자연스러운 속도로 말합니다. 목소리들은 LibriTTS-R 오디오북 코퍼스의 낭독자들로 만들었습니다.

Speaker's own voice를 고르면, Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 잘라냅니다. 그 화자의 자막 하나에서, 또는 짧은 자막 여러 개를 이어 붙여 만듭니다. 이 영상의 음악과 목소리를 분리해 두었다면, 샘플은 목소리만으로 만들어집니다. 애드온 설정의 Fallback reference clip은 샘플을 잘라낼 수 없을 때만 사용됩니다.

BlueTTS는 샘플의 처음 9초 정도를 듣고, 목소리의 음색과 높낮이를 따라 합니다. 말투는 따라 하지 않습니다. 가장 좋은 샘플은 마이크 가까이에서 녹음한 깨끗한 말소리입니다. 잡음과 울림이 있으면 복제한 목소리가 화자와 덜 닮게 되고, 전화 녹음은 전화기 너머 같은 목소리가 됩니다.

모델

모델과 읽기 모델은 애드온 안에 들어 있지 않고, 각각 대사에 처음 필요할 때 Hugging Face에서 고정된 리비전으로 Subtitld의 공유 모델 캐시에 내려받으며, 파일마다 확인합니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.

모델 다운로드적합한 용도
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru 기본값 bluev3
428 MB
모든 대사: 목소리와, 영어, 독일어, 스페인어, 이탈리아어, 러시아어를 읽는 방식
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
화자 본인의 목소리, 그 목소리로 처음 더빙할 때
RenikudPlus Hebrew G2P renikudplus
1.2 GB
히브리어, 처음 더빙할 때(기본값)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
히브리어, 작은 읽기 모델을 고를 때
ReNikud-yi Yiddish context model renikud-yi
307 MB
이디시어, 처음 더빙할 때

애드온은 BlueTTS 자체의 코드를 PyTorch 없이 ONNX Runtime에서 실행합니다. 같은 목소리, 대사, 시드라면 BlueTTS 자체의 Python 패키지와 똑같은 결과를 냅니다.

옵션

설정 › 애드온 › BlueTTS (offline, voice clone, Hebrew + 6 languages) › 구성에서 설정할 수 있습니다.

CPU threads
기본값: 0

0이면 컴퓨터의 논리 프로세서를 최대 8개까지 사용합니다. 늘린다고 빨라지는 경우는 드뭅니다. 줄이면 더빙하는 동안 컴퓨터가 더 잘 반응합니다.

Quality steps
기본값: 8

모델이 대사마다 거치는 단계 수입니다. 8은 BlueTTS 자체의 설정입니다. 4는 약 1.7배 빠르고, 품질은 조금 낮습니다.

Hebrew reading model
기본값: accurate

히브리어 텍스트를 소리로 바꾸는 방식입니다. accurate는 전체 모델로, 1.2 GB이며 메모리를 약 2 GB 씁니다. compact는 같은 모델을 작게 만든 것으로 312 MB입니다. 저희 테스트에서는 약 200단어에 1단어를 다르게 읽었고, 그중 틀린 경우가 더 많았습니다.

Fallback reference clip
기본값: 비어 있음

Subtitld가 영상에서 클립을 잘라낼 수 없을 때(예: 영상이 열려 있지 않을 때) 복제 목소리에 쓸 클립입니다. 한 사람이 말하는 깨끗한 약 10초 분량이면 됩니다. 전화 녹음은 피하세요.

언어

히브리어, 영어, 독일어, 스페인어, 이탈리아어, 러시아어, 이디시어. 다른 언어로 된 프로젝트에서는 그렇다고 알리는 메시지가 나옵니다. 그런 프로젝트에는 다른 더빙 엔진을 고르세요.

스페인어는 프로젝트의 지역을 따릅니다. 스페인이면 카스티야 스페인어, 다른 지역이면 중남미 스페인어로 읽습니다. 숫자, 날짜, 가격, 코드는 단어로 읽지만, 이디시어는 예외입니다. 이디시어 숫자는 단어로 쓰세요. 그러지 않으면 그렇다고 알리는 메시지와 함께 그 대사가 거부됩니다.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

플랫폼

시스템 다운로드테스트 완료
Linux x86-64 61.7 MB실제 컴퓨터에서 Subtitld의 애드온 관리자를 거쳐, 그리고 CI에서 실제 모델로 더빙
macOS (Apple 실리콘) 43.8 MBCI에서 실제 모델로 더빙(Apple Silicon)
Windows x86-64 37.3 MBCI에서 실제 모델로 더빙

Linux x86-64, Apple Silicon의 macOS, Windows x86-64. 각 릴리스는 세 플랫폼 모두에서 빌드되며, 플랫폼마다 CI가 Subtitld와 같은 방식으로 애드온을 설치하고 모델을 내려받아 모든 언어로 대사를 하나씩 더빙합니다.

문제 해결

  • network_unavailable모델을 내려받지 못했습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 이어서 진행됩니다.
  • disk_full모델을 위한 디스크 공간이 부족합니다. 428 MB에, 히브리어, 이디시어, 화자 본인의 목소리를 위해 최대 1.7 GB가 더 필요합니다.
  • unsupported_language프로젝트의 언어가 7개 언어 중 하나가 아니거나, 설정되어 있지 않습니다. 프로젝트에서 언어를 설정하거나 다른 더빙 엔진을 고르세요.
  • unsupported_voice프로젝트가 이 버전에 없는 목소리를 지정하고 있습니다. 화자 탭에서 목소리를 다시 고르세요.
  • bad_params대사에 텍스트가 없거나, 이디시어 대사에 숫자가 있거나, 복제 목소리에 샘플이 없습니다. 영상을 열거나 Fallback reference clip을 설정하세요. 메시지에 어느 쪽인지 나옵니다.
  • out_of_memory컴퓨터의 메모리가 부족해졌습니다. 다른 프로그램을 닫으세요. BlueTTS는 약 1 GB, 히브리어에서는 2.5 GB의 여유 메모리가 필요합니다.
  • internal애드온 내부에서 문제가 생겼습니다. 자세한 내용은 메시지에 나옵니다.

라이선스

애드온
Apache-2.0
엔진
MIT
BlueTTS, Maxim Melichov 제작. ONNX Runtime은 MIT
모델
MIT, BigScience OpenRAIL-M
BlueV3 가중치. 보코더는 Supertone의 Supertonic-3을 미세 조정한 것으로, 사용 제한이 있는 OpenRAIL-M
목소리
CC-BY-4.0
LibriTTS-R 화자들로 만듦
읽기 모델
Apache-2.0, MIT, CC BY-SA
RenikudPlus(히브리어), polyg2p. 독일어와 이탈리아어 사전, 그리고 이디시어 사전의 일부는 CC BY-SA

애드온은 Apache-2.0이고 BlueTTS의 코드는 MIT입니다. 음성 모델도 MIT이지만, 모델의 출력을 소리로 바꾸는 부분인 보코더는 예외입니다. 보코더는 Supertone의 Supertonic-3을 미세 조정한 것으로, BigScience OpenRAIL-M 라이선스를 따릅니다. 상업적 작업은 허용되지만, OpenRAIL-M은 그 결과물의 일부 용도를 금지합니다. 법을 어기는 일, 사람을 속이는 일, 본인의 동의 없이 다른 사람을 사칭하는 일 등입니다. 목소리 15가지는 CC-BY-4.0입니다. 독일어와 이탈리아어 사전, 그리고 이디시어 사전의 일부는 CC BY-SA입니다. 이 사전들은 모델과 함께 내려받으며, 제작자가 공개한 그대로 유지됩니다.

만든 더빙은 여러분의 것입니다. 복제한 목소리는 실제 사람처럼 들립니다. 사용할 권리가 있는 목소리만 복제하고, 중요한 경우에는 더빙이 합성 음성이라고 밝히세요.

버전

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

다른 음성 애드온

업데이트됨 · 애드온 카탈로그 기준 이 애드온의 문제 신고