BlueTTS 오프라인, 음성 복제, 히브리어 + 6개 언어
Maxim Melichov가 만든 BlueV3로 자막을 히브리어, 영어, 독일어, 스페인어, 이탈리아어, 러시아어, 이디시어로 더빙합니다. 목소리 15가지 중 하나나, 영상의 약 10초에서 복제한 화자 각자의 목소리를 씁니다. 그래픽 카드 없이 여러분의 컴퓨터 프로세서에서 실행되고, 실시간보다 3~5배 빠릅니다.
설정 애드온 BlueTTS (offline, voice clone, Hebrew + 6 languages) 설치
Subtitld가 내려받고, SHA-256을 확인하고, 최신 상태로 유지합니다.
- 언어
- 7
- 모델
- 5
- 음성
- 16
- 애드온 다운로드
- 37–62 MB
- 최소 RAM
- 2.5 GB
기능
BlueTTS는 무엇보다 히브리어를 위해 만들어졌습니다. 모음 부호가 없는 히브리어 텍스트를 숫자, 날짜, 가격까지 읽고, 히브리어 대사 속의 영어 단어는 영어로 읽습니다. 이디시어도 말하는데, 이를 말하는 더빙 엔진은 드뭅니다.
Subtitld가 영상에서 각 화자의 약 10초를 잘라 대사마다 함께 보냅니다. BlueTTS는 그 목소리를 7개 언어 어디서나 복제합니다. 목소리 15가지 중 하나를 고를 수도 있습니다.
노트북 프로세서에서 실시간보다 3~5배 빠르게 말합니다. 그래픽 카드는 쓰지 않습니다.
각 구성 요소는 대사에 처음 필요할 때 한 번만 내려받습니다. 그 뒤로는 아무것도 컴퓨터 밖으로 나가지 않습니다.
설치하기 전에
BlueTTS에 필요한 것은 더빙하는 언어에 따라 다릅니다.
- 디스크: 모델에 428 MB. 첫 대사에서 내려받습니다. 히브리어는 1.2 GB(작은 읽기 모델이면 312 MB), 이디시어는 307 MB, 화자 본인의 목소리는 136 MB가 더 필요하며, 각각 처음 쓸 때 내려받습니다.
- 메모리: 말하는 동안 약 700 MB, 히브리어를 불러오면 약 2 GB.
- 시간: Intel Core i7-13700T에서 음성 1초를 만드는 데 약 5분의 1초, 히브리어는 약 3분의 1초가 걸립니다. 첫 히브리어 대사는 읽기 모델을 불러오느라 약 15초를 더 기다립니다.
- 프로세서: 64비트 Intel 또는 AMD 프로세서라면 무엇이든, 또는 Apple Silicon. 그래픽 카드는 쓰지 않습니다.
목소리
화자 탭에서 화자의 더빙 엔진으로 BlueTTS를 고른 뒤 음성을 고르세요. 화자의 각 대사가 자막에 맞게 늘어나거나 줄어들게 하려면 더빙을 자막 길이에 맞추기를 켜세요.
음성 16개.
| 목소리 | |
|---|---|
| 여성 | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| 남성 | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
모든 목소리가 7개 언어를 전부 말하며, 언어마다 그 목소리 나름의 자연스러운 속도로 말합니다. 목소리들은 LibriTTS-R 오디오북 코퍼스의 낭독자들로 만들었습니다.
Speaker's own voice를 고르면, Subtitld는 프로젝트의 오디오에서 그 화자의 샘플을 잘라냅니다. 그 화자의 자막 하나에서, 또는 짧은 자막 여러 개를 이어 붙여 만듭니다. 이 영상의 음악과 목소리를 분리해 두었다면, 샘플은 목소리만으로 만들어집니다. 애드온 설정의 Fallback reference clip은 샘플을 잘라낼 수 없을 때만 사용됩니다.
BlueTTS는 샘플의 처음 9초 정도를 듣고, 목소리의 음색과 높낮이를 따라 합니다. 말투는 따라 하지 않습니다. 가장 좋은 샘플은 마이크 가까이에서 녹음한 깨끗한 말소리입니다. 잡음과 울림이 있으면 복제한 목소리가 화자와 덜 닮게 되고, 전화 녹음은 전화기 너머 같은 목소리가 됩니다.
모델
모델과 읽기 모델은 애드온 안에 들어 있지 않고, 각각 대사에 처음 필요할 때 Hugging Face에서 고정된 리비전으로 Subtitld의 공유 모델 캐시에 내려받으며, 파일마다 확인합니다. 중단된 다운로드는 멈춘 곳부터 이어집니다. 애드온을 업데이트하거나 제거해도 모델은 남습니다.
| 모델 | 다운로드 | 적합한 용도 |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru 기본값 bluev3 | 모든 대사: 목소리와, 영어, 독일어, 스페인어, 이탈리아어, 러시아어를 읽는 방식 | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | 화자 본인의 목소리, 그 목소리로 처음 더빙할 때 | |
| RenikudPlus Hebrew G2P renikudplus | 히브리어, 처음 더빙할 때(기본값) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | 히브리어, 작은 읽기 모델을 고를 때 | |
| ReNikud-yi Yiddish context model renikud-yi | 이디시어, 처음 더빙할 때 |
애드온은 BlueTTS 자체의 코드를 PyTorch 없이 ONNX Runtime에서 실행합니다. 같은 목소리, 대사, 시드라면 BlueTTS 자체의 Python 패키지와 똑같은 결과를 냅니다.
옵션
설정 › 애드온 › BlueTTS (offline, voice clone, Hebrew + 6 languages) › 구성에서 설정할 수 있습니다.
00이면 컴퓨터의 논리 프로세서를 최대 8개까지 사용합니다. 늘린다고 빨라지는 경우는 드뭅니다. 줄이면 더빙하는 동안 컴퓨터가 더 잘 반응합니다.
8모델이 대사마다 거치는 단계 수입니다. 8은 BlueTTS 자체의 설정입니다. 4는 약 1.7배 빠르고, 품질은 조금 낮습니다.
accurate히브리어 텍스트를 소리로 바꾸는 방식입니다. accurate는 전체 모델로, 1.2 GB이며 메모리를 약 2 GB 씁니다. compact는 같은 모델을 작게 만든 것으로 312 MB입니다. 저희 테스트에서는 약 200단어에 1단어를 다르게 읽었고, 그중 틀린 경우가 더 많았습니다.
Subtitld가 영상에서 클립을 잘라낼 수 없을 때(예: 영상이 열려 있지 않을 때) 복제 목소리에 쓸 클립입니다. 한 사람이 말하는 깨끗한 약 10초 분량이면 됩니다. 전화 녹음은 피하세요.
언어
히브리어, 영어, 독일어, 스페인어, 이탈리아어, 러시아어, 이디시어. 다른 언어로 된 프로젝트에서는 그렇다고 알리는 메시지가 나옵니다. 그런 프로젝트에는 다른 더빙 엔진을 고르세요.
스페인어는 프로젝트의 지역을 따릅니다. 스페인이면 카스티야 스페인어, 다른 지역이면 중남미 스페인어로 읽습니다. 숫자, 날짜, 가격, 코드는 단어로 읽지만, 이디시어는 예외입니다. 이디시어 숫자는 단어로 쓰세요. 그러지 않으면 그렇다고 알리는 메시지와 함께 그 대사가 거부됩니다.
heendeesitruyi
플랫폼
| 시스템 | 다운로드 | 테스트 완료 |
|---|---|---|
| Linux x86-64 | 61.7 MB | 실제 컴퓨터에서 Subtitld의 애드온 관리자를 거쳐, 그리고 CI에서 실제 모델로 더빙 |
| macOS (Apple 실리콘) | 43.8 MB | CI에서 실제 모델로 더빙(Apple Silicon) |
| Windows x86-64 | 37.3 MB | CI에서 실제 모델로 더빙 |
Linux x86-64, Apple Silicon의 macOS, Windows x86-64. 각 릴리스는 세 플랫폼 모두에서 빌드되며, 플랫폼마다 CI가 Subtitld와 같은 방식으로 애드온을 설치하고 모델을 내려받아 모든 언어로 대사를 하나씩 더빙합니다.
문제 해결
network_unavailable모델을 내려받지 못했습니다. 연결을 확인하고 다시 시도하세요. 다운로드는 이어서 진행됩니다.disk_full모델을 위한 디스크 공간이 부족합니다. 428 MB에, 히브리어, 이디시어, 화자 본인의 목소리를 위해 최대 1.7 GB가 더 필요합니다.unsupported_language프로젝트의 언어가 7개 언어 중 하나가 아니거나, 설정되어 있지 않습니다. 프로젝트에서 언어를 설정하거나 다른 더빙 엔진을 고르세요.unsupported_voice프로젝트가 이 버전에 없는 목소리를 지정하고 있습니다. 화자 탭에서 목소리를 다시 고르세요.bad_params대사에 텍스트가 없거나, 이디시어 대사에 숫자가 있거나, 복제 목소리에 샘플이 없습니다. 영상을 열거나 Fallback reference clip을 설정하세요. 메시지에 어느 쪽인지 나옵니다.out_of_memory컴퓨터의 메모리가 부족해졌습니다. 다른 프로그램을 닫으세요. BlueTTS는 약 1 GB, 히브리어에서는 2.5 GB의 여유 메모리가 필요합니다.internal애드온 내부에서 문제가 생겼습니다. 자세한 내용은 메시지에 나옵니다.
라이선스
애드온은 Apache-2.0이고 BlueTTS의 코드는 MIT입니다. 음성 모델도 MIT이지만, 모델의 출력을 소리로 바꾸는 부분인 보코더는 예외입니다. 보코더는 Supertone의 Supertonic-3을 미세 조정한 것으로, BigScience OpenRAIL-M 라이선스를 따릅니다. 상업적 작업은 허용되지만, OpenRAIL-M은 그 결과물의 일부 용도를 금지합니다. 법을 어기는 일, 사람을 속이는 일, 본인의 동의 없이 다른 사람을 사칭하는 일 등입니다. 목소리 15가지는 CC-BY-4.0입니다. 독일어와 이탈리아어 사전, 그리고 이디시어 사전의 일부는 CC BY-SA입니다. 이 사전들은 모델과 함께 내려받으며, 제작자가 공개한 그대로 유지됩니다.
만든 더빙은 여러분의 것입니다. 복제한 목소리는 실제 사람처럼 들립니다. 사용할 권리가 있는 목소리만 복제하고, 중요한 경우에는 더빙이 합성 음성이라고 밝히세요.
버전
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
다른 음성 애드온
-
Piper 오프라인
49개 언어의 158가지 오프라인 목소리, 각각 따로 받는 작은 파일.
-
Kokoro 오프라인
하나의 82 MB 모델로 9개 언어의 54가지 오프라인 목소리.
-
Supertonic 오프라인
10가지 오프라인 목소리, 각각 31개 언어 모두 가능.
-
sanoTTS 오프라인
14개 언어의 28가지 초소형 오프라인 목소리, 각각 10 MB 미만.
-
Parler-TTS 오프라인
글로 된 설명을 따르는 영어 목소리. 이름 붙은 화자 34명.
-
Qwen3-TTS 복제
10개 언어, 목소리 9가지, 화자 3초 분량으로 복제.
-
Coqui XTTS 복제
16개 언어로 음성 복제, 비상업적 모델 라이선스.
-
F5-TTS 복제
영어와 중국어 음성 복제 전용. 비상업적 모델.
-
VoxCPM2 복제
48 kHz로 30개 언어, 화자 본인의 목소리나 설명한 목소리로. 무거움.
-
Pocket TTS 오프라인
빠르고 가벼움, CPU만 사용. 유럽 7개 언어, 23가지 목소리.
-
Sopro 복제
화자 본인의 목소리를 CPU에서 빠르게. 4개 언어.
-
KittenTTS 2 복제
화자 본인의 목소리를 16개 언어로, CPU에서. 가중치는 제한적인 라이선스.
-
Ming-3.0-tts 복제
44.1 kHz로 7개 언어, 복제한 목소리, 내장 목소리, 설명한 목소리로, 감정까지. 무거움.
-
Scylla's Band 오프라인
여섯 언어로 말하는 목소리 14가지, CPU에서 가볍고 빠르게. 기본 제공 목소리만.
-
Audio8 TTS 복제
화자 본인의 목소리로 11개 언어, 광둥어 포함. CPU에서는 느림.
-
Inflect 오프라인
아주 작은 모델로 자연스러운 영어 음성을, 어떤 CPU에서도 빠르게.
-
Paradee 오프라인
자연스러운 영어 목소리 넷, 미국과 영국 억양을 8.5 MB 모델 하나로.
-
Chatterbox 복제
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…