BlueTTS офлайн, клонування голосу, іврит + 6 мов
Озвучує ваші субтитри івритом, англійською, німецькою, іспанською, італійською, російською та їдишем за допомогою BlueV3 від Maxim Melichov: одним із 15 голосів або власним голосом кожного мовця, клонованим приблизно з десяти секунд відео. Працює на процесорі вашого комп’ютера, у три–п’ять разів швидше за реальний час, без відеокарти.
Налаштування Додатки BlueTTS (offline, voice clone, Hebrew + 6 languages) Встановити
Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.
- Мови
- 7
- Моделі
- 5
- Голоси
- 16
- Завантаження додатка
- 37–62 MB
- ОЗП, щонайменше
- 2.5 GB
Що це робить
BlueTTS створювали насамперед для івриту: він читає текст івритом без огласовок, разом із числами, датами й цінами, а англійські слова всередині репліки івритом читає англійською. Він також говорить їдишем, що вміють небагато рушіїв дублювання.
Subtitld вирізає з відео близько десяти секунд кожного мовця й передає їх із кожною реплікою. BlueTTS клонує цей голос будь-якою з семи своїх мов. Або оберіть один із 15 голосів.
На процесорі ноутбука він говорить у три–п’ять разів швидше за реальний час. Відеокарта не використовується.
Кожна частина завантажується один раз, коли вона вперше потрібна для репліки. Після цього ніщо не залишає ваш комп’ютер.
Перед встановленням
Що потрібно BlueTTS, залежить від мов, якими ви озвучуєте:
- Диск: 428 МБ для моделі, завантажується під час першої репліки. Іврит додає 1,2 ГБ (або 312 МБ з компактною моделлю читання), їдиш — 307 МБ, власний голос мовця — 136 МБ, кожне під час першого використання.
- Пам’ять: близько 700 МБ під час синтезу мовлення, близько 2 ГБ після завантаження івриту.
- Час: на Intel Core i7-13700T секунда мовлення створюється приблизно за п’яту частину секунди, івритом — приблизно за третину секунди. Перша репліка івритом чекає ще близько 15 секунд, поки завантажується модель читання.
- Процесор: будь-який 64-розрядний процесор Intel або AMD чи Apple Silicon. Відеокарта не використовується.
Голоси
На вкладці Мовці оберіть BlueTTS як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.
16 голосів.
| Голоси | |
|---|---|
| Жіночі | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| Чоловічі | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
Кожен голос говорить усіма сімома мовами, кожною у своєму природному темпі. Голоси створено з читців корпусу аудіокниг LibriTTS-R.
З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту: з одного його субтитру або з кількох коротких, з’єднаних разом. Якщо ви відокремили музику від голосу для цього відео, зразок береться лише з голосу. Fallback reference clip у налаштуваннях додатка використовується лише тоді, коли зразок вирізати не вдалося.
BlueTTS слухає приблизно перші дев’ять секунд зразка й копіює тембр і висоту голосу, але не манеру мовлення. Найкращий зразок — чисте мовлення близько до мікрофона: шум і луна роблять клон менш схожим на мовця, а запис із телефона дає голос, що звучить як у телефоні.
Моделі
Модель і моделі читання не входять до додатка: кожна завантажується до спільного кешу моделей Subtitld, коли вона вперше потрібна для репліки, з Hugging Face, із закріпленою ревізією, і кожен файл перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка їх зберігає.
| Модель | Завантаження | Добре для |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru За замовчуванням bluev3 | Кожна репліка: голоси та читання англійської, німецької, іспанської, італійської й російської | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | Власний голос мовця, під час першого озвучування таким голосом | |
| RenikudPlus Hebrew G2P renikudplus | Іврит, під час першого озвучування ним (типово) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | Іврит, якщо вибрано компактну модель читання | |
| ReNikud-yi Yiddish context model renikud-yi | Їдиш, під час першого озвучування ним |
Додаток запускає власний код BlueTTS на ONNX Runtime, без PyTorch. З тим самим голосом, реплікою та seed він дає точно те саме, що й власний Python-пакет BlueTTS.
Параметри
У Налаштуваннях › Додатки › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Налаштувати.
00 використовує логічні процесори комп’ютера, але не більше 8. Більше потоків рідко пришвидшує роботу; менше — комп’ютер чутливіший під час озвучування.
8Скільки проходів модель робить над кожною реплікою. 8 — власне значення BlueTTS. 4 — приблизно в 1,7 раза швидше, з трохи нижчою якістю.
accurateЯк текст івритом перетворюється на звуки. accurate — повна модель, 1,2 ГБ, близько 2 ГБ пам’яті. compact — та сама модель у зменшеному вигляді, 312 МБ: у нашому тесті вона читала приблизно 1 слово з 200 інакше, частіше неправильно.
Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: близько 10 секунд чистого мовлення однієї людини, не запис із телефона.
Мови
Іврит, англійська, німецька, іспанська, італійська, російська та їдиш. Для проєкту будь-якою іншою мовою з’явиться відповідне повідомлення: оберіть для нього інший рушій дублювання.
Іспанська залежить від регіону проєкту: для Іспанії — кастильська, для будь-якого іншого регіону — латиноамериканська іспанська. Числа, дати, ціни й коди читаються словами, крім їдишу: їдишем пишіть числа словами, інакше репліку буде відхилено з відповідним повідомленням.
heendeesitruyi
Платформи
| Система | Завантаження | Перевірено |
|---|---|---|
| Linux x86-64 | 61.7 MB | Озвучено справжньою моделлю на справжньому комп’ютері, через менеджер додатків Subtitld, і в CI |
| macOS (Apple silicon) | 43.8 MB | Озвучено справжньою моделлю в CI (Apple Silicon) |
| Windows x86-64 | 37.3 MB | Озвучено справжньою моделлю в CI |
Linux x86-64, macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній з них CI встановлює додаток так само, як це робить Subtitld, завантажує моделі й озвучує репліку кожною мовою.
Усунення несправностей
network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.disk_fullНедостатньо місця на диску для моделі: 428 МБ і до 1,7 ГБ додатково для івриту, їдишу й власного голосу мовця.unsupported_languageМова проєкту не входить до цих семи або не задана. Задайте її в проєкті або оберіть інший рушій дублювання.unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.bad_paramsУ репліці немає тексту, у репліці їдишем є цифри, або клон не отримав зразка: відкрийте відео або встановіть Fallback reference clip. Повідомлення вказує, що саме.out_of_memoryКомп’ютеру забракло пам’яті. Закрийте інші програми: BlueTTS потребує близько 1 ГБ вільної пам’яті, 2,5 ГБ з івритом.internalУсередині додатка стався збій; подробиці в повідомленні.
Ліцензія
Додаток має ліцензію Apache-2.0, а код BlueTTS — MIT. Голосова модель теж під MIT, крім вокодера — частини, що перетворює вихід моделі на звук: його донавчено з Supertonic-3 від Supertone, і він має ліцензію BigScience OpenRAIL-M. Комерційна робота дозволена, але OpenRAIL-M забороняє деякі способи використання створеного, серед них порушення закону, обман людей і видавання себе за іншу людину без її згоди. 15 голосів мають ліцензію CC-BY-4.0. Німецький та італійський лексикони й частина лексикону їдишу — під CC BY-SA; вони завантажуються разом із моделями й залишаються такими, якими їх публікують автори.
Створений дубляж належить вам. Клонований голос звучить як справжня людина: клонуйте лише ті голоси, які ви маєте право використовувати, і зазначайте, що дубляж синтетичний, там, де це важливо.
Версії
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
Інші додатки групи «Голоси»
-
Piper Офлайн
158 офлайн-голосів 49 мовами, кожен — окреме невелике завантаження.
-
Kokoro Офлайн
54 офлайн-голоси дев’ятьма мовами з однієї моделі на 82 МБ.
-
Supertonic Офлайн
Десять офлайн-голосів, кожен може говорити всіма 31 мовою.
-
sanoTTS Офлайн
Крихітні офлайн-голоси, 28 голосів 14 мовами, кожен менше 10 МБ.
-
Parler-TTS Офлайн
Англійські голоси за письмовим описом; 34 іменовані мовці.
-
Qwen3-TTS Клон
Десять мов, дев’ять голосів і клонування з 3 секунд мовлення мовця.
-
Coqui XTTS Клон
Клонування голосу 16 мовами, з некомерційною ліцензією моделі.
-
F5-TTS Клон
Лише клонування голосу, англійською та китайською; некомерційна модель.
-
VoxCPM2 Клон
30 мов у 48 кГц, голосом самого мовця або описаним голосом. Важкий.
-
Pocket TTS Офлайн
Швидкий і легкий, лише ЦП. 23 голоси сімома європейськими мовами.
-
Sopro Клон
Власний голос мовця, швидко на ЦП. Чотири мови.
-
KittenTTS 2 Клон
Власний голос мовця 16 мовами, на ЦП. Ваги за обмежувальною ліцензією.
-
Ming-3.0-tts Клон
7 мов у 44,1 кГц: клоновані, вбудовані або описані голоси, з емоціями. Важкий.
-
Scylla's Band Офлайн
Чотирнадцять голосів шістьма мовами, легко й швидко на ЦП. Лише готові голоси.
-
Audio8 TTS Клон
Власний голос мовця 11 мовами, зокрема кантонською. Повільно на ЦП.
-
Inflect Офлайн
Природне англійське мовлення від крихітної моделі, швидко на будь-якому ЦП.
-
Paradee Офлайн
Чотири природні англійські голоси, американські й британські, від однієї моделі розміром 8,5 МБ.
-
Chatterbox Клон
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…