BlueTTS офлайн, клонування голосу, іврит + 6 мов

ГолосиОфлайнЛише CPUКлонування голосуКомерційне використання дозволено

Озвучує ваші субтитри івритом, англійською, німецькою, іспанською, італійською, російською та їдишем за допомогою BlueV3 від Maxim Melichov: одним із 15 голосів або власним голосом кожного мовця, клонованим приблизно з десяти секунд відео. Працює на процесорі вашого комп’ютера, у три–п’ять разів швидше за реальний час, без відеокарти.

Встановіть його з Subtitld

Налаштування Додатки BlueTTS (offline, voice clone, Hebrew + 6 languages) Встановити

Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.

Джерело на GitHub
Мови
7
Моделі
5
Голоси
16
Завантаження додатка
37–62 MB
ОЗП, щонайменше
2.5 GB

Що це робить

Іврит та їдиш

BlueTTS створювали насамперед для івриту: він читає текст івритом без огласовок, разом із числами, датами й цінами, а англійські слова всередині репліки івритом читає англійською. Він також говорить їдишем, що вміють небагато рушіїв дублювання.

Власний голос мовця

Subtitld вирізає з відео близько десяти секунд кожного мовця й передає їх із кожною реплікою. BlueTTS клонує цей голос будь-якою з семи своїх мов. Або оберіть один із 15 голосів.

Швидко на будь-якому комп’ютері

На процесорі ноутбука він говорить у три–п’ять разів швидше за реальний час. Відеокарта не використовується.

Офлайн після першої репліки

Кожна частина завантажується один раз, коли вона вперше потрібна для репліки. Після цього ніщо не залишає ваш комп’ютер.

Перед встановленням

Що потрібно BlueTTS, залежить від мов, якими ви озвучуєте:

  • Диск: 428 МБ для моделі, завантажується під час першої репліки. Іврит додає 1,2 ГБ (або 312 МБ з компактною моделлю читання), їдиш — 307 МБ, власний голос мовця — 136 МБ, кожне під час першого використання.
  • Пам’ять: близько 700 МБ під час синтезу мовлення, близько 2 ГБ після завантаження івриту.
  • Час: на Intel Core i7-13700T секунда мовлення створюється приблизно за п’яту частину секунди, івритом — приблизно за третину секунди. Перша репліка івритом чекає ще близько 15 секунд, поки завантажується модель читання.
  • Процесор: будь-який 64-розрядний процесор Intel або AMD чи Apple Silicon. Відеокарта не використовується.

Голоси

На вкладці Мовці оберіть BlueTTS як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.

16 голосів.

Голоси
Жіночі Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Чоловічі Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Кожен голос говорить усіма сімома мовами, кожною у своєму природному темпі. Голоси створено з читців корпусу аудіокниг LibriTTS-R.

З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту: з одного його субтитру або з кількох коротких, з’єднаних разом. Якщо ви відокремили музику від голосу для цього відео, зразок береться лише з голосу. Fallback reference clip у налаштуваннях додатка використовується лише тоді, коли зразок вирізати не вдалося.

BlueTTS слухає приблизно перші дев’ять секунд зразка й копіює тембр і висоту голосу, але не манеру мовлення. Найкращий зразок — чисте мовлення близько до мікрофона: шум і луна роблять клон менш схожим на мовця, а запис із телефона дає голос, що звучить як у телефоні.

Моделі

Модель і моделі читання не входять до додатка: кожна завантажується до спільного кешу моделей Subtitld, коли вона вперше потрібна для репліки, з Hugging Face, із закріпленою ревізією, і кожен файл перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка їх зберігає.

Модель ЗавантаженняДобре для
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru За замовчуванням bluev3
428 MB
Кожна репліка: голоси та читання англійської, німецької, іспанської, італійської й російської
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
Власний голос мовця, під час першого озвучування таким голосом
RenikudPlus Hebrew G2P renikudplus
1.2 GB
Іврит, під час першого озвучування ним (типово)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
Іврит, якщо вибрано компактну модель читання
ReNikud-yi Yiddish context model renikud-yi
307 MB
Їдиш, під час першого озвучування ним

Додаток запускає власний код BlueTTS на ONNX Runtime, без PyTorch. З тим самим голосом, реплікою та seed він дає точно те саме, що й власний Python-пакет BlueTTS.

Параметри

У Налаштуваннях › Додатки › BlueTTS (offline, voice clone, Hebrew + 6 languages) › Налаштувати.

CPU threads
За замовчуванням: 0

0 використовує логічні процесори комп’ютера, але не більше 8. Більше потоків рідко пришвидшує роботу; менше — комп’ютер чутливіший під час озвучування.

Quality steps
За замовчуванням: 8

Скільки проходів модель робить над кожною реплікою. 8 — власне значення BlueTTS. 4 — приблизно в 1,7 раза швидше, з трохи нижчою якістю.

Hebrew reading model
За замовчуванням: accurate

Як текст івритом перетворюється на звуки. accurate — повна модель, 1,2 ГБ, близько 2 ГБ пам’яті. compact — та сама модель у зменшеному вигляді, 312 МБ: у нашому тесті вона читала приблизно 1 слово з 200 інакше, частіше неправильно.

Fallback reference clip
За замовчуванням: порожньо

Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: близько 10 секунд чистого мовлення однієї людини, не запис із телефона.

Мови

Іврит, англійська, німецька, іспанська, італійська, російська та їдиш. Для проєкту будь-якою іншою мовою з’явиться відповідне повідомлення: оберіть для нього інший рушій дублювання.

Іспанська залежить від регіону проєкту: для Іспанії — кастильська, для будь-якого іншого регіону — латиноамериканська іспанська. Числа, дати, ціни й коди читаються словами, крім їдишу: їдишем пишіть числа словами, інакше репліку буде відхилено з відповідним повідомленням.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Платформи

Система ЗавантаженняПеревірено
Linux x86-64 61.7 MBОзвучено справжньою моделлю на справжньому комп’ютері, через менеджер додатків Subtitld, і в CI
macOS (Apple silicon) 43.8 MBОзвучено справжньою моделлю в CI (Apple Silicon)
Windows x86-64 37.3 MBОзвучено справжньою моделлю в CI

Linux x86-64, macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній з них CI встановлює додаток так само, як це робить Subtitld, завантажує моделі й озвучує репліку кожною мовою.

Усунення несправностей

  • network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.
  • disk_fullНедостатньо місця на диску для моделі: 428 МБ і до 1,7 ГБ додатково для івриту, їдишу й власного голосу мовця.
  • unsupported_languageМова проєкту не входить до цих семи або не задана. Задайте її в проєкті або оберіть інший рушій дублювання.
  • unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.
  • bad_paramsУ репліці немає тексту, у репліці їдишем є цифри, або клон не отримав зразка: відкрийте відео або встановіть Fallback reference clip. Повідомлення вказує, що саме.
  • out_of_memoryКомп’ютеру забракло пам’яті. Закрийте інші програми: BlueTTS потребує близько 1 ГБ вільної пам’яті, 2,5 ГБ з івритом.
  • internalУсередині додатка стався збій; подробиці в повідомленні.

Ліцензія

Додаток
Apache-2.0
Рушій
MIT
BlueTTS, від Maxim Melichov; ONNX Runtime — MIT
Модель
MIT, BigScience OpenRAIL-M
Ваги BlueV3; вокодер, донавчений із Supertonic-3 від Supertone, — OpenRAIL-M, з обмеженнями використання
Голоси
CC-BY-4.0
Створені з дикторів LibriTTS-R
Моделі читання
Apache-2.0, MIT, CC BY-SA
RenikudPlus (іврит), polyg2p; німецький та італійський лексикони й частина лексикону їдишу — CC BY-SA

Додаток має ліцензію Apache-2.0, а код BlueTTS — MIT. Голосова модель теж під MIT, крім вокодера — частини, що перетворює вихід моделі на звук: його донавчено з Supertonic-3 від Supertone, і він має ліцензію BigScience OpenRAIL-M. Комерційна робота дозволена, але OpenRAIL-M забороняє деякі способи використання створеного, серед них порушення закону, обман людей і видавання себе за іншу людину без її згоди. 15 голосів мають ліцензію CC-BY-4.0. Німецький та італійський лексикони й частина лексикону їдишу — під CC BY-SA; вони завантажуються разом із моделями й залишаються такими, якими їх публікують автори.

Створений дубляж належить вам. Клонований голос звучить як справжня людина: клонуйте лише ті голоси, які ви маєте право використовувати, і зазначайте, що дубляж синтетичний, там, де це важливо.

Версії

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Інші додатки групи «Голоси»