BlueTTS офлайн, клонирование голоса, иврит + 6 языков

ГолосаОфлайнТолько CPUКлонирование голосаКоммерческое использование разрешено

Озвучивает ваши субтитры на иврите, английском, немецком, испанском, итальянском, русском и идише с помощью BlueV3 от Maxim Melichov: одним из 15 голосов или собственным голосом каждого говорящего, клонированным примерно из десяти секунд видео. Работает на процессоре вашего компьютера, в три–пять раз быстрее реального времени, без видеокарты.

Установите из Subtitld

Настройки Дополнения BlueTTS (offline, voice clone, Hebrew + 6 languages) Установка

Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.

Исходный код на GitHub
Языки
7
Модели
5
Голоса
16
Загрузка дополнения
37–62 MB
ОЗУ, не меньше
2.5 GB

Что он делает

Иврит и идиш

BlueTTS создавался прежде всего для иврита: он читает текст на иврите без огласовок, включая числа, даты и цены, а английские слова внутри реплики на иврите читает по-английски. Он также говорит на идише, что умеют немногие движки дублирования.

Собственный голос говорящего

Subtitld вырезает из видео около десяти секунд каждого говорящего и передаёт их с каждой репликой. BlueTTS клонирует этот голос на любом из своих семи языков. Или выберите один из 15 голосов.

Быстро на любом компьютере

На процессоре ноутбука он говорит в три–пять раз быстрее реального времени. Видеокарта не используется.

Офлайн после первой реплики

Каждая часть загружается один раз, когда она впервые нужна для реплики. После этого ничего не покидает ваш компьютер.

Перед установкой

Что нужно BlueTTS, зависит от языков, на которые вы озвучиваете:

  • Диск: 428 МБ для модели, загружается при первой реплике. Иврит добавляет 1,2 ГБ (или 312 МБ с компактной моделью чтения), идиш — 307 МБ, собственный голос говорящего — 136 МБ, каждое при первом использовании.
  • Память: около 700 МБ во время синтеза речи, около 2 ГБ после загрузки иврита.
  • Время: на Intel Core i7-13700T секунда речи создаётся примерно за пятую долю секунды, на иврите — примерно за треть секунды. Первая реплика на иврите ждёт ещё около 15 секунд, пока загружается модель чтения.
  • Процессор: любой 64-битный процессор Intel или AMD либо Apple Silicon. Видеокарта не используется.

Голоса

На вкладке Говорящие выберите BlueTTS как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.

Голосов: 16.

Голоса
Женские Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara
Мужские Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel

Каждый голос говорит на всех семи языках, на каждом в своём естественном темпе. Голоса созданы из чтецов корпуса аудиокниг LibriTTS-R.

С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра или из нескольких коротких, склеенных вместе. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Fallback reference clip в настройках дополнения используется, только когда образец вырезать нельзя.

BlueTTS слушает примерно первые девять секунд образца и копирует тембр и высоту голоса, но не манеру речи. Лучший образец — чистая речь близко к микрофону: шум и эхо делают клон менее похожим на говорящего, а запись с телефона даёт голос, звучащий как по телефону.

Модели

Модель и модели чтения не входят в дополнение: каждая загружается в общий кэш моделей Subtitld, когда она впервые нужна для реплики, с Hugging Face, с закреплённой ревизией, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения их сохраняет.

Модель ЗагрузкаПодходит для
BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru По умолчанию bluev3
428 MB
Каждая реплика: голоса и чтение английского, немецкого, испанского, итальянского и русского
BlueV3 reference encoder (voice cloning) bluev3-reference-encoder
136 MB
Собственный голос говорящего, при первом озвучивании таким голосом
RenikudPlus Hebrew G2P renikudplus
1.2 GB
Иврит, при первом озвучивании на нём (по умолчанию)
RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8
312 MB
Иврит, если выбрана компактная модель чтения
ReNikud-yi Yiddish context model renikud-yi
307 MB
Идиш, при первом озвучивании на нём

Дополнение запускает собственный код BlueTTS на ONNX Runtime, без PyTorch. С тем же голосом, репликой и seed оно даёт ровно то же, что и собственный Python-пакет BlueTTS.

Настройки

В разделе «Настройки › Дополнения › BlueTTS (offline, voice clone, Hebrew + 6 languages)» нажмите «Настроить».

CPU threads
По умолчанию: 0

0 использует логические процессоры компьютера, но не больше 8. Больше потоков редко ускоряет работу; меньше — компьютер отзывчивее во время озвучивания.

Quality steps
По умолчанию: 8

Сколько проходов модель делает по каждой реплике. 8 — собственное значение BlueTTS. 4 — примерно в 1,7 раза быстрее, с немного более низким качеством.

Hebrew reading model
По умолчанию: accurate

Как текст на иврите превращается в звуки. accurate — полная модель, 1,2 ГБ, около 2 ГБ памяти. compact — та же модель в уменьшенном виде, 312 МБ: в нашем тесте она читала примерно 1 слово из 200 иначе, чаще неправильно.

Fallback reference clip
По умолчанию: пусто

Клип для голоса-клона, когда Subtitld не может вырезать его из видео, например если видео не открыто: около 10 секунд речи одного человека, чистой, не записанной на телефон.

Языки

Иврит, английский, немецкий, испанский, итальянский, русский и идиш. Для проекта на любом другом языке появится сообщение об этом: выберите для него другой движок дублирования.

Испанский зависит от региона проекта: для Испании — кастильский, для любого другого региона — латиноамериканский испанский. Числа, даты, цены и коды читаются словами, кроме идиша: на идише пишите числа словами, иначе реплика будет отклонена с сообщением об этом.

  • he
  • en
  • de
  • es
  • it
  • ru
  • yi

Платформы

Система ЗагрузкаПроверено
Linux x86-64 61.7 MBОзвучено реальной моделью на реальной машине, через менеджер дополнений Subtitld, и в CI
macOS (Apple silicon) 43.8 MBОзвучено реальной моделью в CI (Apple Silicon)
Windows x86-64 37.3 MBОзвучено реальной моделью в CI

Linux x86-64, macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модели и озвучивает реплику на каждом языке.

Устранение неполадок

  • network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.
  • disk_fullНедостаточно места на диске для модели: 428 МБ и до 1,7 ГБ дополнительно для иврита, идиша и собственного голоса говорящего.
  • unsupported_languageЯзык проекта не входит в эти семь или не задан. Задайте его в проекте или выберите другой движок дублирования.
  • unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.
  • bad_paramsВ реплике нет текста, в реплике на идише есть цифры, или клон не получил образца: откройте видео или задайте Fallback reference clip. В сообщении сказано, что именно.
  • out_of_memoryКомпьютеру не хватило памяти. Закройте другие программы: BlueTTS нужно около 1 ГБ свободной памяти, 2,5 ГБ с ивритом.
  • internalВнутри дополнения произошёл сбой; подробности в сообщении.

Лицензия

Дополнение
Apache-2.0
Движок
MIT
BlueTTS, от Maxim Melichov; ONNX Runtime — MIT
Модель
MIT, BigScience OpenRAIL-M
Веса BlueV3; вокодер, дообученный из Supertonic-3 от Supertone, — OpenRAIL-M, с ограничениями использования
Голоса
CC-BY-4.0
Созданы из дикторов LibriTTS-R
Модели чтения
Apache-2.0, MIT, CC BY-SA
RenikudPlus (иврит), polyg2p; немецкий и итальянский лексиконы и часть лексикона идиша — CC BY-SA

Дополнение лицензировано по Apache-2.0, а код BlueTTS — по MIT. Голосовая модель тоже под MIT, кроме вокодера — части, которая превращает выход модели в звук: он дообучен из Supertonic-3 от Supertone и распространяется под лицензией BigScience OpenRAIL-M. Коммерческая работа разрешена, но OpenRAIL-M запрещает некоторые способы использования созданного, среди них нарушение закона, обман людей и выдачу себя за другого человека без его согласия. 15 голосов — под CC-BY-4.0. Немецкий и итальянский лексиконы и часть лексикона идиша — под CC BY-SA; они загружаются вместе с моделями и остаются такими, какими их публикуют авторы.

Созданный дубляж принадлежит вам. Клонированный голос звучит как настоящий человек: клонируйте только те голоса, которые вы вправе использовать, и указывайте, что дубляж синтетический, там, где это важно.

Версии

  • 26.11.1

    Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.

    The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.

    The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is bluetts-<version>-libquadmath-source.tar.gz in this release.

Другие дополнения группы «Голоса»