BlueTTS офлайн, клонирование голоса, иврит + 6 языков
Озвучивает ваши субтитры на иврите, английском, немецком, испанском, итальянском, русском и идише с помощью BlueV3 от Maxim Melichov: одним из 15 голосов или собственным голосом каждого говорящего, клонированным примерно из десяти секунд видео. Работает на процессоре вашего компьютера, в три–пять раз быстрее реального времени, без видеокарты.
Настройки Дополнения BlueTTS (offline, voice clone, Hebrew + 6 languages) Установка
Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.
- Языки
- 7
- Модели
- 5
- Голоса
- 16
- Загрузка дополнения
- 37–62 MB
- ОЗУ, не меньше
- 2.5 GB
Что он делает
BlueTTS создавался прежде всего для иврита: он читает текст на иврите без огласовок, включая числа, даты и цены, а английские слова внутри реплики на иврите читает по-английски. Он также говорит на идише, что умеют немногие движки дублирования.
Subtitld вырезает из видео около десяти секунд каждого говорящего и передаёт их с каждой репликой. BlueTTS клонирует этот голос на любом из своих семи языков. Или выберите один из 15 голосов.
На процессоре ноутбука он говорит в три–пять раз быстрее реального времени. Видеокарта не используется.
Каждая часть загружается один раз, когда она впервые нужна для реплики. После этого ничего не покидает ваш компьютер.
Перед установкой
Что нужно BlueTTS, зависит от языков, на которые вы озвучиваете:
- Диск: 428 МБ для модели, загружается при первой реплике. Иврит добавляет 1,2 ГБ (или 312 МБ с компактной моделью чтения), идиш — 307 МБ, собственный голос говорящего — 136 МБ, каждое при первом использовании.
- Память: около 700 МБ во время синтеза речи, около 2 ГБ после загрузки иврита.
- Время: на Intel Core i7-13700T секунда речи создаётся примерно за пятую долю секунды, на иврите — примерно за треть секунды. Первая реплика на иврите ждёт ещё около 15 секунд, пока загружается модель чтения.
- Процессор: любой 64-битный процессор Intel или AMD либо Apple Silicon. Видеокарта не используется.
Голоса
На вкладке Говорящие выберите BlueTTS как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.
Голосов: 16.
| Голоса | |
|---|---|
| Женские | Noa, Maya, Lily, Tamar, Shira, Yael, Emma, Sara |
| Мужские | Adam, Daniel, David, Jonathan, Ethan, Michael, Ariel |
Каждый голос говорит на всех семи языках, на каждом в своём естественном темпе. Голоса созданы из чтецов корпуса аудиокниг LibriTTS-R.
С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра или из нескольких коротких, склеенных вместе. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Fallback reference clip в настройках дополнения используется, только когда образец вырезать нельзя.
BlueTTS слушает примерно первые девять секунд образца и копирует тембр и высоту голоса, но не манеру речи. Лучший образец — чистая речь близко к микрофону: шум и эхо делают клон менее похожим на говорящего, а запись с телефона даёт голос, звучащий как по телефону.
Модели
Модель и модели чтения не входят в дополнение: каждая загружается в общий кэш моделей Subtitld, когда она впервые нужна для реплики, с Hugging Face, с закреплённой ревизией, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения их сохраняет.
| Модель | Загрузка | Подходит для |
|---|---|---|
| BlueV3 v3.0.1 (ONNX) with the G2P data of en/de/es/it/ru По умолчанию bluev3 | Каждая реплика: голоса и чтение английского, немецкого, испанского, итальянского и русского | |
| BlueV3 reference encoder (voice cloning) bluev3-reference-encoder | Собственный голос говорящего, при первом озвучивании таким голосом | |
| RenikudPlus Hebrew G2P renikudplus | Иврит, при первом озвучивании на нём (по умолчанию) | |
| RenikudPlus Hebrew G2P, compact (int8) renikudplus-int8 | Иврит, если выбрана компактная модель чтения | |
| ReNikud-yi Yiddish context model renikud-yi | Идиш, при первом озвучивании на нём |
Дополнение запускает собственный код BlueTTS на ONNX Runtime, без PyTorch. С тем же голосом, репликой и seed оно даёт ровно то же, что и собственный Python-пакет BlueTTS.
Настройки
В разделе «Настройки › Дополнения › BlueTTS (offline, voice clone, Hebrew + 6 languages)» нажмите «Настроить».
00 использует логические процессоры компьютера, но не больше 8. Больше потоков редко ускоряет работу; меньше — компьютер отзывчивее во время озвучивания.
8Сколько проходов модель делает по каждой реплике. 8 — собственное значение BlueTTS. 4 — примерно в 1,7 раза быстрее, с немного более низким качеством.
accurateКак текст на иврите превращается в звуки. accurate — полная модель, 1,2 ГБ, около 2 ГБ памяти. compact — та же модель в уменьшенном виде, 312 МБ: в нашем тесте она читала примерно 1 слово из 200 иначе, чаще неправильно.
Клип для голоса-клона, когда Subtitld не может вырезать его из видео, например если видео не открыто: около 10 секунд речи одного человека, чистой, не записанной на телефон.
Языки
Иврит, английский, немецкий, испанский, итальянский, русский и идиш. Для проекта на любом другом языке появится сообщение об этом: выберите для него другой движок дублирования.
Испанский зависит от региона проекта: для Испании — кастильский, для любого другого региона — латиноамериканский испанский. Числа, даты, цены и коды читаются словами, кроме идиша: на идише пишите числа словами, иначе реплика будет отклонена с сообщением об этом.
heendeesitruyi
Платформы
| Система | Загрузка | Проверено |
|---|---|---|
| Linux x86-64 | 61.7 MB | Озвучено реальной моделью на реальной машине, через менеджер дополнений Subtitld, и в CI |
| macOS (Apple silicon) | 43.8 MB | Озвучено реальной моделью в CI (Apple Silicon) |
| Windows x86-64 | 37.3 MB | Озвучено реальной моделью в CI |
Linux x86-64, macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модели и озвучивает реплику на каждом языке.
Устранение неполадок
network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.disk_fullНедостаточно места на диске для модели: 428 МБ и до 1,7 ГБ дополнительно для иврита, идиша и собственного голоса говорящего.unsupported_languageЯзык проекта не входит в эти семь или не задан. Задайте его в проекте или выберите другой движок дублирования.unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.bad_paramsВ реплике нет текста, в реплике на идише есть цифры, или клон не получил образца: откройте видео или задайте Fallback reference clip. В сообщении сказано, что именно.out_of_memoryКомпьютеру не хватило памяти. Закройте другие программы: BlueTTS нужно около 1 ГБ свободной памяти, 2,5 ГБ с ивритом.internalВнутри дополнения произошёл сбой; подробности в сообщении.
Лицензия
Дополнение лицензировано по Apache-2.0, а код BlueTTS — по MIT. Голосовая модель тоже под MIT, кроме вокодера — части, которая превращает выход модели в звук: он дообучен из Supertonic-3 от Supertone и распространяется под лицензией BigScience OpenRAIL-M. Коммерческая работа разрешена, но OpenRAIL-M запрещает некоторые способы использования созданного, среди них нарушение закона, обман людей и выдачу себя за другого человека без его согласия. 15 голосов — под CC-BY-4.0. Немецкий и итальянский лексиконы и часть лексикона идиша — под CC BY-SA; они загружаются вместе с моделями и остаются такими, какими их публикуют авторы.
Созданный дубляж принадлежит вам. Клонированный голос звучит как настоящий человек: клонируйте только те голоса, которые вы вправе использовать, и указывайте, что дубляж синтетический, там, где это важно.
Версии
- 26.11.1
Text-to-speech for Subtitld with BlueTTS (BlueV3 v3.0.1, by Maxim Melichov): Hebrew, English, German, Spanish, Italian, Russian and Yiddish at 44.1 kHz, in 15 stock voices or in the speaker's own voice cloned from the video.
The archive holds the add-on, ONNX Runtime and the text front ends. The model (428 MB) downloads on the first line; Hebrew (1.2 GB, or 312 MB compact), Yiddish (307 MB) and cloning (136 MB) download when a line first needs them. Every file is pinned to a revision and checked by sha256. It runs on the CPU, several times faster than real time.
The add-on is Apache-2.0; BlueTTS's code is MIT. The model's vocoder weights are under BigScience OpenRAIL-M, whose use restrictions apply to the speech it makes; the stock voices are CC-BY-4.0 (LibriTTS-R); the German, Italian and some Yiddish lexicons are CC BY-SA. Each archive carries
THIRD_PARTY_LICENSES/with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source isbluetts-<version>-libquadmath-source.tar.gzin this release.
Другие дополнения группы «Голоса»
-
Piper Офлайн
158 офлайн-голосов на 49 языках, каждый отдельной небольшой загрузкой.
-
Kokoro Офлайн
54 офлайн-голоса на девяти языках, все из одной модели на 82 МБ.
-
Supertonic Офлайн
Десять офлайн-голосов, каждый может говорить на всех 31 языке.
-
sanoTTS Офлайн
Крохотные офлайн-голоса, 28 на 14 языках, каждый меньше 10 МБ.
-
Parler-TTS Офлайн
Английские голоса, которые следуют письменному описанию; 34 именованных диктора.
-
Qwen3-TTS Клонирование
Десять языков, девять голосов и клонирование по 3 секундам речи говорящего.
-
Coqui XTTS Клонирование
Клонирование голоса на 16 языках, с некоммерческой лицензией модели.
-
F5-TTS Клонирование
Только клонирование голоса, на английском и китайском; некоммерческая модель.
-
VoxCPM2 Клонирование
30 языков в 48 кГц, голосом самого говорящего или описанным голосом. Тяжёлое.
-
Pocket TTS Офлайн
Быстрое и лёгкое, только процессор. 23 голоса на семи европейских языках.
-
Sopro Клонирование
Собственный голос говорящего, быстро на процессоре. Четыре языка.
-
KittenTTS 2 Клонирование
Собственный голос говорящего на 16 языках, на процессоре. Веса под ограничительной лицензией.
-
Ming-3.0-tts Клонирование
7 языков в 44,1 кГц: клонированные, встроенные или описанные голоса, с эмоциями. Тяжёлое.
-
Scylla's Band Офлайн
Четырнадцать голосов на шести языках, легко и быстро на процессоре. Только готовые голоса.
-
Audio8 TTS Клонирование
Собственный голос говорящего на 11 языках, включая кантонский. Медленно на процессоре.
-
Inflect Офлайн
Естественная английская речь от крошечной модели, быстро на любом процессоре.
-
Paradee Офлайн
Четыре естественных английских голоса, американские и британские, от одной модели размером 8,5 МБ.
-
Chatterbox Клонирование
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…