ZONOS3-Mini офлайн, клонирование голоса, 43 языка
Озвучивает ваши субтитры на 43 языках с помощью ZONOS3-Mini от Zyphra: одним из 27 голосов или собственным голосом каждого говорящего, клонированным из нескольких секунд видео. Работает на процессоре вашего компьютера, примерно вдвое быстрее реального времени, без видеокарты.
Настройки Дополнения ZONOS3-Mini (offline, voice clone, 43 languages) Установка
Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.
- Языки
- 43
- Модели
- 2
- Голоса
- 28
- Загрузка дополнения
- 19–24 MB
- ОЗУ, не меньше
- 2 GB
Что он делает
От арабского, бенгальского и болгарского до турецкого, урду и вьетнамского, включая японский, корейский, китайский (мандаринский), хинди и ещё восемь языков Индии. Числа, даты, цены и единицы измерения читаются по грамматике каждого языка.
Subtitld вырезает из видео образец каждого говорящего и передаёт его с каждой репликой. ZONOS3-Mini клонирует этот голос на любом из своих языков. Или выберите один из 27 голосов.
Каждая реплика проверяется прямо во время произнесения, поэтому слова не пропускаются, а реплика останавливается, когда текст прочитан, и не продолжается словами, которых нет в субтитре.
Модель загружается один раз, когда она впервые нужна для реплики. После этого ничего не покидает ваш компьютер.
Перед установкой
- Диск: 1115 МБ для модели, загружается при первой реплике, и ещё 45 МБ при первом использовании собственного голоса говорящего.
- Память: около 1,6 ГБ во время синтеза речи.
- Время: на Intel Core i7-13700T секунда речи создаётся примерно за полсекунды. Первая реплика ждёт ещё около 4 секунд, пока загружается модель, а первая реплика собственным голосом говорящего — ещё около 5 секунд, пока голос изучается.
- Процессор: 64-битный процессор Intel или AMD с AVX2 (Intel с 2013 года, AMD с 2015 года) либо Apple Silicon. Видеокарта не используется.
Голоса
На вкладке Говорящие выберите ZONOS3-Mini как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.
Голосов: 28.
| Язык записи | Женские | Мужские |
|---|---|---|
| Английский | Imogen (британский), Morgana (ведьма), Sakura (аниме), Savannah (американский), Willow (ASMR) | Cillian (ирландский), Jett (энергичный), Rupert (британский), Thaddeus (диктор), Wyatt (американский) |
| Французский | Gaspard | |
| Немецкий | Liesel | Wolfgang |
| Хинди | Ananya | Arjun |
| Итальянский | Ginevra | Lorenzo |
| Корейский | Seoyeon | Minjun |
| Китайский (мандаринский) | Meilin (энергичный) | Haoran (энергичный) |
| Португальский | Leonor | Thiago |
| Испанский | Ximena | Rodrigo |
| Телугу | Sravya | Chaitanya |
Это собственные стандартные голоса Zyphra. Каждый голос говорит на всех языках, но с акцентом того языка, на котором он записан, и на другом языке этот акцент может быть сильным: английский голос, говорящий по-русски, трудно понимать. Для языка, у которого здесь нет своего голоса, используйте собственный голос говорящего.
С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра или из нескольких коротких, склеенных вместе. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Fallback reference clip в настройках дополнения используется, только когда образец вырезать нельзя.
ZONOS3-Mini слушает до минуты образца и копирует голос, но не слова и не манеру их произнесения. Лучший образец — чистая речь близко к микрофону: шум и эхо делают клон менее похожим на говорящего, а запись с телефона даёт голос, звучащий как по телефону.
Модели
Модель не входит в дополнение: она загружается в общий кэш моделей Subtitld, когда впервые нужна для реплики, из репозитория Zyphra на Hugging Face, с закреплённой ревизией, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения её сохраняет.
| Модель | Загрузка | Подходит для |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) По умолчанию zonos3-mini | Каждая реплика, на любом языке и любым голосом | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | Собственный голос говорящего, при первом озвучивании таким голосом |
Дополнение запускает собственную среду выполнения Zyphra на ggml — тот же код, что и в локальном сервере Zyphra, — встроенную в дополнение, без PyTorch.
Если её не контролировать, модель иногда продолжает говорить после короткой реплики, добавляя несколько слов, которых нет в субтитре. Поэтому каждая реплика проходит под LACI — проверкой выравнивания от Zyphra: она следит за тем, какая часть текста сейчас произносится, повторяет пропущенный или застрявший фрагмент и останавливает реплику, как только текст прочитан. Затем дополнение обрезает реплику на первой паузе после этой точки. Эта обрезка — собственное правило дополнения, а не Zyphra. В нашем тесте коротких реплик субтитров так чисто вышли 61 из 64, против 37 из 64 без этого. Реплика, которая получилась беззвучной, создаётся заново.
Настройки
В разделе «Настройки › Дополнения › ZONOS3-Mini (offline, voice clone, 43 languages)» нажмите «Настроить».
00 использует логические процессоры компьютера, но не больше 8. Больше потоков редко ускоряет работу; меньше — компьютер отзывчивее во время озвучивания.
Клип для голоса-клона, когда Subtitld не может вырезать его из видео, например если видео не открыто: от 5 до 20 секунд речи одного человека, чистой, не записанной на телефон.
Языки
Арабский, бенгальский, болгарский, китайский (мандаринский), чешский, датский, нидерландский, английский, финский, французский, грузинский, немецкий, греческий, гуджарати, иврит, хинди, венгерский, индонезийский, итальянский, японский, каннада, корейский, малайский, малаялам, маратхи, норвежский, ория, польский, португальский, панджаби, румынский, русский, словацкий, испанский, шведский, тагальский, тамильский, телугу, тайский, турецкий, украинский, урду и вьетнамский. Для проекта на любом другом языке появится сообщение об этом: выберите для него другой движок дублирования.
Английский зависит от региона проекта: Великобритания, Ирландия, Австралия, Новая Зеландия, ЮАР и Индия получают британский английский, любой другой регион — американский. Португальский читается как бразильский португальский, а французский — как французский Франции.
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
Платформы
| Система | Загрузка | Проверено |
|---|---|---|
| Linux x86-64 | 19.0 MB | Озвучено реальной моделью из архива выпуска на AlmaLinux 8 и в CI |
| macOS (Apple silicon) | 24.0 MB | Озвучено реальной моделью в CI (Apple Silicon) |
| Windows x86-64 | 18.5 MB | Озвучено реальной моделью в CI |
Linux x86-64, macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модель и озвучивает реплики на шести языках, короткую реплику и клонированный голос.
Устранение неполадок
network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.disk_fullНедостаточно места на диске для модели: 1115 МБ и ещё 45 МБ для собственного голоса говорящего.unsupported_languageЯзык проекта не входит в эти 43 или не задан. Задайте его в проекте или выберите другой движок дублирования.unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.bad_paramsВ реплике нет текста, или клон не получил образца: откройте видео или задайте Fallback reference clip. В сообщении сказано, что именно.out_of_memoryКомпьютеру не хватило памяти. Закройте другие программы: ZONOS3-Mini нужно около 2 ГБ свободной памяти.internalВнутри дополнения произошёл сбой; подробности в сообщении. На старом процессоре без AVX2 сообщение скажет об этом.
Лицензия
Дополнение лицензировано по Apache-2.0. Веса ZONOS3-Mini и его стандартные голоса — под Apache-2.0, а среда выполнения Zyphra — под MIT, так что коммерческая работа разрешена. Чтение текста, zyphra-textnorm, — под MIT, с грамматиками, перенесёнными из NeMo-text-processing от NVIDIA (Apache-2.0), и данными из Unicode CLDR.
Созданный дубляж принадлежит вам. Клонированный голос звучит как настоящий человек: клонируйте только те голоса, которые вы вправе использовать, и указывайте, что дубляж синтетический, там, где это важно.
Версии
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
Другие дополнения группы «Голоса»
-
Piper Офлайн
158 офлайн-голосов на 49 языках, каждый отдельной небольшой загрузкой.
-
Kokoro Офлайн
54 офлайн-голоса на девяти языках, все из одной модели на 82 МБ.
-
Supertonic Офлайн
Десять офлайн-голосов, каждый может говорить на всех 31 языке.
-
sanoTTS Офлайн
Крохотные офлайн-голоса, 28 на 14 языках, каждый меньше 10 МБ.
-
Parler-TTS Офлайн
Английские голоса, которые следуют письменному описанию; 34 именованных диктора.
-
Qwen3-TTS Клонирование
Десять языков, девять голосов и клонирование по 3 секундам речи говорящего.
-
Coqui XTTS Клонирование
Клонирование голоса на 16 языках, с некоммерческой лицензией модели.
-
F5-TTS Клонирование
Только клонирование голоса, на английском и китайском; некоммерческая модель.
-
VoxCPM2 Клонирование
30 языков в 48 кГц, голосом самого говорящего или описанным голосом. Тяжёлое.
-
Pocket TTS Офлайн
Быстрое и лёгкое, только процессор. 23 голоса на семи европейских языках.
-
Sopro Клонирование
Собственный голос говорящего, быстро на процессоре. Четыре языка.
-
KittenTTS 2 Клонирование
Собственный голос говорящего на 16 языках, на процессоре. Веса под ограничительной лицензией.
-
Ming-3.0-tts Клонирование
7 языков в 44,1 кГц: клонированные, встроенные или описанные голоса, с эмоциями. Тяжёлое.
-
Scylla's Band Офлайн
Четырнадцать голосов на шести языках, легко и быстро на процессоре. Только готовые голоса.
-
Audio8 TTS Клонирование
Собственный голос говорящего на 11 языках, включая кантонский. Медленно на процессоре.
-
Inflect Офлайн
Естественная английская речь от крошечной модели, быстро на любом процессоре.
-
Paradee Офлайн
Четыре естественных английских голоса, американские и британские, от одной модели размером 8,5 МБ.
-
BlueTTS Клонирование
Иврит и идиш, плюс ещё пять языков. Собственный голос говорящего, быстро на процессоре.
-
Chatterbox Клонирование
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…