ZONOS3-Mini офлайн, клонирование голоса, 43 языка

ГолосаОфлайнТолько CPUКлонирование голосаКоммерческое использование разрешено

Озвучивает ваши субтитры на 43 языках с помощью ZONOS3-Mini от Zyphra: одним из 27 голосов или собственным голосом каждого говорящего, клонированным из нескольких секунд видео. Работает на процессоре вашего компьютера, примерно вдвое быстрее реального времени, без видеокарты.

Установите из Subtitld

Настройки Дополнения ZONOS3-Mini (offline, voice clone, 43 languages) Установка

Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.

Исходный код на GitHub
Языки
43
Модели
2
Голоса
28
Загрузка дополнения
19–24 MB
ОЗУ, не меньше
2 GB

Что он делает

43 языка

От арабского, бенгальского и болгарского до турецкого, урду и вьетнамского, включая японский, корейский, китайский (мандаринский), хинди и ещё восемь языков Индии. Числа, даты, цены и единицы измерения читаются по грамматике каждого языка.

Собственный голос говорящего

Subtitld вырезает из видео образец каждого говорящего и передаёт его с каждой репликой. ZONOS3-Mini клонирует этот голос на любом из своих языков. Или выберите один из 27 голосов.

Реплика кончается там, где кончается текст

Каждая реплика проверяется прямо во время произнесения, поэтому слова не пропускаются, а реплика останавливается, когда текст прочитан, и не продолжается словами, которых нет в субтитре.

Офлайн после первой реплики

Модель загружается один раз, когда она впервые нужна для реплики. После этого ничего не покидает ваш компьютер.

Перед установкой

  • Диск: 1115 МБ для модели, загружается при первой реплике, и ещё 45 МБ при первом использовании собственного голоса говорящего.
  • Память: около 1,6 ГБ во время синтеза речи.
  • Время: на Intel Core i7-13700T секунда речи создаётся примерно за полсекунды. Первая реплика ждёт ещё около 4 секунд, пока загружается модель, а первая реплика собственным голосом говорящего — ещё около 5 секунд, пока голос изучается.
  • Процессор: 64-битный процессор Intel или AMD с AVX2 (Intel с 2013 года, AMD с 2015 года) либо Apple Silicon. Видеокарта не используется.

Голоса

На вкладке Говорящие выберите ZONOS3-Mini как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр.

Голосов: 28.

Язык записи Женские Мужские
Английский Imogen (британский), Morgana (ведьма), Sakura (аниме), Savannah (американский), Willow (ASMR) Cillian (ирландский), Jett (энергичный), Rupert (британский), Thaddeus (диктор), Wyatt (американский)
Французский Gaspard
Немецкий Liesel Wolfgang
Хинди Ananya Arjun
Итальянский Ginevra Lorenzo
Корейский Seoyeon Minjun
Китайский (мандаринский) Meilin (энергичный) Haoran (энергичный)
Португальский Leonor Thiago
Испанский Ximena Rodrigo
Телугу Sravya Chaitanya

Это собственные стандартные голоса Zyphra. Каждый голос говорит на всех языках, но с акцентом того языка, на котором он записан, и на другом языке этот акцент может быть сильным: английский голос, говорящий по-русски, трудно понимать. Для языка, у которого здесь нет своего голоса, используйте собственный голос говорящего.

С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта: из одного его субтитра или из нескольких коротких, склеенных вместе. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Fallback reference clip в настройках дополнения используется, только когда образец вырезать нельзя.

ZONOS3-Mini слушает до минуты образца и копирует голос, но не слова и не манеру их произнесения. Лучший образец — чистая речь близко к микрофону: шум и эхо делают клон менее похожим на говорящего, а запись с телефона даёт голос, звучащий как по телефону.

Модели

Модель не входит в дополнение: она загружается в общий кэш моделей Subtitld, когда впервые нужна для реплики, из репозитория Zyphra на Hugging Face, с закреплённой ревизией, и каждый файл проверяется. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения её сохраняет.

Модель ЗагрузкаПодходит для
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) По умолчанию zonos3-mini
1.1 GB
Каждая реплика, на любом языке и любым голосом
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
Собственный голос говорящего, при первом озвучивании таким голосом

Дополнение запускает собственную среду выполнения Zyphra на ggml — тот же код, что и в локальном сервере Zyphra, — встроенную в дополнение, без PyTorch.

Если её не контролировать, модель иногда продолжает говорить после короткой реплики, добавляя несколько слов, которых нет в субтитре. Поэтому каждая реплика проходит под LACI — проверкой выравнивания от Zyphra: она следит за тем, какая часть текста сейчас произносится, повторяет пропущенный или застрявший фрагмент и останавливает реплику, как только текст прочитан. Затем дополнение обрезает реплику на первой паузе после этой точки. Эта обрезка — собственное правило дополнения, а не Zyphra. В нашем тесте коротких реплик субтитров так чисто вышли 61 из 64, против 37 из 64 без этого. Реплика, которая получилась беззвучной, создаётся заново.

Настройки

В разделе «Настройки › Дополнения › ZONOS3-Mini (offline, voice clone, 43 languages)» нажмите «Настроить».

CPU threads
По умолчанию: 0

0 использует логические процессоры компьютера, но не больше 8. Больше потоков редко ускоряет работу; меньше — компьютер отзывчивее во время озвучивания.

Fallback reference clip
По умолчанию: пусто

Клип для голоса-клона, когда Subtitld не может вырезать его из видео, например если видео не открыто: от 5 до 20 секунд речи одного человека, чистой, не записанной на телефон.

Языки

Арабский, бенгальский, болгарский, китайский (мандаринский), чешский, датский, нидерландский, английский, финский, французский, грузинский, немецкий, греческий, гуджарати, иврит, хинди, венгерский, индонезийский, итальянский, японский, каннада, корейский, малайский, малаялам, маратхи, норвежский, ория, польский, португальский, панджаби, румынский, русский, словацкий, испанский, шведский, тагальский, тамильский, телугу, тайский, турецкий, украинский, урду и вьетнамский. Для проекта на любом другом языке появится сообщение об этом: выберите для него другой движок дублирования.

Английский зависит от региона проекта: Великобритания, Ирландия, Австралия, Новая Зеландия, ЮАР и Индия получают британский английский, любой другой регион — американский. Португальский читается как бразильский португальский, а французский — как французский Франции.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Платформы

Система ЗагрузкаПроверено
Linux x86-64 19.0 MBОзвучено реальной моделью из архива выпуска на AlmaLinux 8 и в CI
macOS (Apple silicon) 24.0 MBОзвучено реальной моделью в CI (Apple Silicon)
Windows x86-64 18.5 MBОзвучено реальной моделью в CI

Linux x86-64, macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модель и озвучивает реплики на шести языках, короткую реплику и клонированный голос.

Устранение неполадок

  • network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.
  • disk_fullНедостаточно места на диске для модели: 1115 МБ и ещё 45 МБ для собственного голоса говорящего.
  • unsupported_languageЯзык проекта не входит в эти 43 или не задан. Задайте его в проекте или выберите другой движок дублирования.
  • unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.
  • bad_paramsВ реплике нет текста, или клон не получил образца: откройте видео или задайте Fallback reference clip. В сообщении сказано, что именно.
  • out_of_memoryКомпьютеру не хватило памяти. Закройте другие программы: ZONOS3-Mini нужно около 2 ГБ свободной памяти.
  • internalВнутри дополнения произошёл сбой; подробности в сообщении. На старом процессоре без AVX2 сообщение скажет об этом.

Лицензия

Дополнение
Apache-2.0
Движок
MIT
Среда выполнения ZONOS3-Mini от Zyphra, с ggml
Модель
Apache-2.0
Веса ZONOS3-Mini, от Zyphra
Голоса
Apache-2.0
Стандартные голоса Zyphra
Чтение текста
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm, с грамматиками, перенесёнными из NeMo-text-processing от NVIDIA, и данными из Unicode CLDR

Дополнение лицензировано по Apache-2.0. Веса ZONOS3-Mini и его стандартные голоса — под Apache-2.0, а среда выполнения Zyphra — под MIT, так что коммерческая работа разрешена. Чтение текста, zyphra-textnorm, — под MIT, с грамматиками, перенесёнными из NeMo-text-processing от NVIDIA (Apache-2.0), и данными из Unicode CLDR.

Созданный дубляж принадлежит вам. Клонированный голос звучит как настоящий человек: клонируйте только те голоса, которые вы вправе использовать, и указывайте, что дубляж синтетический, там, где это важно.

Версии

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Другие дополнения группы «Голоса»