ZONOS3-Mini офлайн, клонування голосу, 43 мови

ГолосиОфлайнЛише CPUКлонування голосуКомерційне використання дозволено

Озвучує ваші субтитри 43 мовами за допомогою ZONOS3-Mini від Zyphra: одним із 27 голосів або власним голосом кожного мовця, клонованим з кількох секунд відео. Працює на процесорі вашого комп’ютера, приблизно вдвічі швидше за реальний час, без відеокарти.

Встановіть його з Subtitld

Налаштування Додатки ZONOS3-Mini (offline, voice clone, 43 languages) Встановити

Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.

Джерело на GitHub
Мови
43
Моделі
2
Голоси
28
Завантаження додатка
19–24 MB
ОЗП, щонайменше
2 GB

Що це робить

43 мови

Від арабської, бенгальської та болгарської до турецької, урду та в’єтнамської, зокрема японська, корейська, китайська (мандаринська), гінді й ще вісім мов Індії. Числа, дати, ціни й одиниці виміру читаються за граматикою кожної мови.

Власний голос мовця

Subtitld вирізає з відео зразок кожного мовця й передає його з кожною реплікою. ZONOS3-Mini клонує цей голос будь-якою зі своїх мов. Або оберіть один із 27 голосів.

Репліка закінчується там, де закінчується текст

Кожну репліку перевіряють просто під час вимовляння, тож слова не пропускаються, а репліка зупиняється, щойно текст прочитано, і не продовжується словами, яких немає в субтитрі.

Офлайн після першої репліки

Модель завантажується один раз, коли вона вперше потрібна для репліки. Після цього ніщо не залишає ваш комп’ютер.

Перед встановленням

  • Диск: 1115 МБ для моделі, завантажується під час першої репліки, і ще 45 МБ під час першого використання власного голосу мовця.
  • Пам’ять: близько 1,6 ГБ під час синтезу мовлення.
  • Час: на Intel Core i7-13700T секунда мовлення створюється приблизно за пів секунди. Перша репліка чекає ще близько 4 секунд, поки завантажується модель, а перша репліка власним голосом мовця — ще близько 5 секунд, поки голос вивчається.
  • Процесор: 64-розрядний процесор Intel або AMD з AVX2 (Intel з 2013 року, AMD з 2015 року) чи Apple Silicon. Відеокарта не використовується.

Голоси

На вкладці Мовці оберіть ZONOS3-Mini як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.

28 голосів.

Мова запису Жіночі Чоловічі
Англійська Imogen (британський), Morgana (відьма), Sakura (аніме), Savannah (американський), Willow (ASMR) Cillian (ірландський), Jett (енергійний), Rupert (британський), Thaddeus (диктор), Wyatt (американський)
Французька Gaspard
Німецька Liesel Wolfgang
Гінді Ananya Arjun
Італійська Ginevra Lorenzo
Корейська Seoyeon Minjun
Китайська (мандаринська) Meilin (енергійний) Haoran (енергійний)
Португальська Leonor Thiago
Іспанська Ximena Rodrigo
Телугу Sravya Chaitanya

Це власні стандартні голоси Zyphra. Кожен голос говорить усіма мовами, але з акцентом мови, якою його записано, і в іншій мові цей акцент може бути сильним: англійський голос, що говорить російською, важко зрозуміти. Для мови, яка не має тут власного голосу, використовуйте власний голос мовця.

З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту: з одного його субтитру або з кількох коротких, з’єднаних разом. Якщо ви відокремили музику від голосу для цього відео, зразок береться лише з голосу. Fallback reference clip у налаштуваннях додатка використовується лише тоді, коли зразок вирізати не вдалося.

ZONOS3-Mini слухає до хвилини зразка й копіює голос, але не слова і не манеру їх вимови. Найкращий зразок — чисте мовлення близько до мікрофона: шум і луна роблять клон менш схожим на мовця, а запис із телефона дає голос, що звучить як у телефоні.

Моделі

Модель не входить до додатка: вона завантажується до спільного кешу моделей Subtitld, коли вперше потрібна для репліки, з репозиторію Zyphra на Hugging Face, із закріпленою ревізією, і кожен файл перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка її зберігає.

Модель ЗавантаженняДобре для
ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) За замовчуванням zonos3-mini
1.1 GB
Кожна репліка, будь-якою мовою й будь-яким голосом
ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder
45 MB
Власний голос мовця, під час першого озвучування таким голосом

Додаток запускає власне середовище виконання Zyphra на ggml — той самий код, що й у локальному сервері Zyphra, — вбудоване в додаток, без PyTorch.

Без нагляду модель іноді продовжує говорити після короткої репліки, додаючи кілька слів, яких немає в субтитрі. Тому кожна репліка проходить під LACI — перевіркою вирівнювання від Zyphra: вона стежить, яку частину тексту зараз вимовлено, повторює пропущений або застряглий фрагмент і зупиняє репліку, щойно текст прочитано. Потім додаток обрізає репліку на першій паузі після цієї точки. Це обрізання — власне правило додатка, а не Zyphra. У нашому тесті коротких реплік субтитрів так чисто вийшли 61 з 64, проти 37 з 64 без цього. Репліку, що вийшла беззвучною, створюють заново.

Параметри

У Налаштуваннях › Додатки › ZONOS3-Mini (offline, voice clone, 43 languages) › Налаштувати.

CPU threads
За замовчуванням: 0

0 використовує логічні процесори комп’ютера, але не більше 8. Більше потоків рідко пришвидшує роботу; менше — комп’ютер чутливіший під час озвучування.

Fallback reference clip
За замовчуванням: порожньо

Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: від 5 до 20 секунд чистого мовлення однієї людини, не запис із телефона.

Мови

Арабська, бенгальська, болгарська, китайська (мандаринська), чеська, данська, нідерландська, англійська, фінська, французька, грузинська, німецька, грецька, гуджараті, іврит, гінді, угорська, індонезійська, італійська, японська, каннада, корейська, малайська, малаялам, маратхі, норвезька, орія, польська, португальська, панджабі, румунська, російська, словацька, іспанська, шведська, тагальська, тамільська, телугу, тайська, турецька, українська, урду та в’єтнамська. Для проєкту будь-якою іншою мовою з’явиться відповідне повідомлення: оберіть для нього інший рушій дублювання.

Англійська залежить від регіону проєкту: Велика Британія, Ірландія, Австралія, Нова Зеландія, Південна Африка та Індія отримують британську англійську, будь-який інший регіон — американську. Португальська читається як бразильська португальська, а французька — як французька Франції.

  • en
  • fr
  • de
  • es
  • it
  • pt
  • ja
  • zh
  • ko
  • ar
  • bn
  • bg
  • cs
  • da
  • nl
  • fi
  • ka
  • el
  • gu
  • he
  • hi
  • hu
  • id
  • kn
  • ms
  • ml
  • mr
  • nb
  • or
  • pl
  • pa
  • ro
  • ru
  • sk
  • sv
  • tl
  • ta
  • te
  • th
  • tr
  • uk
  • ur
  • vi

Платформи

Система ЗавантаженняПеревірено
Linux x86-64 19.0 MBОзвучено справжньою моделлю з архіву релізу на AlmaLinux 8 і в CI
macOS (Apple silicon) 24.0 MBОзвучено справжньою моделлю в CI (Apple Silicon)
Windows x86-64 18.5 MBОзвучено справжньою моделлю в CI

Linux x86-64, macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній з них CI встановлює додаток так само, як це робить Subtitld, завантажує модель і озвучує репліки шістьма мовами, коротку репліку та клонований голос.

Усунення несправностей

  • network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.
  • disk_fullНедостатньо місця на диску для моделі: 1115 МБ і ще 45 МБ для власного голосу мовця.
  • unsupported_languageМова проєкту не входить до цих 43 або не задана. Задайте її в проєкті або оберіть інший рушій дублювання.
  • unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.
  • bad_paramsУ репліці немає тексту, або клон не отримав зразка: відкрийте відео або встановіть Fallback reference clip. Повідомлення вказує, що саме.
  • out_of_memoryКомп’ютеру забракло пам’яті. Закрийте інші програми: ZONOS3-Mini потребує близько 2 ГБ вільної пам’яті.
  • internalУсередині додатка стався збій; подробиці в повідомленні. На старішому процесорі без AVX2 повідомлення про це скаже.

Ліцензія

Додаток
Apache-2.0
Рушій
MIT
Середовище виконання ZONOS3-Mini від Zyphra, з ggml
Модель
Apache-2.0
Ваги ZONOS3-Mini, від Zyphra
Голоси
Apache-2.0
Стандартні голоси Zyphra
Читання тексту
MIT, Apache-2.0, Unicode-3.0
zyphra-textnorm, із граматиками, перенесеними з NeMo-text-processing від NVIDIA, і даними з Unicode CLDR

Додаток має ліцензію Apache-2.0. Ваги ZONOS3-Mini та його стандартні голоси мають ліцензію Apache-2.0, а середовище виконання Zyphra — MIT, тож комерційна робота дозволена. Читання тексту, zyphra-textnorm, — під MIT, із граматиками, перенесеними з NeMo-text-processing від NVIDIA (Apache-2.0), і даними з Unicode CLDR.

Створений дубляж належить вам. Клонований голос звучить як справжня людина: клонуйте лише ті голоси, які ви маєте право використовувати, і зазначайте, що дубляж синтетичний, там, де це важливо.

Версії

  • 26.11.1

    First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.

    • 43 languages, at 44.1 kHz.
    • 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
    • The speaker's own voice, cloned from 5 to 20 seconds of the video.
    • Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
    • Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
    • Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
    • Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.

    Linux builds run on glibc 2.28 and newer.

Інші додатки групи «Голоси»