ZONOS3-Mini офлайн, клонування голосу, 43 мови
Озвучує ваші субтитри 43 мовами за допомогою ZONOS3-Mini від Zyphra: одним із 27 голосів або власним голосом кожного мовця, клонованим з кількох секунд відео. Працює на процесорі вашого комп’ютера, приблизно вдвічі швидше за реальний час, без відеокарти.
Налаштування Додатки ZONOS3-Mini (offline, voice clone, 43 languages) Встановити
Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.
- Мови
- 43
- Моделі
- 2
- Голоси
- 28
- Завантаження додатка
- 19–24 MB
- ОЗП, щонайменше
- 2 GB
Що це робить
Від арабської, бенгальської та болгарської до турецької, урду та в’єтнамської, зокрема японська, корейська, китайська (мандаринська), гінді й ще вісім мов Індії. Числа, дати, ціни й одиниці виміру читаються за граматикою кожної мови.
Subtitld вирізає з відео зразок кожного мовця й передає його з кожною реплікою. ZONOS3-Mini клонує цей голос будь-якою зі своїх мов. Або оберіть один із 27 голосів.
Кожну репліку перевіряють просто під час вимовляння, тож слова не пропускаються, а репліка зупиняється, щойно текст прочитано, і не продовжується словами, яких немає в субтитрі.
Модель завантажується один раз, коли вона вперше потрібна для репліки. Після цього ніщо не залишає ваш комп’ютер.
Перед встановленням
- Диск: 1115 МБ для моделі, завантажується під час першої репліки, і ще 45 МБ під час першого використання власного голосу мовця.
- Пам’ять: близько 1,6 ГБ під час синтезу мовлення.
- Час: на Intel Core i7-13700T секунда мовлення створюється приблизно за пів секунди. Перша репліка чекає ще близько 4 секунд, поки завантажується модель, а перша репліка власним голосом мовця — ще близько 5 секунд, поки голос вивчається.
- Процесор: 64-розрядний процесор Intel або AMD з AVX2 (Intel з 2013 року, AMD з 2015 року) чи Apple Silicon. Відеокарта не використовується.
Голоси
На вкладці Мовці оберіть ZONOS3-Mini як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.
28 голосів.
| Мова запису | Жіночі | Чоловічі |
|---|---|---|
| Англійська | Imogen (британський), Morgana (відьма), Sakura (аніме), Savannah (американський), Willow (ASMR) | Cillian (ірландський), Jett (енергійний), Rupert (британський), Thaddeus (диктор), Wyatt (американський) |
| Французька | Gaspard | |
| Німецька | Liesel | Wolfgang |
| Гінді | Ananya | Arjun |
| Італійська | Ginevra | Lorenzo |
| Корейська | Seoyeon | Minjun |
| Китайська (мандаринська) | Meilin (енергійний) | Haoran (енергійний) |
| Португальська | Leonor | Thiago |
| Іспанська | Ximena | Rodrigo |
| Телугу | Sravya | Chaitanya |
Це власні стандартні голоси Zyphra. Кожен голос говорить усіма мовами, але з акцентом мови, якою його записано, і в іншій мові цей акцент може бути сильним: англійський голос, що говорить російською, важко зрозуміти. Для мови, яка не має тут власного голосу, використовуйте власний голос мовця.
З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту: з одного його субтитру або з кількох коротких, з’єднаних разом. Якщо ви відокремили музику від голосу для цього відео, зразок береться лише з голосу. Fallback reference clip у налаштуваннях додатка використовується лише тоді, коли зразок вирізати не вдалося.
ZONOS3-Mini слухає до хвилини зразка й копіює голос, але не слова і не манеру їх вимови. Найкращий зразок — чисте мовлення близько до мікрофона: шум і луна роблять клон менш схожим на мовця, а запис із телефона дає голос, що звучить як у телефоні.
Моделі
Модель не входить до додатка: вона завантажується до спільного кешу моделей Subtitld, коли вперше потрібна для репліки, з репозиторію Zyphra на Hugging Face, із закріпленою ревізією, і кожен файл перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка її зберігає.
| Модель | Завантаження | Добре для |
|---|---|---|
| ZONOS3-Mini (backbone Q4/Q8 + waveform decoder, GGUF) За замовчуванням zonos3-mini | Кожна репліка, будь-якою мовою й будь-яким голосом | |
| ZONOS3-Mini speaker encoder (voice cloning) zonos3-speaker-encoder | Власний голос мовця, під час першого озвучування таким голосом |
Додаток запускає власне середовище виконання Zyphra на ggml — той самий код, що й у локальному сервері Zyphra, — вбудоване в додаток, без PyTorch.
Без нагляду модель іноді продовжує говорити після короткої репліки, додаючи кілька слів, яких немає в субтитрі. Тому кожна репліка проходить під LACI — перевіркою вирівнювання від Zyphra: вона стежить, яку частину тексту зараз вимовлено, повторює пропущений або застряглий фрагмент і зупиняє репліку, щойно текст прочитано. Потім додаток обрізає репліку на першій паузі після цієї точки. Це обрізання — власне правило додатка, а не Zyphra. У нашому тесті коротких реплік субтитрів так чисто вийшли 61 з 64, проти 37 з 64 без цього. Репліку, що вийшла беззвучною, створюють заново.
Параметри
У Налаштуваннях › Додатки › ZONOS3-Mini (offline, voice clone, 43 languages) › Налаштувати.
00 використовує логічні процесори комп’ютера, але не більше 8. Більше потоків рідко пришвидшує роботу; менше — комп’ютер чутливіший під час озвучування.
Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: від 5 до 20 секунд чистого мовлення однієї людини, не запис із телефона.
Мови
Арабська, бенгальська, болгарська, китайська (мандаринська), чеська, данська, нідерландська, англійська, фінська, французька, грузинська, німецька, грецька, гуджараті, іврит, гінді, угорська, індонезійська, італійська, японська, каннада, корейська, малайська, малаялам, маратхі, норвезька, орія, польська, португальська, панджабі, румунська, російська, словацька, іспанська, шведська, тагальська, тамільська, телугу, тайська, турецька, українська, урду та в’єтнамська. Для проєкту будь-якою іншою мовою з’явиться відповідне повідомлення: оберіть для нього інший рушій дублювання.
Англійська залежить від регіону проєкту: Велика Британія, Ірландія, Австралія, Нова Зеландія, Південна Африка та Індія отримують британську англійську, будь-який інший регіон — американську. Португальська читається як бразильська португальська, а французька — як французька Франції.
enfrdeesitptjazhkoarbnbgcsdanlfikaelguhehihuidknmsmlmrnborplparorusksvtltatethtrukurvi
Платформи
| Система | Завантаження | Перевірено |
|---|---|---|
| Linux x86-64 | 19.0 MB | Озвучено справжньою моделлю з архіву релізу на AlmaLinux 8 і в CI |
| macOS (Apple silicon) | 24.0 MB | Озвучено справжньою моделлю в CI (Apple Silicon) |
| Windows x86-64 | 18.5 MB | Озвучено справжньою моделлю в CI |
Linux x86-64, macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній з них CI встановлює додаток так само, як це робить Subtitld, завантажує модель і озвучує репліки шістьма мовами, коротку репліку та клонований голос.
Усунення несправностей
network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.disk_fullНедостатньо місця на диску для моделі: 1115 МБ і ще 45 МБ для власного голосу мовця.unsupported_languageМова проєкту не входить до цих 43 або не задана. Задайте її в проєкті або оберіть інший рушій дублювання.unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.bad_paramsУ репліці немає тексту, або клон не отримав зразка: відкрийте відео або встановіть Fallback reference clip. Повідомлення вказує, що саме.out_of_memoryКомп’ютеру забракло пам’яті. Закрийте інші програми: ZONOS3-Mini потребує близько 2 ГБ вільної пам’яті.internalУсередині додатка стався збій; подробиці в повідомленні. На старішому процесорі без AVX2 повідомлення про це скаже.
Ліцензія
Додаток має ліцензію Apache-2.0. Ваги ZONOS3-Mini та його стандартні голоси мають ліцензію Apache-2.0, а середовище виконання Zyphra — MIT, тож комерційна робота дозволена. Читання тексту, zyphra-textnorm, — під MIT, із граматиками, перенесеними з NeMo-text-processing від NVIDIA (Apache-2.0), і даними з Unicode CLDR.
Створений дубляж належить вам. Клонований голос звучить як справжня людина: клонуйте лише ті голоси, які ви маєте право використовувати, і зазначайте, що дубляж синтетичний, там, де це важливо.
Версії
- 26.11.1
First release. Offline text-to-speech with Zyphra's ZONOS3-Mini, on Zyphra's own ggml runtime, with no PyTorch.
- 43 languages, at 44.1 kHz.
- 27 stock voices (Zyphra's default voices). Every voice speaks every language, but with its own accent, which can be strong in another language; clone the speaker for those.
- The speaker's own voice, cloned from 5 to 20 seconds of the video.
- Numbers, dates, money and units are read out in each language's grammar (zyphra-textnorm).
- Each line is checked as it is spoken (LACI, Zyphra's alignment check) and cut at the first silence once the text is read, so short lines don't run on with extra words. The cut is this add-on's own rule.
- Runs on the CPU, about twice as fast as real time. x86-64 processors need AVX2.
- Downloads: the model (1,115 MB) on the first line, the speaker encoder (45 MB) on the first cloned voice, pinned and checked by SHA-256.
Linux builds run on glibc 2.28 and newer.
Інші додатки групи «Голоси»
-
Piper Офлайн
158 офлайн-голосів 49 мовами, кожен — окреме невелике завантаження.
-
Kokoro Офлайн
54 офлайн-голоси дев’ятьма мовами з однієї моделі на 82 МБ.
-
Supertonic Офлайн
Десять офлайн-голосів, кожен може говорити всіма 31 мовою.
-
sanoTTS Офлайн
Крихітні офлайн-голоси, 28 голосів 14 мовами, кожен менше 10 МБ.
-
Parler-TTS Офлайн
Англійські голоси за письмовим описом; 34 іменовані мовці.
-
Qwen3-TTS Клон
Десять мов, дев’ять голосів і клонування з 3 секунд мовлення мовця.
-
Coqui XTTS Клон
Клонування голосу 16 мовами, з некомерційною ліцензією моделі.
-
F5-TTS Клон
Лише клонування голосу, англійською та китайською; некомерційна модель.
-
VoxCPM2 Клон
30 мов у 48 кГц, голосом самого мовця або описаним голосом. Важкий.
-
Pocket TTS Офлайн
Швидкий і легкий, лише ЦП. 23 голоси сімома європейськими мовами.
-
Sopro Клон
Власний голос мовця, швидко на ЦП. Чотири мови.
-
KittenTTS 2 Клон
Власний голос мовця 16 мовами, на ЦП. Ваги за обмежувальною ліцензією.
-
Ming-3.0-tts Клон
7 мов у 44,1 кГц: клоновані, вбудовані або описані голоси, з емоціями. Важкий.
-
Scylla's Band Офлайн
Чотирнадцять голосів шістьма мовами, легко й швидко на ЦП. Лише готові голоси.
-
Audio8 TTS Клон
Власний голос мовця 11 мовами, зокрема кантонською. Повільно на ЦП.
-
Inflect Офлайн
Природне англійське мовлення від крихітної моделі, швидко на будь-якому ЦП.
-
Paradee Офлайн
Чотири природні англійські голоси, американські й британські, від однієї моделі розміром 8,5 МБ.
-
BlueTTS Клон
Іврит та їдиш, а також ще п’ять мов. Власний голос мовця, швидко на ЦП.
-
Chatterbox Клон
Offline TTS in 20 languages, in the speaker's own voice cloned from a few seconds of the video or in one of 8 preset…