Sopro (offline, voice clone, 4 languages)

ГолосиОфлайнЛише CPUКлонування голосуКомерційне використання дозволено

Озвучує ваші субтитри англійською, європейською португальською, французькою та німецькою за допомогою Sopro V2 Turbo: власним голосом кожного мовця, клонованим з кількох секунд відео, або одним із 8 готових голосів. Працює на процесорі вашого комп’ютера, приблизно вдвічі швидше за реальний час, без відеокарти.

Встановіть його з Subtitld

Налаштування Додатки Sopro (offline, voice clone, 4 languages) Встановити

Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.

Джерело на GitHub
Мови
4
Моделі
1
Голоси
9
Завантаження додатка
38–61 MB
ОЗП, щонайменше
1.5 GB

Що це робить

Власний голос мовця

Subtitld вирізає з відео кілька секунд кожного мовця й передає їх із кожною реплікою. Sopro клонує цей голос, тож дубляж звучить як людина на екрані, будь-якою з чотирьох мов.

Швидко на будь-якому комп’ютері

Sopro V2 Turbo — невелика модель на 120 мільйонів параметрів. На процесорі ноутбука вона говорить приблизно вдвічі швидше за реальний час і використовує близько 1 ГБ пам’яті.

Офлайн після першої репліки

Модель завантажується один раз, коли ви вперше озвучуєте нею. Після цього ніщо не залишає ваш комп’ютер.

Безкоштовно для комерційної роботи

Додаток, Sopro і його модель мають ліцензію Apache-2.0. Готові голоси — це читці LibriVox, чиї записи є суспільним надбанням.

Перед встановленням

Sopro небагато вимагає від комп’ютера:

  • Диск: близько 340 МБ для моделі, завантажується під час першої репліки.
  • Пам’ять: близько 1 ГБ під час синтезу мовлення.
  • Процесор: будь-який 64-розрядний процесор Intel або AMD чи Apple Silicon. Відеокарта не використовується.

Клонуйте голос лише за згодою його власника. Автор Sopro просить ніколи не використовувати його, щоб видавати себе за іншу людину.

Голоси

На вкладці Мовці оберіть Sopro як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.

9 голосів.

З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту: з одного його субтитру або з кількох коротких, з’єднаних разом. Якщо ви відокремили музику від голосу для цього відео, зразок береться лише з голосу. Fallback reference clip у налаштуваннях додатка використовується лише тоді, коли зразок вирізати не вдалося. Найкращий зразок — від 5 до 20 секунд, де мовець говорить сам, без музики й інших голосів.

Готові голоси
Жіночі Англійська, португальська, французька, німецька
Чоловічі Англійська, португальська, французька, німецька

Кожен готовий голос — це волонтер LibriVox, який читає книжку відповідною мовою. Кожен готовий голос говорить усіма чотирма мовами; його власна мова дає йому лише акцент, тож для найприроднішого дубляжу оберіть голос мовою вашого проєкту.

Моделі

Sopro має одну модель для всіх чотирьох мов. Вона не входить до додатка: під час першого озвучування вона завантажується до спільного кешу моделей Subtitld з Hugging Face, із закріпленою ревізією, і кожен файл перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка модель зберігає.

Модель ЗавантаженняДобре для
Sopro V2 Turbo (120M, ONNX) За замовчуванням sopro-v2-turbo
336 MB
Будь-який голос, усіма чотирма мовами, приблизно 2,5× швидше за реальний час

Додаток запускає ONNX-збірку Sopro, яку публікує його автор, без PyTorch. Ми порівняли її з офіційною збіркою на PyTorch на тих самих репліках усіма чотирма мовами: вона помилялася не частіше й звучала так само близько до мовця.

Параметри

У Налаштуваннях › Додатки › Sopro (offline, voice clone, 4 languages) › Налаштувати.

CPU threads
За замовчуванням: 0

0 використовує половину логічних процесорів комп’ютера, але не більше 8. Менше потоків — комп’ютер чутливіший під час озвучування.

Variation
За замовчуванням: 0.8

Нижче значення — рівніше й монотонніше мовлення, вище — жвавіше, але частіше збивається. 0,8 — власне типове значення Sopro.

Fallback reference clip
За замовчуванням: порожньо

Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: від 5 до 20 секунд мовлення однієї людини.

Мови

Англійська, європейська португальська, французька та німецька. Текст бразильською португальською теж читається, але з європейським акцентом. Для проєкту будь-якою іншою мовою з’явиться відповідне повідомлення: оберіть для нього інший рушій дублювання.

Там, де це важливо, пишіть числа й символи словами: «1 + 2» Sopro читає менш надійно, ніж «one plus two». Слово з іншої мови всередині речення може бути вимовлене неправильно.

  • en
  • pt
  • fr
  • de

Платформи

Система ЗавантаженняПеревірено
Linux x86-64 61.1 MBОзвучено справжньою моделлю на справжньому комп’ютері та в CI
macOS (Apple silicon) 43.2 MBОзвучено справжньою моделлю в CI (Apple Silicon)
Windows x86-64 38.1 MBОзвучено справжньою моделлю в CI

Linux x86-64, macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній з них CI встановлює додаток так само, як це робить Subtitld, завантажує модель і озвучує нею.

Усунення несправностей

  • network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.
  • disk_fullНедостатньо місця на диску для моделі. Потрібно близько 340 МБ.
  • unsupported_languageМова проєкту не входить до цих чотирьох або не задана. Задайте її в проєкті або оберіть інший рушій дублювання.
  • unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.
  • bad_paramsУ репліці немає тексту, або клон не отримав зразка: відкрийте відео або встановіть Fallback reference clip. Повідомлення вказує, що саме.
  • out_of_memoryКомп’ютеру забракло пам’яті. Закрийте інші програми: Sopro потребує близько 1 ГБ.
  • internalУсередині додатка стався збій; подробиці в повідомленні.

Ліцензія

Додаток
Apache-2.0
Рушій
Apache-2.0
Sopro, від Samuel Vitorino; ONNX Runtime — MIT
Модель
Apache-2.0
Ваги Sopro V2 Turbo
Готові голоси
Public domain, CC-BY-4.0
Читці LibriVox; англійські — через LibriTTS-R

Підходить для комерційної роботи: додаток, Sopro і модель Sopro V2 Turbo мають ліцензію Apache-2.0. Готові голоси — це записи LibriVox, які є суспільним надбанням; англійські надходять через LibriTTS-R за ліцензією CC-BY-4.0, і додаток зазначає автора кожного з них. Створений дубляж належить вам.

Версії

  • 26.10.1

    Voice-cloning text-to-speech for Subtitld with Sopro V2 Turbo: English, European Portuguese, French and German at 24 kHz, in the speaker's own voice cloned from the video, or in a preset voice.

    The archive holds the add-on, ONNX Runtime and the preset voice clips. The 336 MB model downloads on the first line, at a pinned revision, checked by sha256. It runs on the CPU, about twice as fast as real time.

    The add-on and the Sopro model are Apache-2.0. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it, and the preset clips are credited in bin/_internal/sopro_addon/presets/README.md. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is sopro-<version>-libquadmath-source.tar.gz in this release.

Інші додатки групи «Голоси»