Reverb офлайн, клонування голосу, 7 мов, некомерційна

ГолосиОфлайнЛише CPUКлонування голосуНекомерційний

Озвучує ваші субтитри англійською, німецькою, французькою, іспанською, італійською, польською та португальською за допомогою Reverb-TTS від Software Mansion AI Labs: одним із 16 голосів або власним голосом кожного мовця, клонованим з кількох секунд відео та його субтитрів. Працює на процесорі вашого комп’ютера, без відеокарти. Модель призначена лише для некомерційного використання.

Встановіть його з Subtitld

Налаштування Додатки Reverb (offline, voice clone, 7 languages, non-commercial) Встановити

Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.

Джерело на GitHub
Мови
7
Моделі
3
Голоси
17
Завантаження додатка
40–65 MB
ОЗП, щонайменше
2.5 GB

Що це робить

Сім мов

Англійська, німецька, французька, іспанська, італійська, польська та португальська. Числа, дати, ціни й одиниці виміру читаються словами, так, як заведено в кожній мові.

Власний голос мовця

Subtitld вирізає з відео кілька секунд кожного мовця й передає їх разом із субтитрами, які в них вимовлено. Reverb клонує цей голос будь-якою зі своїх семи мов. Або оберіть один із 16 голосів.

Exact або Fast

Exact запускає модель у тому вигляді, у якому її опубліковано. Fast працює приблизно вдвічі швидше й потребує меншого завантаження, ціною невеликої втрати точності.

Офлайн після першої репліки

Модель завантажується один раз, коли вона вперше потрібна для репліки. Після цього ніщо не залишає ваш комп’ютер.

Некомерційна модель. Ваги Reverb-TTS та її стандартні голоси поширюються за ліцензією CC-BY-NC-4.0, яка не дозволяє комерційного використання. Код додатка має ліцензію Apache-2.0, але це не змінює умов для ваг. Для комерційної роботи ZONOS3-Mini теж клонує голоси всіма цими сімома мовами, а його ваги мають ліцензію Apache-2.0.

Перед встановленням

  • Диск: 640 МБ для моделі, завантажується під час першої репліки; натомість 378 МБ, якщо обрати Fast до першої репліки. Під час першого використання власного голосу мовця — ще 327 МБ.
  • Пам’ять: близько 1,5 ГБ під час синтезу мовлення.
  • Час: на Intel Core i7-13700T, зайнятому іншою роботою, секунда мовлення створювалася приблизно за 0,8 секунди в режимі Exact і приблизно за 0,6 секунди в режимі Fast.
  • Процесор: 64-розрядний процесор Intel або AMD чи Apple Silicon. Відеокарта не використовується.

Голоси

На вкладці Мовці оберіть Reverb як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.

17 голосів.

Мова запису Жіночі Чоловічі
Англійська Диктор, шепіт Диктор 1, диктор 2, сердитий
Французька Француженка Француз
Німецька Німкеня Німець
Італійська Італієць, експресивний італієць
Польська Поляк
Португальська Португалка Португалець
Іспанська Іспанець 1, іспанець 2

Це власні стандартні голоси Reverb. Кожен голос говорить усіма мовами, але з акцентом мови, якою його записано. Для мови, яка не має тут власного голосу або не має жіночого голосу, використовуйте власний голос мовця.

З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту — з одного його субтитру або з кількох коротких, з’єднаних разом, — і передає те, що в ньому сказано: текст цих субтитрів. Reverb потрібне і те, і те. Він продовжує мовлення від зразка та його слів, а без слів губив би перші слова кожної репліки.

Тож субтитри мають бути мовою, якою говорять у відео. Якщо ви їх переклали, Subtitld передає оригінальний текст, за умови що знає, якою мовою звук: вкажіть її в полі Мова субтитрів на панелі Транскрипція. Інакше репліка зупиниться з повідомленням про це. Субтитри, які переказують сказане, а не записують його дослівно, погіршують клон.

Найкращий зразок — від 3 до 10 секунд чистого мовлення однієї людини близько до мікрофона. Зразок, коротший за 2 секунди, відхиляється, а довший за 15 секунд зазвичай дає гірші репліки. Fallback reference clip у налаштуваннях додатка разом із його Fallback clip's transcript використовується лише тоді, коли зразок вирізати не вдалося.

Кожну репліку створюють із зерном, яке передає Subtitld, тож та сама репліка тим самим голосом щоразу виходить однаковою.

Моделі

Модель не входить до додатка: вона завантажується до спільного кешу моделей Subtitld, коли вперше потрібна для репліки, із власного релізу додатка на GitHub, де ваги Reverb зберігаються перетвореними для ONNX Runtime, і кожен файл перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка її зберігає.

Модель ЗавантаженняДобре для
Reverb-TTS v1.0.0 (ONNX, full precision) with the Higgs Audio v2 decoder and 16 preset voices За замовчуванням reverb
640 MB
Кожна репліка в режимі Exact, типовому: мережа, декодер і 16 голосів
Reverb-TTS v1.0.0 network in int8 (Fast mode) reverb-fast
266 MB
Кожна репліка в режимі Fast, замість мережі Exact: разом із декодером 378 МБ
Higgs Audio v2 encoder (voice cloning) reverb-codec-encoder
327 MB
Власний голос мовця, під час першого озвучування таким голосом

Exact і Fast мають спільний декодер і спільні голоси (111 МБ): відрізняється лише мережа — 529 МБ для Exact і 266 МБ для Fast. Якщо пізніше перемкнутися з однієї на іншу, друга мережа завантажиться, коли вперше знадобиться для репліки.

Додаток запускає Reverb на ONNX Runtime, без PyTorch. Семплер і підготовку тексту Reverb перенесено з власного коду Software Mansion. Випадкові числа беруться з іншого джерела, тож те саме зерно дає тут інший варіант, ніж у власному пакеті Reverb; мережу Exact перевірено на те, що вона передбачає те саме, що й цей пакет.

Параметри

У Налаштуваннях › Додатки › Reverb (offline, voice clone, 7 languages, non-commercial) › Налаштувати.

CPU threads
За замовчуванням: 0

0 використовує логічні процесори комп’ютера, але не більше 8. Більше потоків рідко пришвидшує роботу; менше — комп’ютер чутливіший під час озвучування.

Quality steps
За замовчуванням: 8

Скільки проходів модель робить по кожній репліці. 8 — власне налаштування Reverb; менше — швидше, але з більшою кількістю помилок.

Speed
За замовчуванням: exact

Exact запускає модель у тому вигляді, у якому її опублікувала Software Mansion. Fast запускає її у 8-бітних цілих числах, приблизно вдвічі швидше, з окремим завантаженням на 266 МБ: її репліки зазвичай звучать так само, але вона більше відходить від опублікованої моделі й частіше помиляється.

Fallback reference clip
За замовчуванням: порожньо

Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: від 3 до 10 секунд чистого мовлення однієї людини.

Fallback clip's transcript
За замовчуванням: порожньо

Точно те, що сказано в резервному кліпі, слово в слово. Reverb клонує за кліпом і його словами, тож без цього тексту резервний кліп відхиляється.

Мови

Англійська, німецька, французька, іспанська, італійська, польська та португальська. Для проєкту будь-якою іншою мовою з’явиться відповідне повідомлення: оберіть для нього інший рушій дублювання.

  • en
  • de
  • fr
  • es
  • it
  • pl
  • pt

Платформи

Система ЗавантаженняПеревірено
Linux x86-64 64.9 MBОзвучено всіма сімома мовами й клоновано голос справжньою моделлю в CI
macOS (Apple silicon) 45.6 MBОзвучено всіма сімома мовами й клоновано голос справжньою моделлю в CI (Apple Silicon)
Windows x86-64 40.5 MBОзвучено всіма сімома мовами й клоновано голос справжньою моделлю в CI

Linux x86-64 (glibc 2.35 або новіша, як в Ubuntu 22.04, Debian 12 чи Fedora 36), macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній з них CI встановлює додаток так само, як це робить Subtitld, завантажує модель, озвучує репліку кожною мовою та клонує голос.

Усунення несправностей

  • network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.
  • disk_fullНедостатньо місця на диску для моделі: 640 МБ (378 МБ у режимі Fast) і ще 327 МБ для власного голосу мовця.
  • unsupported_languageМова проєкту не входить до цих семи або не задана. Задайте її в проєкті або оберіть інший рушій дублювання.
  • unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.
  • bad_paramsУ репліці немає тексту, або голос-клон не отримав зразка чи його транскрипту. Для перекладеного проєкту вкажіть у Мова субтитрів мову, якою говорять; якщо відео не відкрито, встановіть Fallback reference clip і його транскрипт. Повідомлення вказує, що саме.
  • out_of_memoryКомп’ютеру забракло пам’яті. Закрийте інші програми: Reverb потребує близько 1,5 ГБ вільної пам’яті.
  • internalУсередині додатка стався збій; подробиці в повідомленні.

Ліцензія

Додаток
Apache-2.0
із власним кодом Reverb, перенесеним на numpy
Рушій
MIT
ONNX Runtime
Модель
CC-BY-NC-4.0
Ваги Reverb-TTS v1.0.0, від Software Mansion AI Labs; лише для некомерційного використання
Голоси
CC-BY-NC-4.0
16 стандартних голосів Reverb; лише для некомерційного використання
Читання тексту
MIT, Unicode-3.0
Verbalis від Software Mansion, із таблицею з Unicode Character Database

Додаток має ліцензію Apache-2.0, як і перенесений до нього код Reverb. Ваги Reverb-TTS та її 16 стандартних голосів мають ліцензію CC-BY-NC-4.0: лише для некомерційного використання. У файлі ліцензії, що постачається з моделлю, сказано, що змінено під час її перетворення. ONNX Runtime має ліцензію MIT, і Verbalis, який читає числа та дати, — теж MIT.

Використовуйте відповідально. Клонований голос звучить як справжня людина. Клонуйте лише ті голоси, які ви маєте право використовувати, за згодою мовця; не видавайте себе за реальних людей і не використовуйте створене мовлення для обману, шахрайства чи цькування. Повідомляйте слухачам, коли вони чують синтетичний голос.

Версії

  • 26.11.1

    Text-to-speech for Subtitld with Reverb-TTS v1.0.0 (Software Mansion AI Labs): English, German, French, Spanish, Italian, Polish and Portuguese at 24 kHz, in 16 preset voices or in the speaker's own voice, cloned from a clip of the video and its subtitles.

    The archive holds the add-on, ONNX Runtime, tokenizers and Verbalis. The model (640 MB, or 378 MB in Fast mode) downloads on the first line, and the codec encoder (327 MB) on the first cloned line, from this repository's models-1 release and Reverb's own repository. Every file is pinned and checked by sha256. It runs on the CPU.

    The model is licensed under CC BY-NC 4.0: non-commercial use only. The add-on is Apache-2.0, and so is Reverb's code it ports. Each archive carries THIRD_PARTY_LICENSES/ with the licence of everything frozen into it. The Linux archive carries libquadmath (LGPL-2.1, with numpy); its complete source is reverb-<version>-libquadmath-source.tar.gz in this release.

Інші додатки групи «Голоси»