Audio8 TTS (offline, voice clone, 11 languages)

Що це робить

Перед встановленням

Audio8 TTS навантажує комп’ютер більше, ніж легкі рушії дублювання:

• Диск: близько 1 ГБ для моделі, яка завантажується під час озвучування першої репліки.
• Пам’ять: близько 1,6 ГБ під час синтезу мовлення й до 3 ГБ на короткий час, коли він уперше чує нового мовця.
• Час: кожна секунда мовлення створюється дві-три секунди, на Intel Core i7-13700T. Десятихвилинне відео може зайняти близько пів години.
• Процесор: будь-який 64-розрядний процесор Intel або AMD чи Apple Silicon. Відеокарта не використовується.

Для швидкого дублювання Sopro або Chatterbox клонують голоси приблизно в реальному часі або швидше, але меншою кількістю мов.

Голоси

На вкладці Мовці оберіть Audio8 TTS як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру.

1 голос.

Audio8 TTS має один голос, Speaker's own voice, і не має готових голосів: кожна репліка клонує мовця. Subtitld вирізає зразок цього мовця з аудіо проєкту: з одного його субтитру тривалістю від 3 до 12 секунд або з кількох коротких, з’єднаних разом. Якщо ви відокремили музику від голосу для цього відео, зразок береться лише з голосу. Fallback reference clip у налаштуваннях додатка використовується лише тоді, коли зразок вирізати не вдалося.

Subtitld передає текст субтитру разом зі зразком, і Audio8 TTS використовує його, щоб точніше наблизитися до мовця. Без нього, наприклад коли оригінальну мову проєкту не задано, додаток клонує лише за звучанням зразка, трохи менш точно. Якщо ваші субтитри переказують мовлення, а не записують його дослівно, увімкніть Don't send the subtitles of the reference clip.

Перша репліка кожного мовця триває на кілька секунд довше, поки додаток слухає його зразок. Він його запам’ятовує, тож наступні репліки мовця починаються одразу.

Моделі

Модель одна — Audio8 TTS Preview 0.6B, у 4-бітній ONNX-збірці для процесорів, яку публікують її автори. Вона не входить до додатка: під час першого озвучування вона завантажується до спільного кешу моделей Subtitld з Hugging Face, із закріпленою ревізією, і кожен файл перевіряється. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка модель зберігає.

Додаток запускає цю збірку без PyTorch. З тим самим голосом, реплікою й seed він дає точно те саме, що й власне середовище виконання Audio8.

Параметри

У Налаштуваннях › Додатки › Audio8 TTS (offline, voice clone, 11 languages) › Налаштувати.

Мови

Китайська, кантонська, японська, корейська, англійська, нідерландська, французька, німецька, італійська, польська та іспанська. Мовець, клонований із кліпу однією з них, говорить усіма іншими. Для проєкту будь-якою іншою мовою з’явиться відповідне повідомлення: оберіть для нього інший рушій дублювання.

Audio8 називає цю модель попередньою версією: це мови, які вона рекомендує. Ми перевірили по одному реченню кожною з них за допомогою Whisper і оцінки схожості голосу, а не на слух кожною мовою.

• zh
• yue
• nl
• en
• fr
• de
• it
• ja
• ko
• pl
• es

Платформи

Linux x86-64, macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній з них CI встановлює додаток так само, як це робить Subtitld, завантажує модель і озвучує нею.

Усунення несправностей

• network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.
• disk_fullНедостатньо місця на диску для моделі. Потрібно близько 1 ГБ.
• unsupported_languageМова проєкту не входить до цих одинадцяти або не задана. Задайте її в проєкті або оберіть інший рушій дублювання.
• unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.
• bad_paramsУ репліці немає тексту, або клон не отримав зразка: відкрийте відео або встановіть Fallback reference clip. Повідомлення вказує, що саме.
• out_of_memoryКомп’ютеру забракло пам’яті. Закрийте інші програми: Audio8 TTS потребує близько 3 ГБ вільної пам’яті.
• internalУсередині додатка стався збій; подробиці в повідомленні.

Ліцензія

Підходить для комерційної роботи: додаток має ліцензію Apache-2.0, як і код Audio8 TTS та ваги Audio8 TTS Preview 0.6B. Створений дубляж належить вам. Клонований голос звучить як справжня людина: клонуйте голоси, які ви маєте право використовувати, і зазначайте, що дубляж синтетичний, там, де це важливо.