Завантажити

KittenTTS 2 (offline, voice clone, 16 languages)

ГолосиОфлайнЛише CPUКлонування голосуКомерційне використання обмежене

Озвучує ваші субтитри 16 мовами за допомогою KittenTTS 2 від KittenML: власним голосом кожного мовця, клонованим з відео, або одним із 115 готових голосів. Працює на процесорі вашого комп’ютера, приблизно в реальному часі, без відеокарти.

Встановіть його з Subtitld

Налаштування Додатки KittenTTS 2 (offline, voice clone, 16 languages) Встановити

Subtitld завантажує його, перевіряє SHA-256 і тримає оновленим.

Джерело на GitHub
Мови
16
Моделі
2
Голоси
116
Завантаження додатка
96–136 MB
ОЗП, щонайменше
3 GB

Що це робить

Власний голос мовця

Subtitld вирізає з відео кілька секунд кожного мовця й передає їх із кожною реплікою разом зі сказаними в них словами. KittenTTS 2 клонує цей голос і промовляє ним перекладену репліку, тож дубляж звучить як людина на екрані.

16 мов, 115 голосів

Англійська, іспанська, французька, німецька, італійська, португальська, російська, китайська, японська, корейська, арабська, гінді, турецька, нідерландська, польська та індонезійська, від 2 до 50 готових голосів для кожної.

Приблизно в реальному часі, на ЦП

Секунда мовлення створюється на процесорі ноутбука за 1,1–1,5 секунди, з використанням близько 2,3 ГБ пам’яті. Відеокарта не використовується.

Офлайн після першої репліки

Модель завантажується один раз, коли ви вперше озвучуєте нею. Після цього ніщо не залишає ваш комп’ютер.

Обмежувальна ліцензія моделі. Додаток має ліцензію Apache-2.0, але ваги KittenTTS 2, які він завантажує, належать KittenML і діють за ліцензією Stellon Labs Community License. Комерційне використання, зокрема платне дублювання, безкоштовне лише доти, доки у вас і ваших афілійованих осіб річний дохід менше 1 000 000 доларів США і загальне фінансування менше 1 000 000 доларів США, і ви маєте зареєструватися у Stellon Labs. Використання також має відповідати Політиці прийнятного використання, яку Stellon Labs не публікує, а ліцензію може бути відкликано. Прочитайте ліцензію, перш ніж використовувати модель для платної роботи. Якщо її умови вам не підходять, VoxCPM2 і Sopro теж клонують голоси, за ліцензією Apache-2.0.

Перед встановленням

  • Диск: близько 1,7 ГБ для моделі, завантажується під час першої репліки, і ще 540 МБ для клонування, під час першої клонованої репліки.
  • Пам’ять: близько 2,3 ГБ під час синтезу мовлення, тож потрібно близько 3 ГБ вільної пам’яті.
  • Процесор: в Intel і AMD — процесор з AVX2, FMA і F16C; їх мають процесори Intel з 2013 року та AMD з 2015 року. Деякі Celeron, Pentium і Atom їх не мають, і на них перша репліка завершується помилкою з відповідним повідомленням. Підходить будь-який Mac на Apple Silicon.

Клонуйте голос лише за згодою його власника.

Голоси

На вкладці Мовці оберіть KittenTTS 2 як Рушій дублювання мовця, а потім виберіть Голос. Увімкніть Вмістити дубляж у тривалість субтитру для мовця, щоб він розтягував або стискав кожну репліку до свого субтитру. Перед озвучуванням задайте мову проєкту.

116 голосів у 16 мовах.

  • ar 4
  • de 4
  • en 50
  • es 5
  • fr 5
  • hi 5
  • id 2
  • it 6
  • ja 4
  • ko 3
  • nl 3
  • pl 4
  • pt 6
  • ru 7
  • tr 3
  • zh 4

З Speaker's own voice Subtitld вирізає зразок цього мовця з аудіо проєкту, від 3 до 12 секунд, і передає його разом із текстом субтитру, який у ньому звучить. KittenTTS продовжує цей зразок — так виходить найближче до мовця й найстабільніше. У нашому тесті, з англійськими зразками та португальськими репліками, клонований дубляж звучав майже так само близько до мовців, як у VoxCPM2, і помилявся у словах рідше. Якщо ви відокремили музику від голосу для цього відео, зразок береться лише з голосу. Fallback reference clip у налаштуваннях додатка використовується лише тоді, коли зразок вирізати не вдалося.

Кожен готовий голос належить до однієї мови: це запис, і модель продовжує його з тим самим акцентом. Тому список Голос показує голоси мови вашого проєкту. Англійська має 50, серед них Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki і Leo з KittenTTS 0.8, а також персонажі на кшталт Marcus, м’якого радіодіджея, чи Victoria, величної оповідачки. Інші мови мають від 2 до 7 голосів. KittenML не повідомляє, звідки взято записи.

Час від часу модель мовчить замість того, щоб промовити репліку. Додаток це помічає й пробує знову, до трьох разів, тож вам не треба цього робити.

Моделі

Жодного файлу KittenML немає всередині додатка: під час першого озвучування вони завантажуються до спільного кешу моделей Subtitld з репозиторію KittenML на Hugging Face, із закріпленою ревізією, і кожен файл перевіряється. Еталонний кодувальник, який перетворює зразок на голос, завантажується з власного релізу додатка під час першої клонованої репліки. Перерване завантаження продовжується з місця зупинки. Оновлення або видалення додатка моделі зберігає.

Модель ЗавантаженняДобре для
KittenTTS 2 (1.7B, ternary) За замовчуванням kitten-tts-2
1.6 GB
Будь-який голос і мова, приблизно в реальному часі на ЦП
Reference encoder, for cloning ref-encoder
517 MB
Лише для голосу-клону, завантажується під час першої такої репліки

Додаток запускає власну програму KittenML на C++ для KittenTTS 2, яка приблизно вчетверо швидша за Python-пакет KittenML і потребує втричі менше пам’яті.

Параметри

У Налаштуваннях › Додатки › KittenTTS 2 (offline, voice clone, 16 languages) › Налаштувати.

Delivery
За замовчуванням: stable

Stable підходить майже для будь-якого проєкту. Expressive звучить жвавіше, але репліка частіше виходить дивною.

CPU threads
За замовчуванням: 0

0 використовує продуктивні ядра процесора, який має також енергоефективні ядра, інакше по одному потоку на ядро, але не більше 8. Менше потоків — комп’ютер чутливіший під час озвучування.

Fallback reference clip
За замовчуванням: порожньо

Кліп для голосу-клону, коли Subtitld не може вирізати його з відео, наприклад коли відео не відкрито: від 3 до 30 секунд мовлення однієї людини.

Fallback reference transcript
За замовчуванням: порожньо

The exact words spoken in the fallback clip. With them the clone is closer to the speaker and makes fewer mistakes.

Clone the timbre only
За замовчуванням: вимк.

Не передає слова з кліпу мовця й клонує лише тембр. Спробуйте, якщо дубляж зберігає акцент мовця або якщо субтитри переказують сказане своїми словами.

Мови

Англійська, іспанська, французька, німецька, італійська, португальська, російська, китайська, японська, корейська, арабська, гінді, турецька, нідерландська, польська та індонезійська. Для проєкту будь-якою іншою мовою з’явиться відповідне повідомлення: оберіть для нього інший рушій дублювання.

Англійський текст читається так, як задумано: «the 3rd of May» стає «the third of May», «$12.50» — «twelve dollars fifty». Іншими мовами там, де це важливо, пишіть числа й символи словами.

  • en
  • es
  • fr
  • de
  • it
  • pt
  • ru
  • zh
  • ja
  • ko
  • ar
  • hi
  • tr
  • nl
  • pl
  • id

Платформи

Система ЗавантаженняПеревірено
Linux x86-64 136.1 MBОзвучено справжньою моделлю, з клонуванням, на справжньому комп’ютері та в CI
macOS (Apple silicon) 109.2 MBОзвучено справжньою моделлю, з клонуванням, в CI (Apple Silicon)
Windows x86-64 96.4 MBОзвучено справжньою моделлю, з клонуванням, в CI

Linux x86-64, macOS на Apple Silicon і Windows x86-64. Кожен реліз збирається на всіх трьох, і на кожній з них CI встановлює додаток так само, як це робить Subtitld, завантажує модель і озвучує нею, зокрема клонованим голосом. На Linux потрібна glibc 2.35 або новіша.

Усунення несправностей

  • network_unavailableНе вдалося завантажити модель. Перевірте з’єднання й спробуйте ще раз: завантаження продовжиться.
  • disk_fullНедостатньо місця на диску для моделі. Потрібно близько 1,7 ГБ або 2,2 ГБ з клонуванням.
  • unsupported_languageМова проєкту не входить до цих 16 або не задана. Задайте її в проєкті або оберіть інший рушій дублювання.
  • unsupported_voiceПроєкт називає голос, якого немає в цій версії. Виберіть голос знову на вкладці Мовці.
  • bad_paramsУ репліці немає тексту, або клон не отримав зразка: відкрийте відео або встановіть Fallback reference clip. Повідомлення вказує, що саме.
  • internalУсередині додатка стався збій; подробиці в повідомленні. Якщо в ньому сказано, що процесор не має AVX2, FMA і F16C, цей комп’ютер не може запускати KittenTTS 2. Якщо сказано, що репліка весь час виходила тишею, спробуйте інший голос або переформулюйте репліку.

Ліцензія

Додаток
Apache-2.0
Рушій
MIT, Apache-2.0
kitten-tts-2-cpp, від KittenML; LibTorch — BSD-3-Clause
Еталонний кодувальник
MIT
З chatterbox-turbo (ResembleAI) і pyannote
Модель
Stellon Labs Community License
Ваги KittenTTS 2; комерційне використання безкоштовне лише за доходу або фінансування менше 1 млн доларів США

Додаток має ліцензію Apache-2.0. Середовище виконання KittenML — MIT і Apache-2.0, LibTorch — BSD-3-Clause, а частини еталонного кодувальника — MIT. Ваги KittenTTS 2 діють за ліцензією Stellon Labs Community License, яку ви приймаєте, коли додаток їх завантажує: безкоштовно для досліджень і особистого використання, а для комерційного — лише за річного доходу й загального фінансування менше 1 000 000 доларів США, з реєстрацією у Stellon Labs. Ваги й те, що вони створюють, не можна використовувати для навчання інших моделей. Створений дубляж належить вам. Powered by KittenML.

Версії

  • 26.10.1

    Offline text-to-speech for Subtitld with KittenML's KittenTTS 2, in 16 languages (English, Spanish, French, German, Italian, Portuguese, Russian, Chinese, Japanese, Korean, Arabic, Hindi, Turkish, Dutch, Polish and Indonesian), at 24 kHz.

    • The speaker's own voice. Cloned from the clip Subtitld cuts from the video, and spoken in another language too. With the subtitle text Subtitld sends with the clip, KittenTTS continues from it, which is closest to the speaker; "Clone the timbre only" leaves the words out.
    • 115 built-in voices. 50 in English, 2 to 7 in each other language.
    • About real time on a CPU. A second of speech takes 1.1 to 1.5 seconds on an i7-13700T, with about 2.3 GB of memory. x86-64 needs AVX2, FMA and F16C; Apple Silicon works.
    • Downloads on first use. The model, 1.66 GB, from KittenML's repository on the first line; the reference encoder, 542 MB, from this repository's ref-encoder-1 prerelease, on the first cloned line. Both are pinned and checked by sha256.

    The weights are not open source. KittenTTS 2 is under the Stellon Labs Community License. Commercial use, dubbing for pay included, is free only below US$1,000,000 in annual revenue and in total funding, and requires registering with Stellon Labs. Use must also follow an Acceptable Use Policy that is not published, and the licence is revocable. The add-on ships none of KittenML's weights; read the licence before using it for paid work. Powered by KittenML.

    Built on KittenML's C++ runtime (kitten-tts-2-cpp) with LibTorch 2.14.1, patched to end a line whose model scores go non-finite, and with the CPU flash-attention path off (it produced such lines depending on the thread count). A line that falls into silence is retried with another seed, up to three times, and the silence around each line is trimmed.

    Each archive was installed in CI the way Subtitld installs add-ons, on Linux, macOS (Apple Silicon) and Windows, and spoke English, Portuguese and Chinese lines and a cross-lingual clone through the add-on protocol.

Інші додатки групи «Голоси»

Оновлено · З каталогу додатків Повідомити про проблему з цим додатком