KittenTTS 2 (offline, voice clone, 16 languages)

Что он делает

Перед установкой

• Диск: около 1,7 ГБ для модели, загружается при первой реплике, и ещё 540 МБ для клонирования, при первой клонированной реплике.
• Память: около 2,3 ГБ во время синтеза речи, так что нужно около 3 ГБ свободной памяти.
• Процессор: у Intel и AMD — процессор с AVX2, FMA и F16C; они есть у процессоров Intel с 2013 года и AMD с 2015 года. У некоторых Celeron, Pentium и Atom их нет, и на них первая реплика завершается ошибкой с сообщением об этом. Подходит любой Mac на Apple Silicon.

Клонируйте голос только с согласия его владельца.

Голоса

На вкладке Говорящие выберите KittenTTS 2 как Движок дублирования говорящего, затем выберите Голос. Включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал каждую реплику под свой субтитр. Перед озвучиванием задайте язык проекта.

Голосов: 116 на языках: 16.

• ar 4
• de 4
• en 50
• es 5
• fr 5
• hi 5
• id 2
• it 6
• ja 4
• ko 3
• nl 3
• pl 4
• pt 6
• ru 7
• tr 3
• zh 4

С Speaker's own voice Subtitld вырезает образец этого говорящего из звука проекта, от 3 до 12 секунд, и передаёт его вместе с текстом субтитра, который в нём произносится. KittenTTS продолжает этот образец — так получается ближе всего к говорящему и стабильнее всего. В нашем тесте, с английскими образцами и португальскими репликами, клонированный дубляж звучал почти так же близко к говорящим, как у VoxCPM2, и ошибался в словах реже. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Fallback reference clip в настройках дополнения используется, только когда образец вырезать нельзя.

Каждый готовый голос относится к одному языку: это запись, и модель продолжает её с тем же акцентом. Поэтому в списке Голос показаны голоса языка вашего проекта. У английского их 50, среди них Bella, Jasper, Luna, Bruno, Rosie, Hugo, Kiki и Leo из KittenTTS 0.8, а также персонажи вроде Marcus, мягкого радиодиджея, или Victoria, величественной рассказчицы. У остальных языков от 2 до 7 голосов. KittenML не сообщает, откуда взяты записи.

Время от времени модель молчит вместо того, чтобы произнести реплику. Дополнение это замечает и пробует снова, до трёх раз, так что вам не нужно этого делать.

Модели

Ни одного файла KittenML нет внутри дополнения: при первом озвучивании они загружаются в общий кэш моделей Subtitld из репозитория KittenML на Hugging Face, с закреплённой ревизией, и каждый файл проверяется. Эталонный кодировщик, который превращает образец в голос, загружается из собственного выпуска дополнения при первой клонированной реплике. Прерванная загрузка продолжается с того места, где остановилась. Обновление или удаление дополнения модели сохраняет.

Дополнение запускает собственную программу KittenML на C++ для KittenTTS 2, которая примерно в четыре раза быстрее Python-пакета KittenML и требует втрое меньше памяти.

Настройки

В разделе «Настройки › Дополнения › KittenTTS 2 (offline, voice clone, 16 languages)» нажмите «Настроить».

Языки

Английский, испанский, французский, немецкий, итальянский, португальский, русский, китайский, японский, корейский, арабский, хинди, турецкий, нидерландский, польский и индонезийский. Для проекта на любом другом языке появится сообщение об этом: выберите для него другой движок дублирования.

Английский текст читается так, как задумано: «the 3rd of May» становится «the third of May», «$12.50» — «twelve dollars fifty». На других языках там, где это важно, пишите числа и символы словами.

• en
• es
• fr
• de
• it
• pt
• ru
• zh
• ja
• ko
• ar
• hi
• tr
• nl
• pl
• id

Платформы

Linux x86-64, macOS на Apple Silicon и Windows x86-64. Каждый выпуск собирается на всех трёх, и на каждой из них CI устанавливает дополнение так же, как это делает Subtitld, загружает модель и озвучивает ею, в том числе клонированным голосом. На Linux нужна glibc 2.35 или новее.

Устранение неполадок

• network_unavailableНе удалось загрузить модель. Проверьте подключение и попробуйте снова: загрузка продолжится.
• disk_fullНедостаточно места на диске для модели: около 1,7 ГБ или 2,2 ГБ с клонированием.
• unsupported_languageЯзык проекта не входит в эти 16 или не задан. Задайте его в проекте или выберите другой движок дублирования.
• unsupported_voiceПроект указывает голос, которого нет в этой версии. Выберите голос заново на вкладке Говорящие.
• bad_paramsВ реплике нет текста, или клон не получил образца: откройте видео или задайте Fallback reference clip. В сообщении сказано, что именно.
• internalВнутри дополнения произошёл сбой; подробности в сообщении. Если в нём сказано, что у процессора нет AVX2, FMA и F16C, этот компьютер не может запускать KittenTTS 2. Если сказано, что реплика всё время выходила тишиной, попробуйте другой голос или переформулируйте реплику.

Лицензия

Дополнение лицензировано по Apache-2.0. Среда выполнения KittenML — MIT и Apache-2.0, LibTorch — BSD-3-Clause, а части эталонного кодировщика — MIT. Веса KittenTTS 2 распространяются по Stellon Labs Community License, которую вы принимаете, когда дополнение их загружает: бесплатно для исследований и личного использования, а для коммерческого — только при годовой выручке и общем финансировании меньше 1 000 000 долларов США, с регистрацией в Stellon Labs. Веса и то, что они создают, нельзя использовать для обучения других моделей. Созданный дубляж принадлежит вам. Powered by KittenML.