Клонирует голос каждого говорящего с нескольких секунд видео и озвучивает ваши субтитры на 16 языках на вашем компьютере. Модель бесплатна только для некоммерческого использования.

Что он делает

Клон из видео

Выберите Custom voice, и Subtitld даёт модели несколько секунд речи этого говорящего, вырезанные из видео. Лучше всего работает с 6 секундами и более.

Два встроенных голоса

XTTS female 1 и XTTS male 1 для говорящих, которых вы не клонируете.

16 языков

Говорит на языке проекта или на английском, когда язык проекта не задан.

Загружается один раз

Первая реплика ждёт загрузки модели, а при первом разе ещё и её скачивания; остальные используют уже загруженную. На процессоре длинное предложение может занять полминуты.

Некоммерческая модель. Веса XTTS-v2 распространяются по Coqui Public Model License (CPML): бесплатно для некоммерческого использования, для всего остального нужна платная лицензия Coqui. Дополнение соглашается с условиями Coqui за вас при загрузке модели, поэтому вы этого не увидите; условия действуют в любом случае.

Голоса

На вкладке Говорящие выберите Coqui XTTS как Движок дублирования говорящего, затем выберите Голос. Custom voice находится в начале списка. Каждая реплика получается такой длины, какой её делает модель; включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал её под свой субтитр.

Голосов: 3 на 1 языке.

en 2

Образец для клона

Когда голос говорящего — Custom voice, Subtitld вырезает образец этого говорящего из звука проекта:

его самый длинный субтитр от 3 до 12 секунд;
если подходящего нет, первые 12 секунд более длинного;
если все короче 3 секунд, несколько подряд, склеенных до 3.

XTTS лучше всего работает с 6 секундами и более, поэтому дайте каждому говорящему хотя бы одну реплику от 6 до 12 секунд. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Default voice reference в настройках дополнения используется, только когда образец вырезать нельзя, например если видео не открыто.

Subtitld сохраняет образец каждого говорящего и вырезает его заново, только если меняется аудиофайл. После смены тайминга реплик говорящего удалите его образец, чтобы получить новый; его имя заканчивается именем говорящего.

Система	Папка
Linux	`~/.cache/subtitld/clone-refs`
macOS	`~/Library/Caches/subtitld/clone-refs`
Windows	`%LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs`

Модели

Одна модель, загружается при первой генерации реплики; два небольших файла рядом с ней — её настройки и словарь. Дополнение держит её загруженной, пока она простаивает пять минут.

Модель	Загрузка
xtts_v2	1.9 GB
xtts_v2_config	1 MB
xtts_v2_vocab	1 MB

Настройки

Дополнение читает эти настройки при запуске, поэтому изменение применяется, когда оно простоит пять минут, или после перезапуска Subtitld.

В разделе «Настройки › Дополнения › Coqui XTTS-v2 (offline + voice clone)» нажмите «Настроить».

Inference device

По умолчанию: cpu

Оставьте CPU. Выпущенные сборки сделаны с пакетом PyTorch для процессора, поэтому CUDA с ними не работает; MPS помечен как бета.

Default voice reference (6+ seconds, mono WAV recommended)

По умолчанию: пусто

Клип для копирования, когда Subtitld не может взять образец говорящего из видео, например если видео не открыто. Образец из видео всегда идёт первым. Пока это задано, два встроенных голоса тоже копируют этот клип.

Языки

Дополнение передаёт модели язык проекта без региона; если язык не задан, она говорит по-английски.

en
es
fr
de
it
pt
pl
tr
ru
nl
cs
ar
zh-cn
ja
hu
ko

Платформы

Система	Загрузка	Проверено
Linux x86-64	442.7 MB	Собрано и запущено в CI
macOS (универсальная)	323.1 MB	Собрано и запущено в CI
Windows x86-64	302.2 MB	Собрано и запущено в CI

Каждая сборка создаётся на Linux, macOS и Windows, а CI проверяет, что программа запускается и перечисляет свои голоса. Синтез речи в CI не выполняется.

Устранение неполадок

bad_paramsЛибо в субтитре нет текста, либо у клона нет образца: Subtitld не смог его вырезать (видео не открыто или нет субтитров у этого говорящего), а клип по умолчанию не задан. Добавьте текст субтитра, откройте видео или задайте Default voice reference.
internalМодель не загрузилась или не смогла озвучить реплику; сообщение скажет какая. Сбой загрузки при первом использовании тоже попадает сюда: проверьте подключение и свободное место на диске и попробуйте снова. Также проверьте, что язык проекта есть в списке выше.

Лицензия

Дополнение

MIT

Движок

MPL-2.0

coqui-ai-TTS (форк idiap)

Модели

CPML

Веса XTTS-v2; некоммерческие без лицензии Coqui

Не для коммерческой работы, если у вас нет коммерческой лицензии Coqui на веса XTTS-v2. Собственный код дополнения лицензирован по MIT.

Coqui XTTS (offline + voice clone)

Что он делает

Голоса

Образец для клона

Модели

Настройки

Языки

Платформы

Устранение неполадок

Лицензия

Версии

Другие дополнения группы «Голоса»