F5-TTS (offline + voice clone)

ГолосаОфлайнGPU необязательноКлонирование голосаНекоммерческое

Клонирует голос каждого говорящего с образца из видео и озвучивает ваши субтитры по-английски или по-китайски на вашем компьютере. Встроенных голосов у него нет, а модель предназначена только для некоммерческого использования.

Установите из Subtitld

Настройки Дополнения F5-TTS (offline + voice clone) Установка

Subtitld скачает его, проверит SHA-256 и будет поддерживать его в актуальном состоянии.

Исходный код на GitHub
Языки
2
Модели
2
Голоса
1
Загрузка дополнения
433–648 MB
ОЗУ, не меньше
4 GB

Что он делает

Только клонирование

Один голос, Custom voice. Каждый говорящий получает свой, скопированный с образца, который Subtitld вырезает из видео. Лучше всего работает с 6–15 секундами.

Расшифровывает образец

Когда образец приходит без расшифровки, F5-TTS пишет её сам с помощью Whisper. В первый раз это означает загрузку и Whisper; после этого он кэшируется.

Английский и китайский

Модель обучалась на английской и китайской речи. У неё нет настройки языка, и она читает каждую реплику как написано.

Загружается один раз

Первая реплика ждёт загрузки и запуска модели; остальные используют её, пока дополнение простаивает пять минут.

Некоммерческая модель. Веса F5-TTS распространяются по CC-BY-NC-4.0, которая не разрешает коммерческое использование. Код дополнения лицензирован по MIT, но это не меняет условий весов. Для коммерческой работы Qwen3-TTS тоже клонирует голоса, а его веса лицензированы по Apache-2.0.

Голоса

На вкладке Говорящие выберите F5-TTS как Движок дублирования говорящего; его единственный Голос — Custom voice. Каждая реплика получается такой длины, какой её делает модель; включите Подогнать дубляж под длительность субтитра, чтобы говорящий растягивал или сжимал её под свой субтитр.

1 голос.

Образец для клона

Для каждого говорящего Subtitld вырезает образец из звука проекта:

  • его самый длинный субтитр от 3 до 12 секунд;
  • если подходящего нет, первые 12 секунд более длинного;
  • если все короче 3 секунд, несколько подряд, склеенных до 3.

F5-TTS лучше всего работает с 6–15 секундами, поэтому дайте каждому говорящему хотя бы одну реплику от 6 до 12 секунд. Если вы отделили музыку от голоса для этого видео, образец берётся только из голоса. Default voice reference в настройках дополнения используется, только когда образец вырезать нельзя, например если видео не открыто.

Subtitld сохраняет образец каждого говорящего и вырезает его заново, только если меняется аудиофайл. После смены тайминга реплик говорящего удалите его образец, чтобы получить новый; его имя заканчивается именем говорящего.

Система Папка
Linux ~/.cache/subtitld/clone-refs
macOS ~/Library/Caches/subtitld/clone-refs
Windows %LOCALAPPDATA%\subtitld\subtitld\Cache\clone-refs

Модели

Обе загружаются при первой генерации реплики: модель F5-TTS и вокодер Vocos, который превращает её выход в звук. Whisper подгружается сверху, при первом случае, когда F5-TTS нужно расшифровать образец.

Модель Загрузка
f5-tts-v1-base
1.5 GB
vocos-mel-24khz
80 MB

Настройки

Дополнение читает эти настройки при запуске, поэтому изменение применяется, когда оно простоит пять минут, или после перезапуска Subtitld. Skip auto-extracted reference transcript — исключение: Subtitld читает её для каждой реплики.

В разделе «Настройки › Дополнения › F5-TTS (offline + voice clone)» нажмите «Настроить».

Inference device
По умолчанию: cpu

F5-TTS сам выбирает устройство при загрузке; дополнение этот параметр не передаёт. Выпущенные сборки сделаны с пакетом PyTorch для процессора.

Default voice reference (6-15 s, mono WAV recommended)
По умолчанию: пусто

Клип для копирования, когда Subtitld не может взять образец говорящего из видео, например если видео не открыто. Образец из видео всегда идёт первым. Стремитесь к 6–15 секундам.

Reference clip transcript
По умолчанию: пусто

Слова, произнесённые в клипе по умолчанию выше. Дополнение использует его с любым образцом, который пришёл без собственной расшифровки, включая образцы из видео, поэтому оставьте пустым, если не полагаетесь на клип по умолчанию. Если пусто, F5-TTS расшифровывает каждый образец сам.

Skip auto-extracted reference transcript
По умолчанию: выкл.

Включите, чтобы текст субтитров не передавался с образцом как его расшифровка; тогда F5-TTS расшифровывает образец сам с помощью Whisper. Полезно, когда ваши субтитры пересказывают сказанное.

Языки

F5-TTS не принимает язык: он читает каждую реплику как написано. Модели для других языков существуют, но это дополнение их не загружает.

  • en
  • zh-cn

Платформы

Система ЗагрузкаПроверено
Linux x86-64 647.8 MBСобрано и запущено в CI
macOS (универсальная) 433.8 MBСобрано и запущено в CI
Windows x86-64 433.2 MBСобрано и запущено в CI

Каждая сборка создаётся на Linux, macOS и Windows, а CI проверяет, что программа запускается и перечисляет свой голос. Синтез речи в CI не выполняется.

Устранение неполадок

  • bad_paramsНе с чем работать: в субтитре нет текста или нет образца для копирования. Subtitld не смог его вырезать (видео не открыто или нет субтитров у этого говорящего), а клип по умолчанию не задан или его файл переехал. Добавьте текст субтитра, откройте видео или задайте для Default voice reference существующий файл.
  • internalМодель не загрузилась или не смогла озвучить реплику; сообщение скажет какая. Сбой загрузки при первом использовании тоже попадает сюда: проверьте подключение и свободное место на диске и попробуйте снова. Если сообщение упоминает ffmpeg, установите ffmpeg так, чтобы он был в PATH; F5-TTS нужен он, чтобы читать образец.

Лицензия

Дополнение
MIT
Движок
MIT
f5-tts
Модели
CC-BY-NC-4.0
Веса F5TTS_v1_Base; только некоммерческое использование

Не для коммерческой работы: лицензия весов CC-BY-NC-4.0 это запрещает, хотя код дополнения лицензирован по MIT.

Версии

  • 1.0.6

    Automated release for f5-tts v1.0.6.

Другие дополнения группы «Голоса»