WebVTT in HTTP Live Streaming

ОткрытьСохранитьСтримингВеб

Как HTTP Live Streaming от Apple передает субтитры: плейлист и перечисленные в нем файлы WebVTT, каждый на несколько секунд программы. Плеер загружает их по ходу воспроизведения, рядом с собственными сегментами видео.

Коротко

Расширение.m3u8
Тип медиаПлейлист: application/vnd.apple.mpegurl. Его сегменты: text/vtt.
СпецификацияRFC 8216 (2017) и HLS Authoring Specification for Apple Devices от Apple. Сегменты — это WebVTT.
Точность времениМиллисекунды, в репликах сегментов
Кодировка текстаUTF-8, и для плейлиста, и для сегментов
ОформлениеКак в WebVTT: курсив, полужирный, подчеркивание и цвета по классам
РасположениеНастройки реплик WebVTT
ГоворящиеТеги голоса WebVTT: <v Thom>
В контейнерахДля WebVTT нет: простые текстовые файлы на веб-сервере. Субтитры IMSC в HLS идут во фрагментированном MP4.

Анатомия плейлиста

Список сегментов, у каждого своя длительность. Сами субтитры — в файлах, которые он называет.

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:6
#EXT-X-MEDIA-SEQUENCE:0
#EXT-X-PLAYLIST-TYPE:VOD
#EXTINF:6.000,
movie_segments/segment00000.vtt
#EXTINF:6.000,
movie_segments/segment00001.vtt
#EXTINF:2.000,
movie_segments/segment00002.vtt
#EXT-X-ENDLIST
  1. 1 · Заголовок

    Всегда сначала #EXTM3U. Затем версия, номер первого сегмента и VOD: программа, все сегменты которой уже на месте.

  2. 2 · Целевая длительность

    Целое число секунд, которое не превышает округленная длительность ни одного сегмента.

  3. 3 · Длительность

    Сколько длится следующий за ней сегмент, в секундах.

  4. 4 · Адрес

    Где находится сегмент: здесь — рядом с плейлистом, или по веб-адресу.

  5. 5 · Конец

    Больше ничего не будет. Прямая трансляция его опускает и продолжает добавлять сегменты.

Анатомия сегмента

Каждый сегмент — это отдельный файл WebVTT с одной дополнительной строкой в заголовке.

WEBVTT
X-TIMESTAMP-MAP=LOCAL:00:00:00.000,MPEGTS:900000
 
00:00:04.000 --> 00:00:07.500
<v Celia>You're a jerk,
Thom.
 
00:00:08.000 --> 00:00:09.600
<v Thom><i>Celia!</i>
  1. 1 · Заголовок

    WEBVTT, как в любом файле WebVTT.

  2. 2 · Карта меток времени

    Какому моменту видео соответствует время реплики.

  3. 3 · Реплики

    Все реплики, показываемые во время сегмента, каждая со своим полным временем, даже с частью за пределами сегмента.

Это второй сегмент, с 6 до 12 секунд. Его первая реплика началась в первом сегменте, на 4-й секунде, и есть в обоих: плеер, который начинает отсюда, все равно ее покажет.

Карта меток времени

Кадры видео несут метки времени MPEG-2, отсчитанные по часам в 90,000 тиков в секунду. Карта связывает двое часов:

Часть Что сообщает
LOCAL:00:00:00.000 Время реплики в этом файле
MPEGTS:900000 Метка времени видео в этот момент: 900,000 тиков, 10 секунд

Многие кодировщики запускают часы потока с 10 секунд, поэтому 900000 — обычное значение. С такой картой реплика на 00:00:04.000 показывается с кадром, помеченным 1,260,000. Сегмент без карты читается так, будто 0 соответствует 0.

Неверная карта сдвигает все субтитры. Если часы видео начинаются с 10 секунд, а карта говорит 0, плеер покажет субтитры на 10 секунд позже или не покажет вовсе. Записывайте значение, которое использовал кодировщик видео.

Субтитры во всем потоке

Главный плейлист потока перечисляет его варианты: видео в нескольких размерах, звук и субтитры на каждом языке, у каждого свой плейлист.

#EXT-X-MEDIA:TYPE=SUBTITLES,GROUP-ID="subs",NAME="English",LANGUAGE="en",DEFAULT=YES,URI="en.m3u8"
Атрибут Что содержит
TYPE SUBTITLES
LANGUAGE Язык субтитров, как тег BCP 47
DEFAULT YES для тех, что показываются, если зритель ничего не выбрал
URI Собственный плейлист субтитров, как показанный выше

HLS или файл WebVTT?

Файл WebVTT HLS
Файлы Один Плейлист и сегмент каждые несколько секунд
Кто показывает <track> веб-страницы, плееры Плееры HLS: Safari, iPhone, Apple TV и hls.js в вебе
Привязка к видео Время от начала Карта меток времени относительно собственных меток видео
Прямой эфир — Сегменты добавляются по ходу программы

HLS в Subtitld

Сохраняется в сегментах
  • Текст каждого субтитра и переносы строк
  • Курсив, полужирный, подчеркивание и цвет, как их хранит WebVTT
  • Где субтитр стоит, как настройки реплики
  • Говорящие, как теги голоса
  • Начало и конец, до миллисекунды
Некуда деть
  • Язык: Subtitld пишет плейлист субтитров, а не главный плейлист, который его называет
  • Переводы рядом с оригиналом
  • Озвучка, лица и цвета говорящих

Сохраните проект .usfx, чтобы их сохранить.

Открытие плейлиста HLS

Откройте файл .m3u8. Subtitld:

  • переходит от главного плейлиста к его субтитрам: к варианту на языке проекта, иначе к варианту по умолчанию, иначе к первому;
  • читает каждый сегмент, который перечисляет плейлист, рядом с ним или по адресу http или https, а также часть файла, которую называет диапазон байтов;
  • читает сегменты как WebVTT и сдвигает каждый по его карте меток времени, чтобы первый момент потока был 0;
  • оставляет один раз реплику, повторенную в сегментах, которые она охватывает, и соединяет реплику, которую сегментатор разрезал надвое на границе сегмента;
  • читает сегменты IMSC во фрагментированном MP4, как их несет CMAF;
  • берет язык варианта как язык проекта.

Если файл не начинается с #EXTM3U или в плейлисте нет субтитров, Subtitld так и сообщает.

Экспорт HLS

Диалог экспорта Subtitld с выбранным HLS, говорящие как теги голоса, сегменты по 6 секунд и карта меток времени с MPEGTS 900000

Экспорт, затем Субтитры и HLS, предлагает:

  • ТекстОригинал, перевод или оба, перевод ниже.
  • Имена говорящихОпущены, перед текстом (Thom: …) или как теги голоса (<v Thom>).
  • ОформлениеСохраняется или удаляется.
  • Сдвиг времениКаждый субтитр раньше или позже на одну и ту же величину.
  • Длина сегмента2, 4, 6 или 10 секунд. Apple рекомендует 6.
  • Карта меток времениMPEGTS:900000, 10 секунд, с которых большинство кодировщиков запускают часы потока, или MPEGTS:0.

Subtitld пишет плейлист версии 3 и рядом с ним папку с именем по нему (movie.m3u8, movie_segments) с сегментами segment00000.vtt и далее. Все сегменты, кроме последнего, одинаковой длины и с одинаковой картой, поэтому время их реплик — это время программы. Сегменты идут столько, сколько длится видео, включая пустые, или, если видео нет, столько, сколько длятся субтитры. Повторное сохранение заменяет сегменты в папке.

Добавьте плейлист в главный плейлист вашего потока строкой #EXT-X-MEDIA:TYPE=SUBTITLES с его языком и адресом.

Любопытное

2009

Apple выпустила HTTP Live Streaming в мае 2009 года. Он был опубликован как RFC 8216 в августе 2017 года, после долгих лет в статусе Internet-Draft.

26.5 ч

Столько идут часы меток времени MPEG-2 в 90,000 тиков, прежде чем их 33 бита переполнятся и сбросятся в ноль. RFC 8216 просит плееры справляться с этим, когда время реплик продолжается.

6 с

Спецификация Apple для авторинга говорит, что целевая длительность должна быть 6 секунд и что у субтитров WebVTT обязательно должна быть карта меток времени.

Похожие форматы

Нужно исправить файл .m3u8?

Откройте его в Subtitld вместе с видео и поправьте тайминг по осциллограмме.

Скачать Subtitld