WebVTT in HTTP Live Streaming
Как HTTP Live Streaming от Apple передает субтитры: плейлист и перечисленные в нем файлы WebVTT, каждый на несколько секунд программы. Плеер загружает их по ходу воспроизведения, рядом с собственными сегментами видео.
Коротко
| Расширение | .m3u8 |
|---|---|
| Тип медиа | Плейлист: application/vnd.apple.mpegurl. Его сегменты: text/vtt. |
| Спецификация | RFC 8216 (2017) и HLS Authoring Specification for Apple Devices от Apple. Сегменты — это WebVTT. |
| Точность времени | Миллисекунды, в репликах сегментов |
| Кодировка текста | UTF-8, и для плейлиста, и для сегментов |
| Оформление | Как в WebVTT: курсив, полужирный, подчеркивание и цвета по классам |
| Расположение | Настройки реплик WebVTT |
| Говорящие | Теги голоса WebVTT: <v Thom> |
| В контейнерах | Для WebVTT нет: простые текстовые файлы на веб-сервере. Субтитры IMSC в HLS идут во фрагментированном MP4. |
Анатомия плейлиста
Список сегментов, у каждого своя длительность. Сами субтитры — в файлах, которые он называет.
#EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:6 #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-PLAYLIST-TYPE:VOD #EXTINF:6.000, movie_segments/segment00000.vtt #EXTINF:6.000, movie_segments/segment00001.vtt #EXTINF:2.000, movie_segments/segment00002.vtt #EXT-X-ENDLIST
- 1 · Заголовок
Всегда сначала
#EXTM3U. Затем версия, номер первого сегмента иVOD: программа, все сегменты которой уже на месте. - 2 · Целевая длительность
Целое число секунд, которое не превышает округленная длительность ни одного сегмента.
- 3 · Длительность
Сколько длится следующий за ней сегмент, в секундах.
- 4 · Адрес
Где находится сегмент: здесь — рядом с плейлистом, или по веб-адресу.
- 5 · Конец
Больше ничего не будет. Прямая трансляция его опускает и продолжает добавлять сегменты.
Анатомия сегмента
Каждый сегмент — это отдельный файл WebVTT с одной дополнительной строкой в заголовке.
WEBVTT X-TIMESTAMP-MAP=LOCAL:00:00:00.000,MPEGTS:900000 00:00:04.000 --> 00:00:07.500 <v Celia>You're a jerk, Thom. 00:00:08.000 --> 00:00:09.600 <v Thom><i>Celia!</i>
- 1 · Заголовок
WEBVTT, как в любом файле WebVTT. - 2 · Карта меток времени
Какому моменту видео соответствует время реплики.
- 3 · Реплики
Все реплики, показываемые во время сегмента, каждая со своим полным временем, даже с частью за пределами сегмента.
Это второй сегмент, с 6 до 12 секунд. Его первая реплика началась в первом сегменте, на 4-й секунде, и есть в обоих: плеер, который начинает отсюда, все равно ее покажет.
Карта меток времени
Кадры видео несут метки времени MPEG-2, отсчитанные по часам в 90,000 тиков в секунду. Карта связывает двое часов:
| Часть | Что сообщает |
|---|---|
LOCAL:00:00:00.000 |
Время реплики в этом файле |
MPEGTS:900000 |
Метка времени видео в этот момент: 900,000 тиков, 10 секунд |
Многие кодировщики запускают часы потока с 10 секунд, поэтому 900000 — обычное значение. С такой картой реплика на 00:00:04.000 показывается с кадром, помеченным 1,260,000. Сегмент без карты читается так, будто 0 соответствует 0.
Неверная карта сдвигает все субтитры. Если часы видео начинаются с 10 секунд, а карта говорит 0, плеер покажет субтитры на 10 секунд позже или не покажет вовсе. Записывайте значение, которое использовал кодировщик видео.
Субтитры во всем потоке
Главный плейлист потока перечисляет его варианты: видео в нескольких размерах, звук и субтитры на каждом языке, у каждого свой плейлист.
#EXT-X-MEDIA:TYPE=SUBTITLES,GROUP-ID="subs",NAME="English",LANGUAGE="en",DEFAULT=YES,URI="en.m3u8"
| Атрибут | Что содержит |
|---|---|
TYPE |
SUBTITLES |
LANGUAGE |
Язык субтитров, как тег BCP 47 |
DEFAULT |
YES для тех, что показываются, если зритель ничего не выбрал |
URI |
Собственный плейлист субтитров, как показанный выше |
HLS или файл WebVTT?
| Файл WebVTT | HLS | |
|---|---|---|
| Файлы | Один | Плейлист и сегмент каждые несколько секунд |
| Кто показывает | <track> веб-страницы, плееры |
Плееры HLS: Safari, iPhone, Apple TV и hls.js в вебе |
| Привязка к видео | Время от начала | Карта меток времени относительно собственных меток видео |
| Прямой эфир | — | Сегменты добавляются по ходу программы |
HLS в Subtitld
- Текст каждого субтитра и переносы строк
- Курсив, полужирный, подчеркивание и цвет, как их хранит WebVTT
- Где субтитр стоит, как настройки реплики
- Говорящие, как теги голоса
- Начало и конец, до миллисекунды
- Язык: Subtitld пишет плейлист субтитров, а не главный плейлист, который его называет
- Переводы рядом с оригиналом
- Озвучка, лица и цвета говорящих
Сохраните проект .usfx, чтобы их сохранить.
Открытие плейлиста HLS
Откройте файл .m3u8. Subtitld:
- переходит от главного плейлиста к его субтитрам: к варианту на языке проекта, иначе к варианту по умолчанию, иначе к первому;
- читает каждый сегмент, который перечисляет плейлист, рядом с ним или по адресу
httpилиhttps, а также часть файла, которую называет диапазон байтов; - читает сегменты как WebVTT и сдвигает каждый по его карте меток времени, чтобы первый момент потока был 0;
- оставляет один раз реплику, повторенную в сегментах, которые она охватывает, и соединяет реплику, которую сегментатор разрезал надвое на границе сегмента;
- читает сегменты IMSC во фрагментированном MP4, как их несет CMAF;
- берет язык варианта как язык проекта.
Если файл не начинается с #EXTM3U или в плейлисте нет субтитров, Subtitld так и сообщает.
Экспорт HLS
Экспорт, затем Субтитры и HLS, предлагает:
- ТекстОригинал, перевод или оба, перевод ниже.
- Имена говорящихОпущены, перед текстом (Thom: …) или как теги голоса (
<v Thom>). - ОформлениеСохраняется или удаляется.
- Сдвиг времениКаждый субтитр раньше или позже на одну и ту же величину.
- Длина сегмента2, 4, 6 или 10 секунд. Apple рекомендует 6.
- Карта меток времени
MPEGTS:900000, 10 секунд, с которых большинство кодировщиков запускают часы потока, илиMPEGTS:0.
Subtitld пишет плейлист версии 3 и рядом с ним папку с именем по нему (movie.m3u8, movie_segments) с сегментами segment00000.vtt и далее. Все сегменты, кроме последнего, одинаковой длины и с одинаковой картой, поэтому время их реплик — это время программы. Сегменты идут столько, сколько длится видео, включая пустые, или, если видео нет, столько, сколько длятся субтитры. Повторное сохранение заменяет сегменты в папке.
Добавьте плейлист в главный плейлист вашего потока строкой #EXT-X-MEDIA:TYPE=SUBTITLES с его языком и адресом.
Любопытное
Apple выпустила HTTP Live Streaming в мае 2009 года. Он был опубликован как RFC 8216 в августе 2017 года, после долгих лет в статусе Internet-Draft.
Столько идут часы меток времени MPEG-2 в 90,000 тиков, прежде чем их 33 бита переполнятся и сбросятся в ноль. RFC 8216 просит плееры справляться с этим, когда время реплик продолжается.
Спецификация Apple для авторинга говорит, что целевая длительность должна быть 6 секунд и что у субтитров WebVTT обязательно должна быть карта меток времени.
Похожие форматы
Откройте его в Subtitld вместе с видео и поправьте тайминг по осциллограмме.