Text tracks in CMAF and MPEG-DASH

ОткрытьСохранитьСтримингДвоичный

Субтитры, упакованные так же, как стриминг упаковывает видео: в боксы MP4, нарезанные на фрагменты длиной в несколько секунд. Текст внутри — WebVTT или TTML. Трековый файл CMAF содержит всю дорожку; манифест DASH называет ее сегменты, которые загружает плеер.

Коротко

Тип медиаДорожка: application/mp4. Манифест: application/dash+xml.
СпецификацияБоксы: ISO/IEC 14496-30, на базе ISO base media file format. Дорожка: CMAF, ISO/IEC 23000-19. Манифест: MPEG-DASH, ISO/IEC 23009-1.
Точность времениТики часов дорожки: в том, что пишет Subtitld, — миллисекунды
Кодировка текстаUTF-8, внутри двоичных боксов
ОформлениеКак в WebVTT или как в TTML в его профиле
РасположениеНастройки реплик WebVTT или области TTML
ГоворящиеТеги голоса WebVTT или агенты TTML
В контейнерахСам MP4: та же дорожка может стоять рядом с видео в .mp4. HLS тоже называет сегменты CMAF.

Анатомия дорожки

Не текст, а боксы: у каждого размер, четыре буквы и содержимое, а некоторые содержат собственные боксы. .cmft, который пишет Subtitld, с субтитрами в WebVTT:

ftyp  cmfc · iso6 cmfc cwvt dash
moov
  trak · mdia
    mdhd   1,000 ticks a second · eng
    elng   en
    hdlr   text · WebVTT
    stsd · wvtt · vttC  WEBVTT
  mvex · trex
moof  1 · from 0
mdat  vtte · vttc
moof  2 · from 6000
mdat  vttc · vtte · vttc · vtte
moof  3 · from 12000
mdat  vtte
  1. 1 · Тип файла

    Что это за файл: дорожка CMAF (cmfc) с WebVTT (cwvt) или с IMSC 1.1 (im2t) или IMSC 1.0.1 (im1t).

  2. 2 · Фильм

    Единственная дорожка: ее часы, язык, обработчик (text для WebVTT, subt для TTML) и то, чем являются ее сэмплы, здесь WebVTT с его заголовком.

  3. 3 · Фрагмент

    Сегмент дорожки: его номер, когда он начинается по часам дорожки и сколько длится каждый сэмпл в нем.

  4. 4 · Сэмплы

    Субтитры фрагмента, сэмпл за сэмплом.

Два способа нести текст

WebVTT (wvtt) TTML (stpp)
Описание сэмпла Заголовок файла, в боксе vttC Пространство имен TTML и MIME-тип, называющий профиль
Сэмпл Реплики, показываемые все его время Целый документ TTML
На экране ничего Пустой бокс реплики, vtte Документ без субтитров в это время
Время У каждого сэмпла, от дорожки; в тексте его нет В документе, по часам дорожки
Кодек, как его называют DASH и HLS wvtt stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1

Сэмпл WebVTT

У WebVTT в MP4 нет собственного времени реплик. Каждый раз, когда реплика начинается или заканчивается, сэмпл заканчивается и начинается следующий, поэтому сэмпл содержит реплики, показываемые все его время, каждую в своем боксе:

Бокс Что содержит
vttc Одну реплику
payl Ее текст: <v Celia>You're a jerk, и Thom.
sttg Ее настройки, если они есть: line:0
vtte Ничего не показывать во время этого сэмпла

Второй фрагмент выше, с 6 до 12 секунд: реплика Celia, начавшаяся на 4-й, до 7.5; ничего до 8; реплика Thom до 9.6; ничего до 12. Реплика, охватывающая два фрагмента, есть в обоих.

Сэмпл TTML

Каждый фрагмент содержит один документ TTML с субтитрами, показываемыми в его время, обрезанными по нему. Его время считается от начала дорожки, а не фрагмента.

<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
  …
  <p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>

Это первый фрагмент, с 0 до 6 секунд: реплика с 4 до 7.5 здесь заканчивается на 6 и снова начинается на 6 в следующем.

Профиль Где его требуют
IMSC 1.1 Text Плееры, которые читают IMSC 1.1, более новый из двух
IMSC 1.0.1 Text HLS от Apple, который называет его stpp.ttml.im1t, и старые плееры
EBU-TT-D Онлайн-плееры европейских вещателей, через DVB-DASH

Анатомия манифеста DASH

<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
  <Period id="1" start="PT0S">
    <AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
      <Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
      <SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
      <Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
    </AdaptationSet>
  </Period>
</MPD>
Элемент Что это
mediaPresentationDuration Сколько длится программа
<AdaptationSet> Текстовая дорожка, на своем языке, с ролью «субтитры»
<SegmentTemplate> Где лежат ее файлы: инициализация, только бокс фильма, затем фрагменты, 00001.m4s и далее, по одному на 6 секунд
codecs Что несет дорожка: здесь IMSC 1.1 Text

В манифесте целого потока рядом с ней в других наборах адаптации стоят видео и звук.

CMAF, DASH или HLS?

Дорожка CMAF (.cmft) DASH (.mpd) HLS (.m3u8)
Файлы Один Манифест, затем фильм и по файлу на фрагмент Плейлист, затем по файлу на сегмент
Субтитры WebVTT или TTML в MP4 WebVTT или TTML в MP4 Текстовые файлы WebVTT; IMSC в MP4
Кто воспроизводит Упаковщики и плееры, принимающие CMAF Плееры DASH: dash.js, Shaka Player, смарт-ТВ Плееры Apple, hls.js

CMAF и DASH в Subtitld

Сохраняется в дорожке
  • Текст каждого субтитра и переносы строк
  • Курсив, полужирный, подчеркивание и цвет
  • Где субтитр стоит: настройки реплики или области TTML
  • Говорящие, как теги голоса или агенты
  • Язык записанного текста
  • Начало и конец, до миллисекунды
Некуда деть
  • Переводы рядом с оригиналом
  • Озвучка, лица и цвета говорящих

Сохраните проект .usfx, чтобы их сохранить.

Открытие дорожки или манифеста

Subtitld открывает файл .cmft или манифест .mpd и файлы, которые он называет, и:

  • читает дорожки WebVTT собственной программой чтения WebVTT, а дорожки TTML — программой чтения TTML;
  • находит сэмплы в каждом фрагменте или в таблице сэмплов обычного MP4;
  • соединяет реплику, которая без изменений продолжается из одного сэмпла или фрагмента в следующий;
  • читает документ TTML, который считает время от начала своего сэмпла, как когда-то писали некоторые упаковщики;
  • переходит от манифеста к его текстовой дорожке на языке проекта, иначе к первой, и к ее сегментам: по шаблону, нумерованным или по времени, по списку или к одному файлу; рядом с ним, по его базовому адресу или на веб-сервере;
  • читает файл WebVTT или TTML, который манифест называет сам по себе, как есть;
  • берет язык дорожки как язык проекта.

Если в файле нет дорожки WebVTT или TTML или он обрезан, Subtitld так и сообщает. Файл .mp4 открывается как видео, а не как текстовая дорожка.

Экспорт CMAF и DASH

Диалог экспорта Subtitld с выбранным DASH, дорожка IMSC 1.1 Text, сегменты по 6 секунд и белый текст с черным контуром

Экспорт, затем Субтитры и CMFT или DASH, предлагает:

  • ТекстОригинал, перевод или оба, перевод ниже.
  • Имена говорящихОпущены, перед текстом (Thom: …), как теги голоса WebVTT (<v Thom>) или как агенты TTML (ttm:agent).
  • ОформлениеСохраняется или удаляется.
  • Сдвиг времениКаждый субтитр раньше или позже на одну и ту же величину.
  • ДорожкаWebVTT (wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text или EBU-TT-D для DVB-DASH: последние три — TTML (stpp).
  • Длина сегмента2, 4, 6 или 10 секунд. Apple рекомендует 6.
  • ВидДля дорожки TTML: белый с черным контуром или как в предпросмотре Subtitld.

CMFT пишет один файл: фильм, затем по фрагменту на каждый сегмент. DASH пишет манифест и в папке рядом с ним, с именем по нему (movie.mpd, movie_segments), фильм как init.mp4 и каждый фрагмент как 00001.m4s и далее; дорожка EBU-TT-D добавляет в манифест профиль DVB-DASH. В обоих случаях часы считают миллисекунды, дорожка получает язык записанного текста и длится столько, сколько видео, или, если видео нет, столько, сколько субтитры.

Любопытное

2012

MPEG-DASH был опубликован как ISO/IEC 23009-1 в апреле 2012 года, через несколько месяцев после его утверждения в MPEG.

14496-30

Часть MPEG-4, которая помещает WebVTT и TTML в файлы MP4. Ее первое издание вышло в 2014 году.

.cmft

Трековые файлы CMAF получают расширение по содержимому: .cmfv для видео, .cmfa для звука, .cmft для текста.

Похожие форматы

Нужно исправить файл cmft mpd?

Откройте его в Subtitld вместе с видео и поправьте тайминг по осциллограмме.

Скачать Subtitld