Text tracks in CMAF and MPEG-DASH

ВідкритиЗберегтиСтримінгДвійковий

Субтитри, запаковані так, як стримінг пакує відео: у боксах MP4, нарізані на фрагменти по кілька секунд. Текст усередині — WebVTT або TTML. Трековий файл CMAF містить усю доріжку; маніфест DASH називає її сегменти, щоб плеєр їх завантажив.

Коротко

Тип медіаДоріжка: application/mp4. Маніфест: application/dash+xml.
СпецифікаціяБокси: ISO/IEC 14496-30, на основі базового медіаформату ISO. Доріжка: CMAF, ISO/IEC 23000-19. Маніфест: MPEG-DASH, ISO/IEC 23009-1.
Точність часуТіки годинника доріжки: мілісекунди в тому, що записує Subtitld
Кодування текстуUTF-8, усередині двійкових боксів
ОформленняЯк у WebVTT або як у TTML у його профілі
РозміщенняНалаштування субтитрів WebVTT або області TTML
МовціТеги голосу WebVTT або агенти TTML
У контейнерахСам MP4: та сама доріжка може стояти поруч із відео в .mp4. HLS теж називає сегменти CMAF.

Будова доріжки

Це не текст, а бокси: кожен має розмір, чотири літери й вміст, а деякі містять власні бокси. .cmft, який записує Subtitld, із субтитрами у WebVTT:

ftyp  cmfc · iso6 cmfc cwvt dash
moov
  trak · mdia
    mdhd   1,000 ticks a second · eng
    elng   en
    hdlr   text · WebVTT
    stsd · wvtt · vttC  WEBVTT
  mvex · trex
moof  1 · from 0
mdat  vtte · vttc
moof  2 · from 6000
mdat  vttc · vtte · vttc · vtte
moof  3 · from 12000
mdat  vtte
  1. 1 · Тип файлу

    Що це за файл: доріжка CMAF (cmfc) із WebVTT (cwvt), IMSC 1.1 (im2t) або IMSC 1.0.1 (im1t).

  2. 2 · Фільм

    Єдина доріжка: її годинник, мова, обробник (text для WebVTT, subt для TTML) і що таке її семпли, тут — WebVTT зі своїм заголовком.

  3. 3 · Фрагмент

    Сегмент доріжки: його номер, коли він починається за годинником доріжки і скільки триває кожен семпл у ньому.

  4. 4 · Семпли

    Субтитри фрагмента, семпл за семплом.

Два способи нести текст

WebVTT (wvtt) TTML (stpp)
Опис семплів Заголовок файлу, у боксі vttC Простір імен TTML і тип MIME, що називає профіль
Семпл Субтитри, показані протягом усього його часу Цілий документ TTML
На екрані нічого Порожній бокс субтитра, vtte Документ без субтитрів у цей час
Час Час кожного семпла, з доріжки; у тексті немає У документі, за годинником доріжки
Кодеки, як їх називають DASH і HLS wvtt stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1

Семпл WebVTT

WebVTT у MP4 не має власного часу субтитрів. Щоразу, коли субтитр починається або закінчується, семпл закінчується і починається наступний, тож семпл містить субтитри, показані протягом усього його часу, кожен у боксі:

Бокс Що містить
vttc Один субтитр
payl Його текст: <v Celia>You're a jerk, і Thom.
sttg Його налаштування, коли вони є: line:0
vtte Нічого не показувати протягом часу цього семпла

Другий фрагмент вище, від 6 до 12 секунд: субтитр Celia, що почався на 4-й секунді, до 7,5; нічого до 8; субтитр Thom до 9,6; нічого до 12. Субтитр, що охоплює два фрагменти, є в обох.

Семпл TTML

Кожен фрагмент містить один документ TTML із субтитрами, показаними протягом фрагмента, обрізаними до його часу. Його час рахується від початку доріжки, а не фрагмента.

<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
  …
  <p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>

Це перший фрагмент, від 0 до 6 секунд: субтитр від 4 до 7,5 закінчується тут на 6-й секунді й знову починається на 6-й у наступному.

Профіль Де його вимагають
IMSC 1.1 Text Плеєри, що читають IMSC 1.1, новіший із двох
IMSC 1.0.1 Text HLS від Apple, який називає його stpp.ttml.im1t, і старіші плеєри
EBU-TT-D Онлайн-плеєри європейських мовників, через DVB-DASH

Будова маніфесту DASH

<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
  <Period id="1" start="PT0S">
    <AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
      <Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
      <SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
      <Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
    </AdaptationSet>
  </Period>
</MPD>
Частина Що це
mediaPresentationDuration Тривалість передачі
<AdaptationSet> Текстова доріжка, її мовою, з роллю субтитрів
<SegmentTemplate> Де її файли: ініціалізація, лише бокс фільму, далі фрагменти, 00001.m4s і далі, по одному на 6 секунд
codecs Що несе доріжка: тут IMSC 1.1 Text

Маніфест цілого потоку має поруч відео й аудіо в інших наборах адаптації.

CMAF, DASH чи HLS?

Доріжка CMAF (.cmft) DASH (.mpd) HLS (.m3u8)
Файли Один Маніфест, далі фільм і файл на кожен фрагмент Плейлист, далі файл на кожен сегмент
Субтитри WebVTT або TTML у MP4 WebVTT або TTML у MP4 Текстові файли WebVTT; IMSC у MP4
Хто відтворює Пакувальники й плеєри, що приймають CMAF Плеєри DASH: dash.js, Shaka Player, смарт-телевізори Плеєри Apple, hls.js

CMAF і DASH у Subtitld

Зберігається в доріжці
  • Текст кожного субтитра та переноси рядків
  • Курсив, жирний, підкреслення та колір
  • Де він стоїть: налаштування субтитрів або області TTML
  • Мовці, як теги голосу або агенти
  • Мова записаного тексту
  • Початок і кінець до мілісекунди
Нікуди подіти
  • Переклади поруч з оригіналом
  • Дубляж, обличчя мовців і їхні кольори

Щоб зберегти це, збережіть проєкт .usfx.

Відкриття доріжки або маніфесту

Subtitld відкриває файл .cmft або маніфест .mpd і файли, які він називає, і:

  • читає доріжки WebVTT власним засобом читання WebVTT, а доріжки TTML — засобом читання TTML;
  • знаходить семпли в кожному фрагменті або в таблиці семплів звичайного MP4;
  • з’єднує субтитр, який незмінним продовжується з одного семпла чи фрагмента в наступний;
  • читає документ TTML, що рахує свій час від початку семпла, як колись записували деякі пакувальники;
  • переходить від маніфесту до його текстової доріжки мовою проєкту, інакше до першої, і до її сегментів: за шаблоном, нумерованих або за часом, за списком або одним файлом; поруч із ним, за його базовою адресою або на вебсервері;
  • читає файл WebVTT чи TTML, який маніфест називає окремо, як є;
  • бере мову доріжки як мову проєкту.

Файл без доріжки WebVTT чи TTML або обрізаний файл так і повідомляє. Файл .mp4 відкривається як відео, а не як текстова доріжка.

Експорт CMAF і DASH

Діалог експорту Subtitld з вибраним DASH, доріжкою IMSC 1.1 Text, сегментами по 6 секунд і білим текстом із чорним контуром

Експорт, далі Субтитри і CMFT або DASH, пропонує:

  • ТекстОригінал, переклад або обидва, переклад унизу.
  • Імена мовцівНе вказувати, писати перед текстом (Thom: …), як теги голосу WebVTT (<v Thom>) або як агенти TTML (ttm:agent).
  • ОформленняЗберегти або прибрати.
  • Зсув часуКожен субтитр раніше або пізніше на однакову величину.
  • ДоріжкаWebVTT (wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text або EBU-TT-D для DVB-DASH: останні три — TTML (stpp).
  • Тривалість сегмента2, 4, 6 або 10 секунд. Apple рекомендує 6.
  • ВиглядДля доріжки TTML: білий із чорним контуром або такий, як малює попередній перегляд Subtitld.

CMFT записує один файл: фільм, далі фрагмент для кожного сегмента. DASH записує маніфест і, в теці поруч із ним, названій за ним (movie.mpd, movie_segments), фільм як init.mp4 і кожен фрагмент як 00001.m4s і далі; доріжка EBU-TT-D додає до маніфесту профіль DVB-DASH. У будь-якому разі годинник рахує мілісекунди, доріжка має мову записаного тексту і триває стільки, скільки відео, або стільки, скільки субтитри, коли відео немає.

Цікаве

2012

MPEG-DASH опубліковано як ISO/IEC 23009-1 у квітні 2012 року, через кілька місяців після того, як MPEG його затвердив.

14496-30

Частина MPEG-4, яка поміщає WebVTT і TTML у файли MP4. Її перше видання вийшло 2014 року.

.cmft

Трекові файли CMAF мають розширення, що каже, що в них: .cmfv для відео, .cmfa для аудіо, .cmft для тексту.

Пов'язані формати

Маєте cmft mpd для виправлення?

Відкрийте його в Subtitld разом із відео та вирівняйте за хвилею.

Завантажити Subtitld