Text tracks in CMAF and MPEG-DASH
Субтитри, запаковані так, як стримінг пакує відео: у боксах MP4, нарізані на фрагменти по кілька секунд. Текст усередині — WebVTT або TTML. Трековий файл CMAF містить усю доріжку; маніфест DASH називає її сегменти, щоб плеєр їх завантажив.
Коротко
| Тип медіа | Доріжка: application/mp4. Маніфест: application/dash+xml. |
|---|---|
| Специфікація | Бокси: ISO/IEC 14496-30, на основі базового медіаформату ISO. Доріжка: CMAF, ISO/IEC 23000-19. Маніфест: MPEG-DASH, ISO/IEC 23009-1. |
| Точність часу | Тіки годинника доріжки: мілісекунди в тому, що записує Subtitld |
| Кодування тексту | UTF-8, усередині двійкових боксів |
| Оформлення | Як у WebVTT або як у TTML у його профілі |
| Розміщення | Налаштування субтитрів WebVTT або області TTML |
| Мовці | Теги голосу WebVTT або агенти TTML |
| У контейнерах | Сам MP4: та сама доріжка може стояти поруч із відео в .mp4. HLS теж називає сегменти CMAF. |
Будова доріжки
Це не текст, а бокси: кожен має розмір, чотири літери й вміст, а деякі містять власні бокси. .cmft, який записує Subtitld, із субтитрами у WebVTT:
ftyp cmfc · iso6 cmfc cwvt dash moov trak · mdia mdhd 1,000 ticks a second · eng elng en hdlr text · WebVTT stsd · wvtt · vttC WEBVTT mvex · trex moof 1 · from 0 mdat vtte · vttc moof 2 · from 6000 mdat vttc · vtte · vttc · vtte moof 3 · from 12000 mdat vtte
- 1 · Тип файлу
Що це за файл: доріжка CMAF (
cmfc) із WebVTT (cwvt), IMSC 1.1 (im2t) або IMSC 1.0.1 (im1t). - 2 · Фільм
Єдина доріжка: її годинник, мова, обробник (
textдля WebVTT,subtдля TTML) і що таке її семпли, тут — WebVTT зі своїм заголовком. - 3 · Фрагмент
Сегмент доріжки: його номер, коли він починається за годинником доріжки і скільки триває кожен семпл у ньому.
- 4 · Семпли
Субтитри фрагмента, семпл за семплом.
Два способи нести текст
WebVTT (wvtt) |
TTML (stpp) |
|
|---|---|---|
| Опис семплів | Заголовок файлу, у боксі vttC |
Простір імен TTML і тип MIME, що називає профіль |
| Семпл | Субтитри, показані протягом усього його часу | Цілий документ TTML |
| На екрані нічого | Порожній бокс субтитра, vtte |
Документ без субтитрів у цей час |
| Час | Час кожного семпла, з доріжки; у тексті немає | У документі, за годинником доріжки |
| Кодеки, як їх називають DASH і HLS | wvtt |
stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1 |
Семпл WebVTT
WebVTT у MP4 не має власного часу субтитрів. Щоразу, коли субтитр починається або закінчується, семпл закінчується і починається наступний, тож семпл містить субтитри, показані протягом усього його часу, кожен у боксі:
| Бокс | Що містить |
|---|---|
vttc |
Один субтитр |
payl |
Його текст: <v Celia>You're a jerk, і Thom. |
sttg |
Його налаштування, коли вони є: line:0 |
vtte |
Нічого не показувати протягом часу цього семпла |
Другий фрагмент вище, від 6 до 12 секунд: субтитр Celia, що почався на 4-й секунді, до 7,5; нічого до 8; субтитр Thom до 9,6; нічого до 12. Субтитр, що охоплює два фрагменти, є в обох.
Семпл TTML
Кожен фрагмент містить один документ TTML із субтитрами, показаними протягом фрагмента, обрізаними до його часу. Його час рахується від початку доріжки, а не фрагмента.
<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
…
<p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>
Це перший фрагмент, від 0 до 6 секунд: субтитр від 4 до 7,5 закінчується тут на 6-й секунді й знову починається на 6-й у наступному.
| Профіль | Де його вимагають |
|---|---|
| IMSC 1.1 Text | Плеєри, що читають IMSC 1.1, новіший із двох |
| IMSC 1.0.1 Text | HLS від Apple, який називає його stpp.ttml.im1t, і старіші плеєри |
| EBU-TT-D | Онлайн-плеєри європейських мовників, через DVB-DASH |
Будова маніфесту DASH
<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
<Period id="1" start="PT0S">
<AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
<Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
<SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
<Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
</AdaptationSet>
</Period>
</MPD>
| Частина | Що це |
|---|---|
mediaPresentationDuration |
Тривалість передачі |
<AdaptationSet> |
Текстова доріжка, її мовою, з роллю субтитрів |
<SegmentTemplate> |
Де її файли: ініціалізація, лише бокс фільму, далі фрагменти, 00001.m4s і далі, по одному на 6 секунд |
codecs |
Що несе доріжка: тут IMSC 1.1 Text |
Маніфест цілого потоку має поруч відео й аудіо в інших наборах адаптації.
CMAF, DASH чи HLS?
Доріжка CMAF (.cmft) |
DASH (.mpd) |
HLS (.m3u8) |
|
|---|---|---|---|
| Файли | Один | Маніфест, далі фільм і файл на кожен фрагмент | Плейлист, далі файл на кожен сегмент |
| Субтитри | WebVTT або TTML у MP4 | WebVTT або TTML у MP4 | Текстові файли WebVTT; IMSC у MP4 |
| Хто відтворює | Пакувальники й плеєри, що приймають CMAF | Плеєри DASH: dash.js, Shaka Player, смарт-телевізори | Плеєри Apple, hls.js |
CMAF і DASH у Subtitld
- Текст кожного субтитра та переноси рядків
- Курсив, жирний, підкреслення та колір
- Де він стоїть: налаштування субтитрів або області TTML
- Мовці, як теги голосу або агенти
- Мова записаного тексту
- Початок і кінець до мілісекунди
- Переклади поруч з оригіналом
- Дубляж, обличчя мовців і їхні кольори
Щоб зберегти це, збережіть проєкт .usfx.
Відкриття доріжки або маніфесту
Subtitld відкриває файл .cmft або маніфест .mpd і файли, які він називає, і:
- читає доріжки WebVTT власним засобом читання WebVTT, а доріжки TTML — засобом читання TTML;
- знаходить семпли в кожному фрагменті або в таблиці семплів звичайного MP4;
- з’єднує субтитр, який незмінним продовжується з одного семпла чи фрагмента в наступний;
- читає документ TTML, що рахує свій час від початку семпла, як колись записували деякі пакувальники;
- переходить від маніфесту до його текстової доріжки мовою проєкту, інакше до першої, і до її сегментів: за шаблоном, нумерованих або за часом, за списком або одним файлом; поруч із ним, за його базовою адресою або на вебсервері;
- читає файл WebVTT чи TTML, який маніфест називає окремо, як є;
- бере мову доріжки як мову проєкту.
Файл без доріжки WebVTT чи TTML або обрізаний файл так і повідомляє. Файл .mp4 відкривається як відео, а не як текстова доріжка.
Експорт CMAF і DASH
Експорт, далі Субтитри і CMFT або DASH, пропонує:
- ТекстОригінал, переклад або обидва, переклад унизу.
- Імена мовцівНе вказувати, писати перед текстом (Thom: …), як теги голосу WebVTT (
<v Thom>) або як агенти TTML (ttm:agent). - ОформленняЗберегти або прибрати.
- Зсув часуКожен субтитр раніше або пізніше на однакову величину.
- ДоріжкаWebVTT (
wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text або EBU-TT-D для DVB-DASH: останні три — TTML (stpp). - Тривалість сегмента2, 4, 6 або 10 секунд. Apple рекомендує 6.
- ВиглядДля доріжки TTML: білий із чорним контуром або такий, як малює попередній перегляд Subtitld.
CMFT записує один файл: фільм, далі фрагмент для кожного сегмента. DASH записує маніфест і, в теці поруч із ним, названій за ним (movie.mpd, movie_segments), фільм як init.mp4 і кожен фрагмент як 00001.m4s і далі; доріжка EBU-TT-D додає до маніфесту профіль DVB-DASH. У будь-якому разі годинник рахує мілісекунди, доріжка має мову записаного тексту і триває стільки, скільки відео, або стільки, скільки субтитри, коли відео немає.
Цікаве
MPEG-DASH опубліковано як ISO/IEC 23009-1 у квітні 2012 року, через кілька місяців після того, як MPEG його затвердив.
Частина MPEG-4, яка поміщає WebVTT і TTML у файли MP4. Її перше видання вийшло 2014 року.
Трекові файли CMAF мають розширення, що каже, що в них: .cmfv для відео, .cmfa для аудіо, .cmft для тексту.
Пов'язані формати
Відкрийте його в Subtitld разом із відео та вирівняйте за хвилею.