Text tracks in CMAF and MPEG-DASH
Субтитры, упакованные так же, как стриминг упаковывает видео: в боксы MP4, нарезанные на фрагменты длиной в несколько секунд. Текст внутри — WebVTT или TTML. Трековый файл CMAF содержит всю дорожку; манифест DASH называет ее сегменты, которые загружает плеер.
Коротко
| Тип медиа | Дорожка: application/mp4. Манифест: application/dash+xml. |
|---|---|
| Спецификация | Боксы: ISO/IEC 14496-30, на базе ISO base media file format. Дорожка: CMAF, ISO/IEC 23000-19. Манифест: MPEG-DASH, ISO/IEC 23009-1. |
| Точность времени | Тики часов дорожки: в том, что пишет Subtitld, — миллисекунды |
| Кодировка текста | UTF-8, внутри двоичных боксов |
| Оформление | Как в WebVTT или как в TTML в его профиле |
| Расположение | Настройки реплик WebVTT или области TTML |
| Говорящие | Теги голоса WebVTT или агенты TTML |
| В контейнерах | Сам MP4: та же дорожка может стоять рядом с видео в .mp4. HLS тоже называет сегменты CMAF. |
Анатомия дорожки
Не текст, а боксы: у каждого размер, четыре буквы и содержимое, а некоторые содержат собственные боксы. .cmft, который пишет Subtitld, с субтитрами в WebVTT:
ftyp cmfc · iso6 cmfc cwvt dash moov trak · mdia mdhd 1,000 ticks a second · eng elng en hdlr text · WebVTT stsd · wvtt · vttC WEBVTT mvex · trex moof 1 · from 0 mdat vtte · vttc moof 2 · from 6000 mdat vttc · vtte · vttc · vtte moof 3 · from 12000 mdat vtte
- 1 · Тип файла
Что это за файл: дорожка CMAF (
cmfc) с WebVTT (cwvt) или с IMSC 1.1 (im2t) или IMSC 1.0.1 (im1t). - 2 · Фильм
Единственная дорожка: ее часы, язык, обработчик (
textдля WebVTT,subtдля TTML) и то, чем являются ее сэмплы, здесь WebVTT с его заголовком. - 3 · Фрагмент
Сегмент дорожки: его номер, когда он начинается по часам дорожки и сколько длится каждый сэмпл в нем.
- 4 · Сэмплы
Субтитры фрагмента, сэмпл за сэмплом.
Два способа нести текст
WebVTT (wvtt) |
TTML (stpp) |
|
|---|---|---|
| Описание сэмпла | Заголовок файла, в боксе vttC |
Пространство имен TTML и MIME-тип, называющий профиль |
| Сэмпл | Реплики, показываемые все его время | Целый документ TTML |
| На экране ничего | Пустой бокс реплики, vtte |
Документ без субтитров в это время |
| Время | У каждого сэмпла, от дорожки; в тексте его нет | В документе, по часам дорожки |
| Кодек, как его называют DASH и HLS | wvtt |
stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1 |
Сэмпл WebVTT
У WebVTT в MP4 нет собственного времени реплик. Каждый раз, когда реплика начинается или заканчивается, сэмпл заканчивается и начинается следующий, поэтому сэмпл содержит реплики, показываемые все его время, каждую в своем боксе:
| Бокс | Что содержит |
|---|---|
vttc |
Одну реплику |
payl |
Ее текст: <v Celia>You're a jerk, и Thom. |
sttg |
Ее настройки, если они есть: line:0 |
vtte |
Ничего не показывать во время этого сэмпла |
Второй фрагмент выше, с 6 до 12 секунд: реплика Celia, начавшаяся на 4-й, до 7.5; ничего до 8; реплика Thom до 9.6; ничего до 12. Реплика, охватывающая два фрагмента, есть в обоих.
Сэмпл TTML
Каждый фрагмент содержит один документ TTML с субтитрами, показываемыми в его время, обрезанными по нему. Его время считается от начала дорожки, а не фрагмента.
<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
…
<p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>
Это первый фрагмент, с 0 до 6 секунд: реплика с 4 до 7.5 здесь заканчивается на 6 и снова начинается на 6 в следующем.
| Профиль | Где его требуют |
|---|---|
| IMSC 1.1 Text | Плееры, которые читают IMSC 1.1, более новый из двух |
| IMSC 1.0.1 Text | HLS от Apple, который называет его stpp.ttml.im1t, и старые плееры |
| EBU-TT-D | Онлайн-плееры европейских вещателей, через DVB-DASH |
Анатомия манифеста DASH
<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
<Period id="1" start="PT0S">
<AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
<Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
<SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
<Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
</AdaptationSet>
</Period>
</MPD>
| Элемент | Что это |
|---|---|
mediaPresentationDuration |
Сколько длится программа |
<AdaptationSet> |
Текстовая дорожка, на своем языке, с ролью «субтитры» |
<SegmentTemplate> |
Где лежат ее файлы: инициализация, только бокс фильма, затем фрагменты, 00001.m4s и далее, по одному на 6 секунд |
codecs |
Что несет дорожка: здесь IMSC 1.1 Text |
В манифесте целого потока рядом с ней в других наборах адаптации стоят видео и звук.
CMAF, DASH или HLS?
Дорожка CMAF (.cmft) |
DASH (.mpd) |
HLS (.m3u8) |
|
|---|---|---|---|
| Файлы | Один | Манифест, затем фильм и по файлу на фрагмент | Плейлист, затем по файлу на сегмент |
| Субтитры | WebVTT или TTML в MP4 | WebVTT или TTML в MP4 | Текстовые файлы WebVTT; IMSC в MP4 |
| Кто воспроизводит | Упаковщики и плееры, принимающие CMAF | Плееры DASH: dash.js, Shaka Player, смарт-ТВ | Плееры Apple, hls.js |
CMAF и DASH в Subtitld
- Текст каждого субтитра и переносы строк
- Курсив, полужирный, подчеркивание и цвет
- Где субтитр стоит: настройки реплики или области TTML
- Говорящие, как теги голоса или агенты
- Язык записанного текста
- Начало и конец, до миллисекунды
- Переводы рядом с оригиналом
- Озвучка, лица и цвета говорящих
Сохраните проект .usfx, чтобы их сохранить.
Открытие дорожки или манифеста
Subtitld открывает файл .cmft или манифест .mpd и файлы, которые он называет, и:
- читает дорожки WebVTT собственной программой чтения WebVTT, а дорожки TTML — программой чтения TTML;
- находит сэмплы в каждом фрагменте или в таблице сэмплов обычного MP4;
- соединяет реплику, которая без изменений продолжается из одного сэмпла или фрагмента в следующий;
- читает документ TTML, который считает время от начала своего сэмпла, как когда-то писали некоторые упаковщики;
- переходит от манифеста к его текстовой дорожке на языке проекта, иначе к первой, и к ее сегментам: по шаблону, нумерованным или по времени, по списку или к одному файлу; рядом с ним, по его базовому адресу или на веб-сервере;
- читает файл WebVTT или TTML, который манифест называет сам по себе, как есть;
- берет язык дорожки как язык проекта.
Если в файле нет дорожки WebVTT или TTML или он обрезан, Subtitld так и сообщает. Файл .mp4 открывается как видео, а не как текстовая дорожка.
Экспорт CMAF и DASH
Экспорт, затем Субтитры и CMFT или DASH, предлагает:
- ТекстОригинал, перевод или оба, перевод ниже.
- Имена говорящихОпущены, перед текстом (Thom: …), как теги голоса WebVTT (
<v Thom>) или как агенты TTML (ttm:agent). - ОформлениеСохраняется или удаляется.
- Сдвиг времениКаждый субтитр раньше или позже на одну и ту же величину.
- ДорожкаWebVTT (
wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text или EBU-TT-D для DVB-DASH: последние три — TTML (stpp). - Длина сегмента2, 4, 6 или 10 секунд. Apple рекомендует 6.
- ВидДля дорожки TTML: белый с черным контуром или как в предпросмотре Subtitld.
CMFT пишет один файл: фильм, затем по фрагменту на каждый сегмент. DASH пишет манифест и в папке рядом с ним, с именем по нему (movie.mpd, movie_segments), фильм как init.mp4 и каждый фрагмент как 00001.m4s и далее; дорожка EBU-TT-D добавляет в манифест профиль DVB-DASH. В обоих случаях часы считают миллисекунды, дорожка получает язык записанного текста и длится столько, сколько видео, или, если видео нет, столько, сколько субтитры.
Любопытное
MPEG-DASH был опубликован как ISO/IEC 23009-1 в апреле 2012 года, через несколько месяцев после его утверждения в MPEG.
Часть MPEG-4, которая помещает WebVTT и TTML в файлы MP4. Ее первое издание вышло в 2014 году.
Трековые файлы CMAF получают расширение по содержимому: .cmfv для видео, .cmfa для звука, .cmft для текста.
Похожие форматы
Откройте его в Subtitld вместе с видео и поправьте тайминг по осциллограмме.