Text tracks in CMAF and MPEG-DASH
按流媒体打包视频的方式打包的字幕:放在 MP4 box 中,切分成每段几秒钟的分片。其中的文本是 WebVTT 或 TTML。CMAF 轨道文件保存整条轨道;DASH 清单则列出各个分段,供播放器获取。
概览
| 媒体类型 | 轨道:application/mp4。清单:application/dash+xml。 |
|---|---|
| 规范 | box:ISO/IEC 14496-30,基于 ISO 基础媒体文件格式。轨道:CMAF,ISO/IEC 23000-19。清单:MPEG-DASH,ISO/IEC 23009-1。 |
| 时间精度 | 轨道时钟的 tick:Subtitld 写出的文件中为毫秒 |
| 文本编码 | UTF-8,位于二进制 box 中 |
| 样式 | WebVTT 的样式,或 TTML 在其配置文件范围内的样式 |
| 位置 | WebVTT 的提示设置,或 TTML 的区域 |
| 说话人 | WebVTT 的语音标签,或 TTML 的 agent |
| 所在容器 | MP4 本身:同一条轨道可以与视频一起放在 .mp4 中。HLS 也能引用 CMAF 分段。 |
轨道的结构
这不是文本,而是 box:每个 box 有大小、四个字母的类型和内容,有些 box 里面还套着 box。下面是 Subtitld 写出的一个 .cmft,字幕为 WebVTT:
ftyp cmfc · iso6 cmfc cwvt dash moov trak · mdia mdhd 1,000 ticks a second · eng elng en hdlr text · WebVTT stsd · wvtt · vttC WEBVTT mvex · trex moof 1 · from 0 mdat vtte · vttc moof 2 · from 6000 mdat vttc · vtte · vttc · vtte moof 3 · from 12000 mdat vtte
- 1 · 文件类型
文件是什么:一条 WebVTT(
cwvt)、IMSC 1.1(im2t)或 IMSC 1.0.1(im1t)的 CMAF 轨道(cmfc)。 - 2 · 影片
唯一的一条轨道:它的时钟、语言、处理器(WebVTT 为
text,TTML 为subt),以及样本是什么,这里是带头部的 WebVTT。 - 3 · 分片
轨道的一个分段:编号、在轨道时钟上的开始时间,以及其中每个样本的时长。
- 4 · 样本
该分片中的字幕,一个样本接一个样本。
携带文本的两种方式
WebVTT(wvtt) |
TTML(stpp) |
|
|---|---|---|
| 样本描述 | 文件的头部,放在 vttC box 中 |
TTML 的命名空间,以及指明配置文件的 MIME 类型 |
| 一个样本 | 在其整个时段内显示的字幕提示 | 一个完整的 TTML 文档 |
| 屏幕上无内容 | 一个空的提示 box,vtte |
该时段内没有字幕的文档 |
| 时间 | 每个样本的时间来自轨道;文本中没有时间 | 在文档中,按轨道时钟计数 |
| DASH 和 HLS 所称的编码 | wvtt |
stpp.ttml.im2t、stpp.ttml.im1t、stpp.ttml.etd1 |
WebVTT 样本
MP4 中的 WebVTT 没有自己的提示时间。每当一条字幕提示开始或结束,一个样本就结束,下一个样本开始,因此一个样本包含在其整个时段内显示的字幕提示,每条一个 box:
| Box | 内容 |
|---|---|
vttc |
一条字幕提示 |
payl |
它的文本:<v Celia>You're a jerk, 和 Thom. |
sttg |
它的设置(如果有的话):line:0 |
vtte |
本样本时段内没有内容可显示 |
上面的第二个分片,6 到 12 秒:Celia 的字幕提示从 4 秒开始,持续到 7.5 秒;到 8 秒为空;Thom 的字幕提示持续到 9.6 秒;到 12 秒为空。跨越两个分片的字幕提示在两个分片中都有。
TTML 样本
每个分片包含一个 TTML 文档,其中是在该分片期间显示的字幕,并按分片时间截断。其时间从轨道开头算起,而不是从分片开头算起。
<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
…
<p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>
这是第一个分片,0 到 6 秒:从 4 秒到 7.5 秒的字幕提示在这里于 6 秒结束,并在下一个分片中从 6 秒重新开始。
| 配置文件 | 需要它的场合 |
|---|---|
| IMSC 1.1 Text | 能读取 IMSC 1.1(两者中较新的一个)的播放器 |
| IMSC 1.0.1 Text | Apple 的 HLS(称之为 stpp.ttml.im1t),以及较旧的播放器 |
| EBU-TT-D | 欧洲广播机构通过 DVB-DASH 提供的在线播放器 |
DASH 清单的结构
<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
<Period id="1" start="PT0S">
<AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
<Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
<SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
<Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
</AdaptationSet>
</Period>
</MPD>
| 部分 | 含义 |
|---|---|
mediaPresentationDuration |
节目的时长 |
<AdaptationSet> |
一条文本轨道,带有语言,其角色为字幕 |
<SegmentTemplate> |
文件所在位置:先是初始化文件,即单独的 movie box,然后是各个分片,从 00001.m4s 起,每 6 秒一个 |
codecs |
轨道携带的内容:这里是 IMSC 1.1 Text |
完整流的清单中,视频和音频位于旁边的其他 AdaptationSet 中。
CMAF、DASH 还是 HLS?
CMAF 轨道(.cmft) |
DASH(.mpd) |
HLS(.m3u8) |
|
|---|---|---|---|
| 文件 | 一个 | 一个清单,然后是影片文件,每个分片一个文件 | 一个播放列表,然后每个分段一个文件 |
| 字幕 | MP4 中的 WebVTT 或 TTML | MP4 中的 WebVTT 或 TTML | WebVTT 文本文件;MP4 中的 IMSC |
| 播放者 | 支持 CMAF 的打包工具和播放器 | DASH 播放器:dash.js、Shaka Player、智能电视 | Apple 的播放器、hls.js |
Subtitld 中的 CMAF 和 DASH
- 每条字幕的文本和换行
- 斜体、粗体、下划线和颜色
- 位置:提示设置,或 TTML 的区域
- 说话人,作为语音标签或 agent
- 所写文本的语言
- 开始和结束时间,精确到毫秒
- 与原文并列的译文
- 配音、说话人的脸和颜色
如需保留这些内容,请保存为 .usfx 项目。
打开轨道或清单
Subtitld 能打开 .cmft 文件,或 .mpd 清单及其指定的文件,并且会:
- 用 Subtitld 的 WebVTT 读取器读取 WebVTT 轨道,用 TTML 读取器读取 TTML 轨道;
- 在每个分片中找到样本,或在普通 MP4 的样本表中找到样本;
- 把从一个样本或分片延续到下一个、内容相同的字幕提示合并起来;
- 读取时间从其样本开头算起的 TTML 文档(某些打包工具曾经这样写);
- 顺着清单找到项目语言的文本轨道(否则取第一条)及其分段:按模板(编号或按时间)、按列表,或单个文件;位于清单旁边、其基础地址下,或 Web 服务器上;
- 清单单独指定的 WebVTT 或 TTML 文件,按原样读取;
- 把轨道的语言作为项目的语言。
如果文件中没有 WebVTT 或 TTML 轨道,或文件不完整,Subtitld 会说明原因。.mp4 文件会作为视频打开,而不是作为文本轨道。
导出 CMAF 和 DASH
在 导出 中选择 字幕 和 CMFT 或 DASH,会提供以下选项:
- 文本原文、译文,或两者都要,译文位于原文之下。
- 说话人名字不写、写在文本前(Thom: ……),或写成 WebVTT 的语音标签(
<v Thom>),或 TTML 的 agent(ttm:agent)。 - 格式保留,或去除。
- 时间偏移所有字幕整体提前或推迟相同的时长。
- 轨道WebVTT(
wvtt)、IMSC 1.1 Text、IMSC 1.0.1 Text,或用于 DVB-DASH 的 EBU-TT-D:后三者为 TTML(stpp)。 - 分段时长2、4、6 或 10 秒。Apple 推荐 6 秒。
- 外观用于 TTML 轨道:白色文字带黑色描边,或与 Subtitld 预览中的样子相同。
CMFT 写出一个文件:先是影片,然后每个分段一个分片。DASH 写出清单,并在旁边以清单命名的文件夹中(movie.mpd、movie_segments)写出作为 init.mp4 的影片,以及从 00001.m4s 起的各个分片;EBU-TT-D 轨道会在清单中加入 DVB-DASH 的配置文件。无论哪种方式,时钟都以毫秒计数,轨道的语言为所写文本的语言,时长与视频相同,没有视频时与字幕相同。
小知识
MPEG-DASH 于 2012 年 4 月以 ISO/IEC 23009-1 发布,距 MPEG 批准它仅几个月。
MPEG-4 中把 WebVTT 和 TTML 放入 MP4 文件的那一部分。其第一版发布于 2014 年。
CMAF 轨道文件的扩展名表明其内容:视频为 .cmfv,音频为 .cmfa,文本为 .cmft。
相关格式
在 Subtitld 中打开它,连同视频一起,在波形上重新打轴。