Text tracks in CMAF and MPEG-DASH

打开保存流媒体二进制

按流媒体打包视频的方式打包的字幕:放在 MP4 box 中,切分成每段几秒钟的分片。其中的文本是 WebVTT 或 TTML。CMAF 轨道文件保存整条轨道;DASH 清单则列出各个分段,供播放器获取。

概览

媒体类型轨道:application/mp4。清单:application/dash+xml。
规范box:ISO/IEC 14496-30,基于 ISO 基础媒体文件格式。轨道:CMAF,ISO/IEC 23000-19。清单:MPEG-DASH,ISO/IEC 23009-1。
时间精度轨道时钟的 tick:Subtitld 写出的文件中为毫秒
文本编码UTF-8,位于二进制 box 中
样式WebVTT 的样式,或 TTML 在其配置文件范围内的样式
位置WebVTT 的提示设置,或 TTML 的区域
说话人WebVTT 的语音标签,或 TTML 的 agent
所在容器MP4 本身:同一条轨道可以与视频一起放在 .mp4 中。HLS 也能引用 CMAF 分段。

轨道的结构

这不是文本,而是 box:每个 box 有大小、四个字母的类型和内容,有些 box 里面还套着 box。下面是 Subtitld 写出的一个 .cmft,字幕为 WebVTT:

ftyp  cmfc · iso6 cmfc cwvt dash
moov
  trak · mdia
    mdhd   1,000 ticks a second · eng
    elng   en
    hdlr   text · WebVTT
    stsd · wvtt · vttC  WEBVTT
  mvex · trex
moof  1 · from 0
mdat  vtte · vttc
moof  2 · from 6000
mdat  vttc · vtte · vttc · vtte
moof  3 · from 12000
mdat  vtte
  1. 1 · 文件类型

    文件是什么:一条 WebVTT(cwvt)、IMSC 1.1(im2t)或 IMSC 1.0.1(im1t)的 CMAF 轨道(cmfc)。

  2. 2 · 影片

    唯一的一条轨道:它的时钟、语言、处理器(WebVTT 为 text,TTML 为 subt),以及样本是什么,这里是带头部的 WebVTT。

  3. 3 · 分片

    轨道的一个分段:编号、在轨道时钟上的开始时间,以及其中每个样本的时长。

  4. 4 · 样本

    该分片中的字幕,一个样本接一个样本。

携带文本的两种方式

WebVTT(wvtt) TTML(stpp)
样本描述 文件的头部,放在 vttC box 中 TTML 的命名空间,以及指明配置文件的 MIME 类型
一个样本 在其整个时段内显示的字幕提示 一个完整的 TTML 文档
屏幕上无内容 一个空的提示 box,vtte 该时段内没有字幕的文档
时间 每个样本的时间来自轨道;文本中没有时间 在文档中,按轨道时钟计数
DASH 和 HLS 所称的编码 wvtt stpp.ttml.im2t、stpp.ttml.im1t、stpp.ttml.etd1

WebVTT 样本

MP4 中的 WebVTT 没有自己的提示时间。每当一条字幕提示开始或结束,一个样本就结束,下一个样本开始,因此一个样本包含在其整个时段内显示的字幕提示,每条一个 box:

Box 内容
vttc 一条字幕提示
payl 它的文本:<v Celia>You're a jerk, 和 Thom.
sttg 它的设置(如果有的话):line:0
vtte 本样本时段内没有内容可显示

上面的第二个分片,6 到 12 秒:Celia 的字幕提示从 4 秒开始,持续到 7.5 秒;到 8 秒为空;Thom 的字幕提示持续到 9.6 秒;到 12 秒为空。跨越两个分片的字幕提示在两个分片中都有。

TTML 样本

每个分片包含一个 TTML 文档,其中是在该分片期间显示的字幕,并按分片时间截断。其时间从轨道开头算起,而不是从分片开头算起。

<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
  …
  <p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>

这是第一个分片,0 到 6 秒:从 4 秒到 7.5 秒的字幕提示在这里于 6 秒结束,并在下一个分片中从 6 秒重新开始。

配置文件 需要它的场合
IMSC 1.1 Text 能读取 IMSC 1.1(两者中较新的一个)的播放器
IMSC 1.0.1 Text Apple 的 HLS(称之为 stpp.ttml.im1t),以及较旧的播放器
EBU-TT-D 欧洲广播机构通过 DVB-DASH 提供的在线播放器

DASH 清单的结构

<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
  <Period id="1" start="PT0S">
    <AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
      <Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
      <SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
      <Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
    </AdaptationSet>
  </Period>
</MPD>
部分 含义
mediaPresentationDuration 节目的时长
<AdaptationSet> 一条文本轨道,带有语言,其角色为字幕
<SegmentTemplate> 文件所在位置:先是初始化文件,即单独的 movie box,然后是各个分片,从 00001.m4s 起,每 6 秒一个
codecs 轨道携带的内容:这里是 IMSC 1.1 Text

完整流的清单中,视频和音频位于旁边的其他 AdaptationSet 中。

CMAF、DASH 还是 HLS?

CMAF 轨道(.cmft) DASH(.mpd) HLS(.m3u8)
文件 一个 一个清单,然后是影片文件,每个分片一个文件 一个播放列表,然后每个分段一个文件
字幕 MP4 中的 WebVTT 或 TTML MP4 中的 WebVTT 或 TTML WebVTT 文本文件;MP4 中的 IMSC
播放者 支持 CMAF 的打包工具和播放器 DASH 播放器:dash.js、Shaka Player、智能电视 Apple 的播放器、hls.js

Subtitld 中的 CMAF 和 DASH

保留在轨道中
  • 每条字幕的文本和换行
  • 斜体、粗体、下划线和颜色
  • 位置:提示设置,或 TTML 的区域
  • 说话人,作为语音标签或 agent
  • 所写文本的语言
  • 开始和结束时间,精确到毫秒
无法保存
  • 与原文并列的译文
  • 配音、说话人的脸和颜色

如需保留这些内容,请保存为 .usfx 项目。

打开轨道或清单

Subtitld 能打开 .cmft 文件,或 .mpd 清单及其指定的文件,并且会:

  • 用 Subtitld 的 WebVTT 读取器读取 WebVTT 轨道,用 TTML 读取器读取 TTML 轨道;
  • 在每个分片中找到样本,或在普通 MP4 的样本表中找到样本;
  • 把从一个样本或分片延续到下一个、内容相同的字幕提示合并起来;
  • 读取时间从其样本开头算起的 TTML 文档(某些打包工具曾经这样写);
  • 顺着清单找到项目语言的文本轨道(否则取第一条)及其分段:按模板(编号或按时间)、按列表,或单个文件;位于清单旁边、其基础地址下,或 Web 服务器上;
  • 清单单独指定的 WebVTT 或 TTML 文件,按原样读取;
  • 把轨道的语言作为项目的语言。

如果文件中没有 WebVTT 或 TTML 轨道,或文件不完整,Subtitld 会说明原因。.mp4 文件会作为视频打开,而不是作为文本轨道。

导出 CMAF 和 DASH

Subtitld 的导出对话框,选中了 DASH,IMSC 1.1 Text 轨道,分段 6 秒,白色文字带黑色描边

在 导出 中选择 字幕 和 CMFT 或 DASH,会提供以下选项:

  • 文本原文、译文,或两者都要,译文位于原文之下。
  • 说话人名字不写、写在文本前(Thom: ……),或写成 WebVTT 的语音标签(<v Thom>),或 TTML 的 agent(ttm:agent)。
  • 格式保留,或去除。
  • 时间偏移所有字幕整体提前或推迟相同的时长。
  • 轨道WebVTT(wvtt)、IMSC 1.1 Text、IMSC 1.0.1 Text,或用于 DVB-DASH 的 EBU-TT-D:后三者为 TTML(stpp)。
  • 分段时长2、4、6 或 10 秒。Apple 推荐 6 秒。
  • 外观用于 TTML 轨道:白色文字带黑色描边,或与 Subtitld 预览中的样子相同。

CMFT 写出一个文件:先是影片,然后每个分段一个分片。DASH 写出清单,并在旁边以清单命名的文件夹中(movie.mpd、movie_segments)写出作为 init.mp4 的影片,以及从 00001.m4s 起的各个分片;EBU-TT-D 轨道会在清单中加入 DVB-DASH 的配置文件。无论哪种方式,时钟都以毫秒计数,轨道的语言为所写文本的语言,时长与视频相同,没有视频时与字幕相同。

小知识

2012

MPEG-DASH 于 2012 年 4 月以 ISO/IEC 23009-1 发布,距 MPEG 批准它仅几个月。

14496-30

MPEG-4 中把 WebVTT 和 TTML 放入 MP4 文件的那一部分。其第一版发布于 2014 年。

.cmft

CMAF 轨道文件的扩展名表明其内容:视频为 .cmfv,音频为 .cmfa,文本为 .cmft。

相关格式

有 cmft mpd 需要修正吗?

在 Subtitld 中打开它,连同视频一起,在波形上重新打轴。

下载 Subtitld