WebVTT in HTTP Live Streaming
Apple 的 HTTP Live Streaming 携带字幕的方式:一个播放列表,以及它所列出的 WebVTT 文件,每个文件包含节目的几秒钟。播放器在播放时与视频本身的分段一起获取它们。
概览
| 扩展名 | .m3u8 |
|---|---|
| 媒体类型 | 播放列表:application/vnd.apple.mpegurl。其分段:text/vtt。 |
| 规范 | RFC 8216(2017 年),以及 Apple 的 HLS Authoring Specification for Apple Devices。分段为 WebVTT。 |
| 时间精度 | 毫秒,在分段的字幕提示中 |
| 文本编码 | UTF-8,播放列表和分段都是如此 |
| 样式 | WebVTT 的样式:斜体、粗体、下划线,以及按类设置的颜色 |
| 位置 | WebVTT 的提示设置 |
| 说话人 | WebVTT 的语音标签:<v Thom> |
| 所在容器 | WebVTT 没有容器:Web 服务器上的纯文本文件。HLS 中的 IMSC 字幕使用分片 MP4。 |
播放列表的结构
一份分段列表,每个分段带有时长。字幕位于它所指定的文件中。
#EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:6 #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-PLAYLIST-TYPE:VOD #EXTINF:6.000, movie_segments/segment00000.vtt #EXTINF:6.000, movie_segments/segment00001.vtt #EXTINF:2.000, movie_segments/segment00002.vtt #EXT-X-ENDLIST
- 1 · 头部
总是以
#EXTM3U开头。然后是版本、第一个分段的编号,以及VOD:所有分段都已就绪的节目。 - 2 · 目标时长
以整秒计,任何分段的时长取整后都不会超过它。
- 3 · 时长
其后那个分段持续多少秒。
- 4 · 地址
分段所在的位置:这里是在播放列表旁边,也可以是网址。
- 5 · 结束
不会再有更多内容。直播流省略这一行,并持续添加分段。
分段的结构
每个分段都是一个独立的 WebVTT 文件,头部多一行。
WEBVTT X-TIMESTAMP-MAP=LOCAL:00:00:00.000,MPEGTS:900000 00:00:04.000 --> 00:00:07.500 <v Celia>You're a jerk, Thom. 00:00:08.000 --> 00:00:09.600 <v Thom><i>Celia!</i>
- 1 · 头部
WEBVTT,与任何 WebVTT 文件相同。 - 2 · 时间戳映射
字幕提示的时间对应视频中的哪个时刻。
- 3 · 字幕提示
分段期间显示的所有字幕提示,每条都带有完整的时间,包括落在分段之外的部分。
这是第二个分段,从第 6 秒到第 12 秒。它的第一条字幕提示从第一个分段的第 4 秒开始,同时出现在两个分段中:从这里开始播放的播放器也能显示它。
时间戳映射
视频的帧带有 MPEG-2 时间戳,以每秒 90,000 个 tick 的时钟计数。映射把两个时钟对应起来:
| 部分 | 含义 |
|---|---|
LOCAL:00:00:00.000 |
本文件中的一个字幕提示时间 |
MPEGTS:900000 |
该时间对应的视频时间戳:900,000 个 tick,即 10 秒 |
许多编码器让流的时钟从 10 秒开始,因此 900000 是常见的值。有了映射,00:00:04.000 处的字幕提示会与时间戳为 1,260,000 的帧一起显示。没有映射的分段按 0 对应 0 读取。
映射错误会让所有字幕偏移。 如果视频的时钟从 10 秒开始,而映射写的是 0,播放器就会把字幕推迟 10 秒显示,或者根本不显示。请写入视频编码器所用的值。
完整流中的字幕
流的主播放列表列出它的各个版本(rendition):多种尺寸的视频、音频,以及每种语言的字幕,每个都有自己的播放列表。
#EXT-X-MEDIA:TYPE=SUBTITLES,GROUP-ID="subs",NAME="English",LANGUAGE="en",DEFAULT=YES,URI="en.m3u8"
| 属性 | 内容 |
|---|---|
TYPE |
SUBTITLES |
LANGUAGE |
字幕的语言,以 BCP 47 标签表示 |
DEFAULT |
观众未作选择时显示的那一个为 YES |
URI |
字幕自己的播放列表,如上文所示 |
HLS 还是 WebVTT 文件?
| WebVTT 文件 | HLS | |
|---|---|---|
| 文件 | 一个 | 一个播放列表,每隔几秒一个分段 |
| 显示者 | 网页的 <track>、播放器 |
HLS 播放器:Safari、iPhone、Apple TV,以及网页上的 hls.js |
| 与视频对齐的依据 | 从开头算起的时间 | 时间戳映射,对照视频自身的时间戳 |
| 直播 | — | 随节目进行不断添加分段 |
Subtitld 中的 HLS
- 每条字幕的文本和换行
- 斜体、粗体、下划线和颜色,与 WebVTT 的保留方式相同
- 位置,作为提示设置
- 说话人,作为语音标签
- 开始和结束时间,精确到毫秒
- 语言:Subtitld 写出的是字幕的播放列表,而不是指明语言的主播放列表
- 与原文并列的译文
- 配音、说话人的脸和颜色
如需保留这些内容,请保存为 .usfx 项目。
打开 HLS 播放列表
打开 .m3u8 文件。Subtitld 会:
- 顺着主播放列表找到字幕:取项目语言的版本,否则取默认版本,再否则取第一个;
- 读取播放列表列出的每个分段,无论是在旁边还是在
http或https地址上,以及字节范围所指定的文件片段; - 把分段按 WebVTT 读取,并按各自的时间戳映射移动,使流的第一个时刻为 0;
- 在多个分段中重复出现的字幕提示只保留一次,被分段工具在分段边界切成两半的字幕提示则合并起来;
- 读取分片 MP4 中的 IMSC 分段,与 CMAF 携带的方式相同;
- 把该版本的语言作为项目的语言。
如果文件不以 #EXTM3U 开头,或播放列表中没有字幕,Subtitld 会说明原因。
导出 HLS
在 导出 中选择 字幕 和 HLS,会提供以下选项:
- 文本原文、译文,或两者都要,译文位于原文之下。
- 说话人名字不写、写在文本前(Thom: ……),或写成语音标签(
<v Thom>)。 - 格式保留,或去除。
- 时间偏移所有字幕整体提前或推迟相同的时长。
- 分段时长2、4、6 或 10 秒。Apple 推荐 6 秒。
- 时间戳映射
MPEGTS:900000,即 10 秒,大多数编码器从这里开始流的时钟;或MPEGTS:0。
Subtitld 写出版本 3 的播放列表,并在旁边创建一个以它命名的文件夹(movie.m3u8、movie_segments),存放 segment00000.vtt 起的各个分段。除最后一个外,所有分段时长相同,映射也相同,因此字幕提示的时间就是节目的时间。分段覆盖视频的全部时长,包括空分段;没有视频时则覆盖字幕的时长。再次保存时会替换文件夹中的分段。
在流的主播放列表中添加一行 #EXT-X-MEDIA:TYPE=SUBTITLES,写明语言和地址,即可加入该播放列表。
小知识
Apple 于 2009 年 5 月发布了 HTTP Live Streaming。在作为互联网草案多年之后,它于 2017 年 8 月以 RFC 8216 发布。
MPEG-2 时间戳每秒 90,000 个 tick 的时钟,在其 33 位回绕到零之前能运行的时长。RFC 8216 要求播放器在回绕发生、字幕提示时间继续增加时也能正确处理。
Apple 的制作规范规定目标时长应为 6 秒,并且 WebVTT 字幕必须带有时间戳映射。
相关格式
在 Subtitld 中打开它,连同视频一起,在波形上重新打轴。