WebVTT in HTTP Live Streaming
AppleのHTTP Live Streamingが字幕を運ぶ方法です。プレイリストと、そこに並ぶWebVTTファイルからなり、各ファイルは番組の数秒分です。プレーヤーは再生しながら、動画自身のセグメントと並べてこれらを取得します。
概要
| 拡張子 | .m3u8 |
|---|---|
| メディアタイプ | プレイリスト:application/vnd.apple.mpegurl。セグメント:text/vtt。 |
| 仕様 | RFC 8216(2017年)と、AppleのHLS Authoring Specification for Apple Devices。セグメントはWebVTTです。 |
| 時間の精度 | ミリ秒(セグメントのキュー内) |
| 文字コード | UTF-8。プレイリストもセグメントも同じです |
| 装飾 | WebVTTのもの:斜体、太字、下線、クラスによる色 |
| 配置 | WebVTTのキュー設定 |
| 話者 | WebVTTの音声タグ: <v Thom> |
| コンテナ内 | WebVTTではなし。Webサーバー上のプレーンテキストファイルです。HLSのIMSC字幕はフラグメント化MP4で来ます。 |
プレイリストの構成
セグメントとその長さの一覧です。字幕は、プレイリストが示すファイルの中にあります。
#EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:6 #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-PLAYLIST-TYPE:VOD #EXTINF:6.000, movie_segments/segment00000.vtt #EXTINF:6.000, movie_segments/segment00001.vtt #EXTINF:2.000, movie_segments/segment00002.vtt #EXT-X-ENDLIST
- 1 · ヘッダー
必ず最初に
#EXTM3U。続いてバージョン、最初のセグメントの番号、そしてVOD(すべてのセグメントがそろった番組)。 - 2 · 目標の長さ
どのセグメントの長さも、丸めたときにこれを超えない整数の秒数。
- 3 · 長さ
その後のセグメントの長さ(秒)。
- 4 · アドレス
セグメントの場所。ここではプレイリストの横ですが、Webアドレスでもかまいません。
- 5 · 終わり
これ以上何も来ないことを示します。ライブストリームではこれを省き、セグメントを追加し続けます。
セグメントの構成
各セグメントは独立したWebVTTファイルで、ヘッダーに1行多く持ちます。
WEBVTT X-TIMESTAMP-MAP=LOCAL:00:00:00.000,MPEGTS:900000 00:00:04.000 --> 00:00:07.500 <v Celia>You're a jerk, Thom. 00:00:08.000 --> 00:00:09.600 <v Thom><i>Celia!</i>
- 1 · ヘッダー
どのWebVTTファイルとも同じ
WEBVTT。 - 2 · タイムスタンプマップ
キューの時刻が、動画のどの瞬間にあたるか。
- 3 · キュー
セグメントの間に表示されるすべてのキュー。セグメントの外にはみ出す部分も含めて、それぞれ全体の時刻を持ちます。
これは6秒から12秒までの2つ目のセグメントです。最初のキューは1つ目のセグメントの4秒で始まっており、両方に含まれます。ここから再生を始めたプレーヤーでも表示されます。
タイムスタンプマップ
動画のフレームは、1秒90,000ティックのクロックで数えたMPEG-2タイムスタンプを持ちます。マップは2つのクロックを結び付けます。
| 部分 | 内容 |
|---|---|
LOCAL:00:00:00.000 |
このファイル内のキューの時刻 |
MPEGTS:900000 |
その時刻での動画のタイムスタンプ:900,000ティック、10秒 |
多くのエンコーダーはストリームのクロックを10秒から始めるため、900000 がよく使われる値です。マップがあれば、00:00:04.000 のキューは1,260,000のスタンプを持つフレームと一緒に表示されます。マップのないセグメントは、0を0に対応させるものとして読み取ります。
マップを誤るとすべての字幕がずれます。 動画のクロックが10秒から始まるのにマップが0を示していると、プレーヤーは字幕を10秒遅れて表示するか、まったく表示しません。動画のエンコーダーが使った値を書いてください。
ストリーム全体の中の字幕
ストリームのメインプレイリストは、そのレンディションを並べます。複数のサイズの動画、音声、そして言語ごとの字幕で、それぞれが独自のプレイリストを持ちます。
#EXT-X-MEDIA:TYPE=SUBTITLES,GROUP-ID="subs",NAME="English",LANGUAGE="en",DEFAULT=YES,URI="en.m3u8"
| 属性 | 内容 |
|---|---|
TYPE |
SUBTITLES |
LANGUAGE |
字幕の言語。BCP 47タグで |
DEFAULT |
視聴者が何も選んでいないときに表示するものは YES |
URI |
上のような、字幕自身のプレイリスト |
HLSかWebVTTファイルか
| WebVTTファイル | HLS | |
|---|---|---|
| ファイル | 1つ | プレイリストと、数秒ごとのセグメント |
| 表示するもの | Webページの <track>、プレーヤー |
HLSプレーヤー:Safari、iPhone、Apple TV、Webではhls.js |
| 動画との結び付け | 先頭からの時刻 | 動画自身のタイムスタンプに対するタイムスタンプマップ |
| ライブ | — | 番組の進行に合わせてセグメントを追加 |
Subtitldでの HLS
- 各字幕のテキストと改行
- 斜体、太字、下線、色(WebVTTが保持するとおり)
- 表示位置(キュー設定として)
- 話者(音声タグとして)
- 開始と終了(ミリ秒単位)
- 言語:Subtitldが書き出すのは字幕のプレイリストで、それを示すメインプレイリストではありません
- 原文の横に並べた翻訳
- 吹き替え、話者の顔や色
これらを残すには、.usfx プロジェクトとして保存してください。
HLSプレイリストを開く
.m3u8 ファイルを開きます。Subtitldは次のように処理します。
- メインプレイリストからその字幕をたどります。プロジェクトの言語のレンディション、なければ標準のもの、なければ最初のもの。
- プレイリストが示す各セグメントを、その横から、または
httpやhttpsのアドレスから読み込みます。バイト範囲が示すファイルの一部も読み込みます。 - セグメントをWebVTTとして読み、各セグメントをそのタイムスタンプマップでずらして、ストリームの最初の瞬間を0にします。
- 複数のセグメントにまたがって繰り返されるキューは1つにし、セグメントの境界でセグメント化ツールが2つに切ったキューはつなげます。
- CMAFが運ぶような、フラグメント化MP4内のIMSCセグメントも読み込みます。
- レンディションの言語をプロジェクトの言語にします。
#EXTM3U で始まらないファイルや、字幕のないプレイリストは、その旨を表示します。
HLSの書き出し
エクスポート、字幕、HLSの順に選ぶと、次の項目が表示されます。
- テキスト原文、翻訳、または両方(翻訳は下に表示)。
- 話者名省略、テキストの前(Thom: …)、または音声タグ(
<v Thom>)。 - 装飾残す、または削除。
- 時刻をずらすすべての字幕を同じ量だけ前後にずらします。
- セグメントの長さ2、4、6、10秒。Appleが推奨するのは6秒です。
- タイムスタンプマップ多くのエンコーダーがストリームのクロックを始める10秒、
MPEGTS:900000、またはMPEGTS:0。
Subtitldは、バージョン3のプレイリストと、その横にプレイリストの名前にちなんだフォルダー(movie.m3u8 なら movie_segments)を書き出し、そこに segment00000.vtt からのセグメントを置きます。最後を除くすべてのセグメントは同じ長さで、同じマップを持つため、キューの時刻は番組の時刻になります。セグメントは、空のものも含めて動画の長さだけ続きます。動画がない場合は、字幕の長さだけ続きます。もう一度保存すると、フォルダー内のセグメントが置き換えられます。
ストリームのメインプレイリストに、言語とアドレスを付けた #EXT-X-MEDIA:TYPE=SUBTITLES の行でこのプレイリストを加えてください。
豆知識
Appleは2009年5月にHTTP Live Streamingを公開しました。長年Internet-Draftだった後、2017年8月にRFC 8216として発行されました。
MPEG-2タイムスタンプの90,000ティックのクロックが、33ビットを使い切って0に戻るまでの時間です。RFC 8216は、そうなってもキューの時刻が続くよう、プレーヤーに対処を求めています。
Appleのオーサリング仕様は、目標の長さを6秒にすべきこと、そしてWebVTT字幕はタイムスタンプマップを持たなければならないことを定めています。
関連する形式
Subtitld で動画と一緒に開き、波形上でタイミングを調整しましょう。