Text tracks in CMAF and MPEG-DASH
ストリーミングが動画を詰めるのと同じ方法で詰めた字幕です。MP4のボックスに入り、数秒ずつのフラグメントに区切られます。中のテキストはWebVTTかTTMLです。CMAFトラックファイルはトラック全体を持ち、DASHマニフェストはプレーヤーが取得するセグメントを示します。
概要
| メディアタイプ | トラック:application/mp4。マニフェスト:application/dash+xml。 |
|---|---|
| 仕様 | ボックス:ISOベースメディアファイルフォーマットに基づくISO/IEC 14496-30。トラック:CMAF、ISO/IEC 23000-19。マニフェスト:MPEG-DASH、ISO/IEC 23009-1。 |
| 時間の精度 | トラックのクロックのティック。Subtitldが書き出すものではミリ秒 |
| 文字コード | UTF-8(バイナリのボックス内) |
| 装飾 | WebVTTのもの、またはプロファイル内のTTMLのもの |
| 配置 | WebVTTのキュー設定、またはTTMLのリージョン |
| 話者 | WebVTTの音声タグ、またはTTMLのエージェント |
| コンテナ内 | MP4そのもの。同じトラックを .mp4 内で動画と並べることもできます。HLSもCMAFセグメントを指定できます。 |
トラックの構成
テキストではなくボックスです。各ボックスはサイズ、4文字の名前、中身を持ち、中にボックスを持つものもあります。字幕をWebVTTで収めた、Subtitldが書き出す .cmft です。
ftyp cmfc · iso6 cmfc cwvt dash moov trak · mdia mdhd 1,000 ticks a second · eng elng en hdlr text · WebVTT stsd · wvtt · vttC WEBVTT mvex · trex moof 1 · from 0 mdat vtte · vttc moof 2 · from 6000 mdat vttc · vtte · vttc · vtte moof 3 · from 12000 mdat vtte
- 1 · ファイルタイプ
ファイルの種類。WebVTT(
cwvt)、またはIMSC 1.1(im2t)やIMSC 1.0.1(im1t)のCMAFトラック(cmfc)。 - 2 · ムービー
1つのトラック。そのクロック、言語、ハンドラー(WebVTTは
text、TTMLはsubt)、そしてサンプルの種類。ここではヘッダー付きのWebVTTです。 - 3 · フラグメント
トラックの1セグメント。番号、トラックのクロックでの開始時刻、そして中の各サンプルの長さ。
- 4 · サンプル
フラグメントの字幕。サンプルが順に続きます。
テキストを運ぶ2つの方法
WebVTT(wvtt) |
TTML(stpp) |
|
|---|---|---|
| サンプルの記述 | vttC ボックス内のファイルのヘッダー |
TTMLの名前空間と、プロファイルを示すMIMEタイプ |
| 1つのサンプル | その時間ずっと表示されるキュー | 1つのTTML文書全体 |
| 画面に何もない | 空のキューボックス、vtte |
その時間に字幕のない文書 |
| 時刻 | 各サンプルのもので、トラックから。テキスト内にはなし | 文書内に、トラックのクロックで |
| DASHとHLSでのコーデック名 | wvtt |
stpp.ttml.im2t、stpp.ttml.im1t、stpp.ttml.etd1 |
WebVTTのサンプル
MP4内のWebVTTは、キュー自身の時刻を持ちません。キューが始まるか終わるたびにサンプルが終わって次のサンプルが始まるため、1つのサンプルは、その時間ずっと表示されるキューを、それぞれボックスに入れて持ちます。
| ボックス | 内容 |
|---|---|
vttc |
1つのキュー |
payl |
そのテキスト: <v Celia>You're a jerk, と Thom. |
sttg |
設定があれば、その設定: line:0 |
vtte |
このサンプルの時間には何も表示しない |
上の2つ目のフラグメント(6〜12秒)は、4秒に始まったCeliaのキューが7.5秒まで、何もなしが8秒まで、Thomのキューが9.6秒まで、何もなしが12秒までです。2つのフラグメントにまたがるキューは、両方に入ります。
TTMLのサンプル
各フラグメントは1つのTTML文書を持ち、その間に表示される字幕を、その時間に合わせて切って収めます。時刻はフラグメントではなく、トラックの先頭から数えます。
<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
…
<p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>
これは0〜6秒の最初のフラグメントです。4秒から7.5秒のキューはここでは6秒で終わり、次のフラグメントで6秒から再び始まります。
| プロファイル | 求められる場所 |
|---|---|
| IMSC 1.1 Text | IMSC 1.1を読むプレーヤー。2つのうち新しい方です |
| IMSC 1.0.1 Text | stpp.ttml.im1t と呼ぶAppleのHLSと、古いプレーヤー |
| EBU-TT-D | DVB-DASHを使う、ヨーロッパの放送局のオンラインプレーヤー |
DASHマニフェストの構成
<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
<Period id="1" start="PT0S">
<AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
<Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
<SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
<Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
</AdaptationSet>
</Period>
</MPD>
| 要素 | 内容 |
|---|---|
mediaPresentationDuration |
番組の長さ |
<AdaptationSet> |
テキストトラック。その言語と、字幕という役割 |
<SegmentTemplate> |
ファイルの場所。初期化(ムービーボックスだけ)、続いて6秒ごとのフラグメント 00001.m4s 以降 |
codecs |
トラックが運ぶもの。ここではIMSC 1.1 Text |
ストリーム全体のマニフェストでは、動画と音声が別のアダプテーションセットとして横に並びます。
CMAF、DASH、HLSのどれか
CMAFトラック(.cmft) |
DASH(.mpd) |
HLS(.m3u8) |
|
|---|---|---|---|
| ファイル | 1つ | マニフェスト、ムービー、フラグメントごとのファイル | プレイリストと、セグメントごとのファイル |
| 字幕 | MP4内のWebVTTまたはTTML | MP4内のWebVTTまたはTTML | WebVTTのテキストファイル。IMSCはMP4内 |
| 再生するもの | CMAFを扱うパッケージャーとプレーヤー | DASHプレーヤー:dash.js、Shaka Player、スマートテレビ | Appleのプレーヤー、hls.js |
Subtitldでの CMAF・DASH
- 各字幕のテキストと改行
- 斜体、太字、下線、色
- 表示位置:キュー設定、またはTTMLのリージョン
- 話者(音声タグまたはエージェントとして)
- 書き出すテキストの言語
- 開始と終了(ミリ秒単位)
- 原文の横に並べた翻訳
- 吹き替え、話者の顔や色
これらを残すには、.usfx プロジェクトとして保存してください。
トラックやマニフェストを開く
Subtitldは .cmft ファイル、または .mpd マニフェストとそれが示すファイルを開き、次のように処理します。
- WebVTTトラックはSubtitldのWebVTTの読み込み処理で、TTMLトラックはTTMLの読み込み処理で読みます。
- 各フラグメント、または通常のMP4のサンプルテーブルからサンプルを見つけます。
- サンプルやフラグメントをまたいで同じまま続くキューは、つなげます。
- かつて一部のパッケージャーが書いたように、サンプルの開始から時刻を数えるTTML文書も読みます。
- マニフェストから、プロジェクトの言語のテキストトラック(なければ最初のもの)とそのセグメントをたどります。テンプレート(番号付きまたは時刻付き)、リスト、1つのファイルのいずれでも、マニフェストの横、ベースアドレスの下、Webサーバー上のどこにあっても読みます。
- マニフェストが単独で示すWebVTTやTTMLのファイルは、そのまま読みます。
- トラックの言語をプロジェクトの言語にします。
WebVTTやTTMLのトラックがないファイルや、途中で切れたファイルは、その旨を表示します。.mp4 ファイルはテキストトラックではなく、動画として開きます。
CMAFとDASHの書き出し
エクスポート、字幕、CMFTまたはDASHの順に選ぶと、次の項目が表示されます。
- テキスト原文、翻訳、または両方(翻訳は下に表示)。
- 話者名省略、テキストの前(Thom: …)、WebVTTの音声タグ(
<v Thom>)、またはTTMLのエージェント(ttm:agent)。 - 装飾残す、または削除。
- 時刻をずらすすべての字幕を同じ量だけ前後にずらします。
- トラックWebVTT(
wvtt)、IMSC 1.1 Text、IMSC 1.0.1 Text、またはDVB-DASH向けのEBU-TT-D。後の3つはTTML(stpp)です。 - セグメントの長さ2、4、6、10秒。Appleが推奨するのは6秒です。
- 見た目TTMLトラックの場合:白の文字に黒い縁取り、またはSubtitldのプレビューどおり。
CMFTは1つのファイルを書き出します。ムービーの後に、セグメントごとのフラグメントが続きます。DASHはマニフェストと、その横にマニフェストの名前にちなんだフォルダー(movie.mpd なら movie_segments)を書き出し、ムービーを init.mp4、各フラグメントを 00001.m4s 以降として置きます。EBU-TT-Dトラックでは、マニフェストにDVB-DASHのプロファイルが加わります。どちらの場合も、クロックはミリ秒を数え、トラックの言語は書き出すテキストの言語で、長さは動画の長さ、動画がない場合は字幕の長さです。
豆知識
MPEG-DASHは、MPEGが承認した数か月後の2012年4月に、ISO/IEC 23009-1として発行されました。
WebVTTとTTMLをMP4ファイルに入れる、MPEG-4のパートです。初版は2014年です。
CMAFのトラックファイルは、中身を示す拡張子を使います。動画は .cmfv、音声は .cmfa、テキストは .cmft です。
関連する形式
Subtitld で動画と一緒に開き、波形上でタイミングを調整しましょう。