Text tracks in CMAF and MPEG-DASH

開く保存ストリーミングバイナリ

ストリーミングが動画を詰めるのと同じ方法で詰めた字幕です。MP4のボックスに入り、数秒ずつのフラグメントに区切られます。中のテキストはWebVTTかTTMLです。CMAFトラックファイルはトラック全体を持ち、DASHマニフェストはプレーヤーが取得するセグメントを示します。

概要

メディアタイプトラック:application/mp4。マニフェスト:application/dash+xml。
仕様ボックス:ISOベースメディアファイルフォーマットに基づくISO/IEC 14496-30。トラック:CMAF、ISO/IEC 23000-19。マニフェスト:MPEG-DASH、ISO/IEC 23009-1。
時間の精度トラックのクロックのティック。Subtitldが書き出すものではミリ秒
文字コードUTF-8(バイナリのボックス内)
装飾WebVTTのもの、またはプロファイル内のTTMLのもの
配置WebVTTのキュー設定、またはTTMLのリージョン
話者WebVTTの音声タグ、またはTTMLのエージェント
コンテナ内MP4そのもの。同じトラックを .mp4 内で動画と並べることもできます。HLSもCMAFセグメントを指定できます。

トラックの構成

テキストではなくボックスです。各ボックスはサイズ、4文字の名前、中身を持ち、中にボックスを持つものもあります。字幕をWebVTTで収めた、Subtitldが書き出す .cmft です。

ftyp  cmfc · iso6 cmfc cwvt dash
moov
  trak · mdia
    mdhd   1,000 ticks a second · eng
    elng   en
    hdlr   text · WebVTT
    stsd · wvtt · vttC  WEBVTT
  mvex · trex
moof  1 · from 0
mdat  vtte · vttc
moof  2 · from 6000
mdat  vttc · vtte · vttc · vtte
moof  3 · from 12000
mdat  vtte
  1. 1 · ファイルタイプ

    ファイルの種類。WebVTT(cwvt)、またはIMSC 1.1(im2t)やIMSC 1.0.1(im1t)のCMAFトラック(cmfc)。

  2. 2 · ムービー

    1つのトラック。そのクロック、言語、ハンドラー(WebVTTは text、TTMLは subt)、そしてサンプルの種類。ここではヘッダー付きのWebVTTです。

  3. 3 · フラグメント

    トラックの1セグメント。番号、トラックのクロックでの開始時刻、そして中の各サンプルの長さ。

  4. 4 · サンプル

    フラグメントの字幕。サンプルが順に続きます。

テキストを運ぶ2つの方法

WebVTT(wvtt) TTML(stpp)
サンプルの記述 vttC ボックス内のファイルのヘッダー TTMLの名前空間と、プロファイルを示すMIMEタイプ
1つのサンプル その時間ずっと表示されるキュー 1つのTTML文書全体
画面に何もない 空のキューボックス、vtte その時間に字幕のない文書
時刻 各サンプルのもので、トラックから。テキスト内にはなし 文書内に、トラックのクロックで
DASHとHLSでのコーデック名 wvtt stpp.ttml.im2t、stpp.ttml.im1t、stpp.ttml.etd1

WebVTTのサンプル

MP4内のWebVTTは、キュー自身の時刻を持ちません。キューが始まるか終わるたびにサンプルが終わって次のサンプルが始まるため、1つのサンプルは、その時間ずっと表示されるキューを、それぞれボックスに入れて持ちます。

ボックス 内容
vttc 1つのキュー
payl そのテキスト: <v Celia>You're a jerk, と Thom.
sttg 設定があれば、その設定: line:0
vtte このサンプルの時間には何も表示しない

上の2つ目のフラグメント(6〜12秒)は、4秒に始まったCeliaのキューが7.5秒まで、何もなしが8秒まで、Thomのキューが9.6秒まで、何もなしが12秒までです。2つのフラグメントにまたがるキューは、両方に入ります。

TTMLのサンプル

各フラグメントは1つのTTML文書を持ち、その間に表示される字幕を、その時間に合わせて切って収めます。時刻はフラグメントではなく、トラックの先頭から数えます。

<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
  …
  <p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>

これは0〜6秒の最初のフラグメントです。4秒から7.5秒のキューはここでは6秒で終わり、次のフラグメントで6秒から再び始まります。

プロファイル 求められる場所
IMSC 1.1 Text IMSC 1.1を読むプレーヤー。2つのうち新しい方です
IMSC 1.0.1 Text stpp.ttml.im1t と呼ぶAppleのHLSと、古いプレーヤー
EBU-TT-D DVB-DASHを使う、ヨーロッパの放送局のオンラインプレーヤー

DASHマニフェストの構成

<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
  <Period id="1" start="PT0S">
    <AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
      <Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
      <SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
      <Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
    </AdaptationSet>
  </Period>
</MPD>
要素 内容
mediaPresentationDuration 番組の長さ
<AdaptationSet> テキストトラック。その言語と、字幕という役割
<SegmentTemplate> ファイルの場所。初期化(ムービーボックスだけ)、続いて6秒ごとのフラグメント 00001.m4s 以降
codecs トラックが運ぶもの。ここではIMSC 1.1 Text

ストリーム全体のマニフェストでは、動画と音声が別のアダプテーションセットとして横に並びます。

CMAF、DASH、HLSのどれか

CMAFトラック(.cmft) DASH(.mpd) HLS(.m3u8)
ファイル 1つ マニフェスト、ムービー、フラグメントごとのファイル プレイリストと、セグメントごとのファイル
字幕 MP4内のWebVTTまたはTTML MP4内のWebVTTまたはTTML WebVTTのテキストファイル。IMSCはMP4内
再生するもの CMAFを扱うパッケージャーとプレーヤー DASHプレーヤー:dash.js、Shaka Player、スマートテレビ Appleのプレーヤー、hls.js

Subtitldでの CMAF・DASH

トラックに残るもの
  • 各字幕のテキストと改行
  • 斜体、太字、下線、色
  • 表示位置:キュー設定、またはTTMLのリージョン
  • 話者(音声タグまたはエージェントとして)
  • 書き出すテキストの言語
  • 開始と終了(ミリ秒単位)
残らないもの
  • 原文の横に並べた翻訳
  • 吹き替え、話者の顔や色

これらを残すには、.usfx プロジェクトとして保存してください。

トラックやマニフェストを開く

Subtitldは .cmft ファイル、または .mpd マニフェストとそれが示すファイルを開き、次のように処理します。

  • WebVTTトラックはSubtitldのWebVTTの読み込み処理で、TTMLトラックはTTMLの読み込み処理で読みます。
  • 各フラグメント、または通常のMP4のサンプルテーブルからサンプルを見つけます。
  • サンプルやフラグメントをまたいで同じまま続くキューは、つなげます。
  • かつて一部のパッケージャーが書いたように、サンプルの開始から時刻を数えるTTML文書も読みます。
  • マニフェストから、プロジェクトの言語のテキストトラック(なければ最初のもの)とそのセグメントをたどります。テンプレート(番号付きまたは時刻付き)、リスト、1つのファイルのいずれでも、マニフェストの横、ベースアドレスの下、Webサーバー上のどこにあっても読みます。
  • マニフェストが単独で示すWebVTTやTTMLのファイルは、そのまま読みます。
  • トラックの言語をプロジェクトの言語にします。

WebVTTやTTMLのトラックがないファイルや、途中で切れたファイルは、その旨を表示します。.mp4 ファイルはテキストトラックではなく、動画として開きます。

CMAFとDASHの書き出し

Subtitldのエクスポートダイアログ。DASHを選択し、IMSC 1.1 Textトラック、セグメントは6秒、白の文字に黒い縁取り

エクスポート、字幕、CMFTまたはDASHの順に選ぶと、次の項目が表示されます。

  • テキスト原文、翻訳、または両方(翻訳は下に表示)。
  • 話者名省略、テキストの前(Thom: …)、WebVTTの音声タグ(<v Thom>)、またはTTMLのエージェント(ttm:agent)。
  • 装飾残す、または削除。
  • 時刻をずらすすべての字幕を同じ量だけ前後にずらします。
  • トラックWebVTT(wvtt)、IMSC 1.1 Text、IMSC 1.0.1 Text、またはDVB-DASH向けのEBU-TT-D。後の3つはTTML(stpp)です。
  • セグメントの長さ2、4、6、10秒。Appleが推奨するのは6秒です。
  • 見た目TTMLトラックの場合:白の文字に黒い縁取り、またはSubtitldのプレビューどおり。

CMFTは1つのファイルを書き出します。ムービーの後に、セグメントごとのフラグメントが続きます。DASHはマニフェストと、その横にマニフェストの名前にちなんだフォルダー(movie.mpd なら movie_segments)を書き出し、ムービーを init.mp4、各フラグメントを 00001.m4s 以降として置きます。EBU-TT-Dトラックでは、マニフェストにDVB-DASHのプロファイルが加わります。どちらの場合も、クロックはミリ秒を数え、トラックの言語は書き出すテキストの言語で、長さは動画の長さ、動画がない場合は字幕の長さです。

豆知識

2012

MPEG-DASHは、MPEGが承認した数か月後の2012年4月に、ISO/IEC 23009-1として発行されました。

14496-30

WebVTTとTTMLをMP4ファイルに入れる、MPEG-4のパートです。初版は2014年です。

.cmft

CMAFのトラックファイルは、中身を示す拡張子を使います。動画は .cmfv、音声は .cmfa、テキストは .cmft です。

関連する形式

cmft mpd の修正が必要ですか?

Subtitld で動画と一緒に開き、波形上でタイミングを調整しましょう。

Subtitld をダウンロード