Text tracks in CMAF and MPEG-DASH

ÖffnenSpeichernStreamingBinär

Untertitel, so verpackt, wie Streaming Video verpackt: in MP4-Boxen, in Fragmente von wenigen Sekunden geschnitten. Der Text darin ist WebVTT oder TTML. Eine CMAF-Track-Datei enthält die ganze Spur; ein DASH-Manifest nennt ihre Segmente, damit ein Player sie lädt.

Auf einen Blick

MedientypDie Spur: application/mp4. Das Manifest: application/dash+xml.
SpezifikationDie Boxen: ISO/IEC 14496-30, auf Basis des ISO Base Media File Format. Die Spur: CMAF, ISO/IEC 23000-19. Das Manifest: MPEG-DASH, ISO/IEC 23009-1.
ZeitgenauigkeitTicks des Takts der Spur: Millisekunden in dem, was Subtitld schreibt
TextkodierungUTF-8, in binären Boxen
GestaltungDie von WebVTT, oder die von TTML in seinem Profil
PositionierungDie Cue-Einstellungen von WebVTT oder die Regionen von TTML
SprecherDie Voice-Tags von WebVTT oder die Agenten von TTML
In ContainernMP4 selbst: Dieselbe Spur kann neben Video in einer .mp4 liegen. Auch HLS nennt CMAF-Segmente.

Aufbau einer Spur

Keine Zeichen, sondern Boxen: jede ihre Größe, vier Buchstaben und ihr Inhalt, manche mit eigenen Boxen darin. Eine .cmft, die Subtitld schreibt, ihre Untertitel in WebVTT:

ftyp  cmfc · iso6 cmfc cwvt dash
moov
  trak · mdia
    mdhd   1,000 ticks a second · eng
    elng   en
    hdlr   text · WebVTT
    stsd · wvtt · vttC  WEBVTT
  mvex · trex
moof  1 · from 0
mdat  vtte · vttc
moof  2 · from 6000
mdat  vttc · vtte · vttc · vtte
moof  3 · from 12000
mdat  vtte
  1. 1 · Dateityp

    Was die Datei ist: eine CMAF-Spur (cmfc) aus WebVTT (cwvt), oder aus IMSC 1.1 (im2t) oder IMSC 1.0.1 (im1t).

  2. 2 · Movie

    Die eine Spur: ihr Takt, ihre Sprache, ihr Handler (text für WebVTT, subt für TTML) und was ihre Samples sind, hier WebVTT mit seinem Header.

  3. 3 · Fragment

    Ein Segment der Spur: seine Nummer, wann es auf dem Takt der Spur beginnt und wie lange jedes Sample darin dauert.

  4. 4 · Samples

    Die Untertitel des Fragments, Sample für Sample.

Zwei Arten, den Text zu tragen

WebVTT (wvtt) TTML (stpp)
Die Sample-Beschreibung Der Header der Datei, in einer vttC-Box Der Namensraum von TTML und ein MIME-Typ, der das Profil nennt
Ein Sample Die Cues, die während seiner ganzen Zeit gezeigt werden Ein ganzes TTML-Dokument
Nichts auf dem Bildschirm Eine leere Cue-Box, vtte Ein Dokument ohne Untertitel in dieser Zeit
Zeiten Die jedes Samples, aus der Spur; keine im Text Im Dokument, auf dem Takt der Spur gezählt
Codecs, wie DASH und HLS sie nennen wvtt stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1

Ein WebVTT-Sample

WebVTT in MP4 hat keine eigenen Cue-Zeiten. Jedes Mal, wenn ein Cue beginnt oder endet, endet ein Sample und das nächste beginnt, also enthält ein Sample die Cues, die während seiner ganzen Zeit gezeigt werden, jeden in einer Box:

Box Was sie enthält
vttc Einen Cue
payl Seinen Text: <v Celia>You're a jerk, und Thom.
sttg Seine Einstellungen, wenn er welche hat: line:0
vtte Nichts anzuzeigen während der Zeit dieses Samples

Das zweite Fragment oben, 6 bis 12 Sekunden: Celias Cue, der bei 4 begann, bis 7,5; nichts bis 8; Thoms Cue bis 9,6; nichts bis 12. Ein Cue, der zwei Fragmente überspannt, steht in beiden.

Ein TTML-Sample

Jedes Fragment enthält ein TTML-Dokument mit den Untertiteln, die währenddessen gezeigt werden, auf seine Zeit zugeschnitten. Seine Zeiten zählen ab dem Beginn der Spur, nicht des Fragments.

<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
  …
  <p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>

Das ist das erste Fragment, 0 bis 6 Sekunden: Der Cue von 4 bis 7,5 endet hier bei 6 und beginnt im nächsten bei 6 erneut.

Profil Wo es verlangt wird
IMSC 1.1 Text Player, die IMSC 1.1 lesen, das neuere der beiden
IMSC 1.0.1 Text Apples HLS, das es stpp.ttml.im1t nennt, und ältere Player
EBU-TT-D Die Online-Player europäischer Rundfunkanstalten, über DVB-DASH

Aufbau eines DASH-Manifests

<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
  <Period id="1" start="PT0S">
    <AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
      <Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
      <SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
      <Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
    </AdaptationSet>
  </Period>
</MPD>
Teil Was es ist
mediaPresentationDuration Wie lange die Sendung dauert
<AdaptationSet> Eine Textspur, in ihrer Sprache, ihre Rolle Untertitel
<SegmentTemplate> Wo ihre Dateien liegen: die Initialisierung, nur die Movie-Box, dann die Fragmente, 00001.m4s und weiter, eines alle 6 Sekunden
codecs Was die Spur trägt: hier IMSC 1.1 Text

Das Manifest eines ganzen Streams hat Video und Audio in weiteren Adaptation Sets daneben.

CMAF, DASH oder HLS?

CMAF-Spur (.cmft) DASH (.mpd) HLS (.m3u8)
Dateien Eine Ein Manifest, dann das Movie und eine Datei pro Fragment Eine Playlist, dann eine Datei pro Segment
Die Untertitel WebVTT oder TTML in MP4 WebVTT oder TTML in MP4 WebVTT-Textdateien; IMSC in MP4
Abgespielt von Packagern und Playern, die CMAF annehmen DASH-Playern: dash.js, Shaka Player, Smart-TVs Apples Playern, hls.js

CMAF und DASH in Subtitld

In der Spur erhalten
  • Text und Zeilenumbrüche jedes Untertitels
  • Kursiv, fett, unterstrichen und Farbe
  • Wo er steht: Cue-Einstellungen oder die Regionen von TTML
  • Sprecher, als Voice-Tags oder Agenten
  • Die Sprache des geschriebenen Textes
  • Beginn und Ende, auf die Millisekunde genau
Kein Platz dafür
  • Übersetzungen neben dem Original
  • Synchronisationen, Gesichter und Farben der Sprecher

Speichern Sie ein .usfx-Projekt, um sie zu behalten.

Eine Spur oder ein Manifest öffnen

Subtitld öffnet eine .cmft-Datei oder ein .mpd-Manifest und die Dateien, die es nennt, und:

  • liest WebVTT-Spuren mit Subtitlds WebVTT-Leser und TTML-Spuren mit seinem TTML-Leser;
  • findet die Samples in jedem Fragment oder in der Sample-Tabelle einer einfachen MP4;
  • fügt einen Cue zusammen, der unverändert von einem Sample oder Fragment ins nächste weiterläuft;
  • liest ein TTML-Dokument, das seine Zeiten ab dem Beginn seines Samples zählt, wie manche Packager es früher schrieben;
  • folgt einem Manifest zu seiner Textspur in der Sprache des Projekts, sonst zur ersten, und zu ihren Segmenten: per Template, nummeriert oder getimt, per Liste oder als eine Datei; neben ihm, unter seiner Basisadresse oder auf einem Webserver;
  • liest eine WebVTT- oder TTML-Datei, die ein Manifest selbst nennt, wie sie ist;
  • übernimmt die Sprache der Spur als die des Projekts.

Eine Datei ohne WebVTT- oder TTML-Spur, oder eine abgeschnittene, meldet das. Eine .mp4-Datei öffnet sich als Video, nicht als Textspur.

CMAF und DASH exportieren

Subtitlds Exportdialog mit gewähltem DASH, einer Spur in IMSC 1.1 Text, Segmenten von 6 Sekunden und weißem Text mit schwarzer Kontur

Export, dann Untertitel und CMFT oder DASH, bietet:

  • TextDas Original, eine Übersetzung oder beides, die Übersetzung darunter.
  • SprechernamenWeggelassen, vor dem Text (Thom: …), als Voice-Tags von WebVTT (<v Thom>) oder als Agenten von TTML (ttm:agent).
  • FormatierungBeibehalten oder entfernt.
  • Zeiten verschiebenJeder Untertitel um denselben Betrag früher oder später.
  • SpurWebVTT (wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text oder EBU-TT-D für DVB-DASH: die letzten drei TTML (stpp).
  • Segmentlänge2, 4, 6 oder 10 Sekunden. 6 empfiehlt Apple.
  • LookFür eine TTML-Spur: weiß mit schwarzer Kontur, oder so, wie Subtitlds Vorschau es zeichnet.

CMFT schreibt eine Datei: das Movie, dann ein Fragment für jedes Segment. DASH schreibt das Manifest und, in einem daneben liegenden, nach ihm benannten Ordner (movie.mpd, movie_segments), das Movie als init.mp4 und jedes Fragment als 00001.m4s und weiter; eine EBU-TT-D-Spur ergänzt das Manifest um das Profil von DVB-DASH. So oder so zählt der Takt Millisekunden, die Spur ist in der Sprache des geschriebenen Textes, und sie dauert so lange wie das Video, oder so lange wie die Untertitel, wenn es kein Video gibt.

Wissenswertes

2012

MPEG-DASH erschien im April 2012 als ISO/IEC 23009-1, wenige Monate nachdem MPEG es verabschiedet hatte.

14496-30

Der Teil von MPEG-4, der WebVTT und TTML in MP4-Dateien bringt. Seine erste Ausgabe stammt von 2014.

.cmft

Die Track-Dateien von CMAF tragen eine Endung, die sagt, was sie enthalten: .cmfv für Video, .cmfa für Audio, .cmft für Text.

Verwandte Formate

Eine cmft mpd-Datei zu korrigieren?

Öffnen Sie sie in Subtitld mit dem Video und passen Sie die Zeiten an der Wellenform an.

Subtitld herunterladen