Text tracks in CMAF and MPEG-DASH

OpenenOpslaanStreamingBinair

Ondertitels verpakt zoals streaming video verpakt: in MP4-boxen, opgeknipt in fragmenten van een paar seconden. De tekst erin is WebVTT of TTML. Een CMAF-trackbestand bevat het hele spoor; een DASH-manifest noemt de segmenten die een speler moet ophalen.

In één oogopslag

MediatypeHet spoor: application/mp4. Het manifest: application/dash+xml.
SpecificatieDe boxen: ISO/IEC 14496-30, op basis van het ISO base media file format. Het spoor: CMAF, ISO/IEC 23000-19. Het manifest: MPEG-DASH, ISO/IEC 23009-1.
TijdsprecisieTicks van de klok van het spoor: milliseconden in wat Subtitld schrijft
TekstcoderingUTF-8, in binaire boxen
OpmaakDie van WebVTT, of die van TTML in zijn profiel
PositioneringDe cue-instellingen van WebVTT, of de regio's van TTML
SprekersDe voice-tags van WebVTT, of de agents van TTML
In containersMP4 zelf: hetzelfde spoor kan naast video in een .mp4 staan. HLS noemt ook CMAF-segmenten.

Opbouw van een spoor

Geen tekst maar boxen: elk met zijn grootte, vier letters, en wat erin zit, sommige met eigen boxen erin. Een .cmft die Subtitld schrijft, met de ondertitels in WebVTT:

ftyp  cmfc · iso6 cmfc cwvt dash
moov
  trak · mdia
    mdhd   1,000 ticks a second · eng
    elng   en
    hdlr   text · WebVTT
    stsd · wvtt · vttC  WEBVTT
  mvex · trex
moof  1 · from 0
mdat  vtte · vttc
moof  2 · from 6000
mdat  vttc · vtte · vttc · vtte
moof  3 · from 12000
mdat  vtte
  1. 1 · Bestandstype

    Wat het bestand is: een CMAF-spoor (cmfc) van WebVTT (cwvt), of van IMSC 1.1 (im2t) of IMSC 1.0.1 (im1t).

  2. 2 · Movie

    Het ene spoor: zijn klok, zijn taal, zijn handler (text voor WebVTT, subt voor TTML) en wat zijn samples zijn, hier WebVTT met zijn kop.

  3. 3 · Fragment

    Een segment van het spoor: het nummer, wanneer het begint op de klok van het spoor, en hoe lang elke sample erin duurt.

  4. 4 · Samples

    De ondertitels van het fragment, sample na sample.

Twee manieren om de tekst te dragen

WebVTT (wvtt) TTML (stpp)
De samplebeschrijving De kop van het bestand, in een vttC-box De namespace van TTML, en een MIME-type dat het profiel noemt
Een sample De cues die gedurende de hele tijd ervan worden getoond Een volledig TTML-document
Niets op het scherm Een lege cue-box, vtte Een document zonder ondertitel in die tijd
Tijden Die van elke sample, uit het spoor; geen in de tekst In het document, geteld op de klok van het spoor
Codecs, zoals DASH en HLS ze noemen wvtt stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1

Een WebVTT-sample

WebVTT in MP4 heeft geen eigen cue-tijden. Elke keer dat een cue begint of eindigt, eindigt een sample en begint de volgende, dus een sample bevat de cues die gedurende de hele tijd ervan worden getoond, elk in een box:

Box Wat erin staat
vttc Eén cue
payl De tekst: <v Celia>You're a jerk, en Thom.
sttg De instellingen, als die er zijn: line:0
vtte Niets te tonen gedurende de tijd van deze sample

Het tweede fragment hierboven, 6 tot 12 seconden: de cue van Celia, die bij 4 begon, tot 7,5; niets tot 8; de cue van Thom tot 9,6; niets tot 12. Een cue die twee fragmenten beslaat, staat in beide.

Een TTML-sample

Elk fragment bevat één TTML-document, met de ondertitels die erin worden getoond, ingekort tot de tijd ervan. De tijden tellen vanaf het begin van het spoor, niet van het fragment.

<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
  …
  <p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>

Dat is het eerste fragment, 0 tot 6 seconden: de cue van 4 tot 7,5 eindigt hier bij 6, en begint bij 6 opnieuw in het volgende.

Profiel Waar het wordt gevraagd
IMSC 1.1 Text Spelers die IMSC 1.1 lezen, de nieuwste van de twee
IMSC 1.0.1 Text HLS van Apple, dat het stpp.ttml.im1t noemt, en oudere spelers
EBU-TT-D De onlinespelers van Europese omroepen, via DVB-DASH

Opbouw van een DASH-manifest

<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
  <Period id="1" start="PT0S">
    <AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
      <Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
      <SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
      <Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
    </AdaptationSet>
  </Period>
</MPD>
Onderdeel Wat het is
mediaPresentationDuration Hoe lang het programma duurt
<AdaptationSet> Een tekstspoor, in zijn taal, met de rol ondertitels
<SegmentTemplate> Waar de bestanden staan: de initialisatie, alleen de movie-box, dan de fragmenten, 00001.m4s enzovoort, één per 6 seconden
codecs Wat het spoor draagt: hier IMSC 1.1 Text

Het manifest van een hele stream heeft de video en de audio in andere adaptation sets ernaast.

CMAF, DASH of HLS?

CMAF-spoor (.cmft) DASH (.mpd) HLS (.m3u8)
Bestanden Eén Een manifest, dan de movie en een bestand per fragment Een afspeellijst, dan een bestand per segment
De ondertitels WebVTT of TTML in MP4 WebVTT of TTML in MP4 WebVTT-tekstbestanden; IMSC in MP4
Afgespeeld door Packagers en spelers die CMAF accepteren DASH-spelers: dash.js, Shaka Player, smart-tv's De spelers van Apple, hls.js

CMAF en DASH in Subtitld

Bewaard in het spoor
  • Elke tekst van een ondertitel en de regeleindes
  • Cursief, vet, onderstreept en kleur
  • Waar hij staat: cue-instellingen, of de regio's van TTML
  • Sprekers, als voice-tags of agents
  • De taal van de geschreven tekst
  • Begin en eind, tot de milliseconde
Geen plek
  • Vertalingen naast het origineel
  • Nasynchronisaties, gezichten en kleuren van sprekers

Sla een .usfx-project op om die te bewaren.

Een spoor of manifest openen

Subtitld opent een .cmft-bestand, of een .mpd-manifest en de bestanden die het noemt, en:

  • leest WebVTT-sporen met de WebVTT-lezer van Subtitld, en TTML-sporen met de TTML-lezer;
  • vindt de samples in elk fragment, of in de sampletabel van een gewone MP4;
  • voegt een cue samen die ongewijzigd doorloopt van de ene sample of het ene fragment naar het volgende;
  • leest een TTML-document dat zijn tijden vanaf het begin van zijn sample telt, zoals sommige packagers het ooit schreven;
  • volgt een manifest naar zijn tekstspoor in de taal van het project, anders het eerste, en naar de segmenten: via een template, genummerd of getimed, via een lijst, of één bestand; ernaast, onder het basisadres, of op een webserver;
  • leest een WebVTT- of TTML-bestand dat een manifest los noemt, zoals het is;
  • neemt de taal van het spoor als die van het project.

Een bestand zonder WebVTT- of TTML-spoor, of een afgebroken bestand, zegt dat. Een .mp4-bestand opent als video, niet als tekstspoor.

CMAF en DASH exporteren

Het exportvenster van Subtitld met DASH gekozen, een IMSC 1.1 Text-spoor, segmenten van 6 seconden en witte tekst met een zwarte omlijning

Bij Exporteren, dan Ondertitels en CMFT of DASH, biedt u:

  • TekstHet origineel, een vertaling, of beide, de vertaling eronder.
  • SprekernamenWeggelaten, voor de tekst (Thom: …), of de voice-tags van WebVTT (<v Thom>), of de agents van TTML (ttm:agent).
  • OpmaakBewaard, of verwijderd.
  • Tijden verschuivenElke ondertitel eerder of later met dezelfde hoeveelheid.
  • SpoorWebVTT (wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text, of EBU-TT-D voor DVB-DASH: de laatste drie TTML (stpp).
  • Segmentlengte2, 4, 6 of 10 seconden. 6 is wat Apple aanbeveelt.
  • LookVoor een TTML-spoor: wit met een zwarte omlijning, of zoals het voorbeeld van Subtitld tekent.

CMFT schrijft één bestand: de movie, dan een fragment voor elk segment. DASH schrijft het manifest en, in een map ernaast die ernaar is genoemd (movie.mpd, movie_segments), de movie als init.mp4 en elk fragment als 00001.m4s enzovoort; een EBU-TT-D-spoor voegt het profiel van DVB-DASH aan het manifest toe. Hoe dan ook telt de klok milliseconden, staat het spoor in de taal van de geschreven tekst, en duurt het zo lang als de video, of zo lang als de ondertitels als er geen video is.

Wetenswaardigheden

2012

MPEG-DASH werd in april 2012 gepubliceerd als ISO/IEC 23009-1, een paar maanden nadat MPEG het had geratificeerd.

14496-30

Het deel van MPEG-4 dat WebVTT en TTML in MP4-bestanden zet. De eerste editie is uit 2014.

.cmft

De trackbestanden van CMAF krijgen een extensie die zegt wat ze bevatten: .cmfv voor video, .cmfa voor audio, .cmft voor tekst.

Verwante formaten

Een cmft mpd om te repareren?

Open het in Subtitld met de video en stel de timing bij op de golfvorm.

Subtitld downloaden