Text tracks in CMAF and MPEG-DASH
Ondertitels verpakt zoals streaming video verpakt: in MP4-boxen, opgeknipt in fragmenten van een paar seconden. De tekst erin is WebVTT of TTML. Een CMAF-trackbestand bevat het hele spoor; een DASH-manifest noemt de segmenten die een speler moet ophalen.
In één oogopslag
| Mediatype | Het spoor: application/mp4. Het manifest: application/dash+xml. |
|---|---|
| Specificatie | De boxen: ISO/IEC 14496-30, op basis van het ISO base media file format. Het spoor: CMAF, ISO/IEC 23000-19. Het manifest: MPEG-DASH, ISO/IEC 23009-1. |
| Tijdsprecisie | Ticks van de klok van het spoor: milliseconden in wat Subtitld schrijft |
| Tekstcodering | UTF-8, in binaire boxen |
| Opmaak | Die van WebVTT, of die van TTML in zijn profiel |
| Positionering | De cue-instellingen van WebVTT, of de regio's van TTML |
| Sprekers | De voice-tags van WebVTT, of de agents van TTML |
| In containers | MP4 zelf: hetzelfde spoor kan naast video in een .mp4 staan. HLS noemt ook CMAF-segmenten. |
Opbouw van een spoor
Geen tekst maar boxen: elk met zijn grootte, vier letters, en wat erin zit, sommige met eigen boxen erin. Een .cmft die Subtitld schrijft, met de ondertitels in WebVTT:
ftyp cmfc · iso6 cmfc cwvt dash moov trak · mdia mdhd 1,000 ticks a second · eng elng en hdlr text · WebVTT stsd · wvtt · vttC WEBVTT mvex · trex moof 1 · from 0 mdat vtte · vttc moof 2 · from 6000 mdat vttc · vtte · vttc · vtte moof 3 · from 12000 mdat vtte
- 1 · Bestandstype
Wat het bestand is: een CMAF-spoor (
cmfc) van WebVTT (cwvt), of van IMSC 1.1 (im2t) of IMSC 1.0.1 (im1t). - 2 · Movie
Het ene spoor: zijn klok, zijn taal, zijn handler (
textvoor WebVTT,subtvoor TTML) en wat zijn samples zijn, hier WebVTT met zijn kop. - 3 · Fragment
Een segment van het spoor: het nummer, wanneer het begint op de klok van het spoor, en hoe lang elke sample erin duurt.
- 4 · Samples
De ondertitels van het fragment, sample na sample.
Twee manieren om de tekst te dragen
WebVTT (wvtt) |
TTML (stpp) |
|
|---|---|---|
| De samplebeschrijving | De kop van het bestand, in een vttC-box |
De namespace van TTML, en een MIME-type dat het profiel noemt |
| Een sample | De cues die gedurende de hele tijd ervan worden getoond | Een volledig TTML-document |
| Niets op het scherm | Een lege cue-box, vtte |
Een document zonder ondertitel in die tijd |
| Tijden | Die van elke sample, uit het spoor; geen in de tekst | In het document, geteld op de klok van het spoor |
| Codecs, zoals DASH en HLS ze noemen | wvtt |
stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1 |
Een WebVTT-sample
WebVTT in MP4 heeft geen eigen cue-tijden. Elke keer dat een cue begint of eindigt, eindigt een sample en begint de volgende, dus een sample bevat de cues die gedurende de hele tijd ervan worden getoond, elk in een box:
| Box | Wat erin staat |
|---|---|
vttc |
Eén cue |
payl |
De tekst: <v Celia>You're a jerk, en Thom. |
sttg |
De instellingen, als die er zijn: line:0 |
vtte |
Niets te tonen gedurende de tijd van deze sample |
Het tweede fragment hierboven, 6 tot 12 seconden: de cue van Celia, die bij 4 begon, tot 7,5; niets tot 8; de cue van Thom tot 9,6; niets tot 12. Een cue die twee fragmenten beslaat, staat in beide.
Een TTML-sample
Elk fragment bevat één TTML-document, met de ondertitels die erin worden getoond, ingekort tot de tijd ervan. De tijden tellen vanaf het begin van het spoor, niet van het fragment.
<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
…
<p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>
Dat is het eerste fragment, 0 tot 6 seconden: de cue van 4 tot 7,5 eindigt hier bij 6, en begint bij 6 opnieuw in het volgende.
| Profiel | Waar het wordt gevraagd |
|---|---|
| IMSC 1.1 Text | Spelers die IMSC 1.1 lezen, de nieuwste van de twee |
| IMSC 1.0.1 Text | HLS van Apple, dat het stpp.ttml.im1t noemt, en oudere spelers |
| EBU-TT-D | De onlinespelers van Europese omroepen, via DVB-DASH |
Opbouw van een DASH-manifest
<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
<Period id="1" start="PT0S">
<AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
<Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
<SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
<Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
</AdaptationSet>
</Period>
</MPD>
| Onderdeel | Wat het is |
|---|---|
mediaPresentationDuration |
Hoe lang het programma duurt |
<AdaptationSet> |
Een tekstspoor, in zijn taal, met de rol ondertitels |
<SegmentTemplate> |
Waar de bestanden staan: de initialisatie, alleen de movie-box, dan de fragmenten, 00001.m4s enzovoort, één per 6 seconden |
codecs |
Wat het spoor draagt: hier IMSC 1.1 Text |
Het manifest van een hele stream heeft de video en de audio in andere adaptation sets ernaast.
CMAF, DASH of HLS?
CMAF-spoor (.cmft) |
DASH (.mpd) |
HLS (.m3u8) |
|
|---|---|---|---|
| Bestanden | Eén | Een manifest, dan de movie en een bestand per fragment | Een afspeellijst, dan een bestand per segment |
| De ondertitels | WebVTT of TTML in MP4 | WebVTT of TTML in MP4 | WebVTT-tekstbestanden; IMSC in MP4 |
| Afgespeeld door | Packagers en spelers die CMAF accepteren | DASH-spelers: dash.js, Shaka Player, smart-tv's | De spelers van Apple, hls.js |
CMAF en DASH in Subtitld
- Elke tekst van een ondertitel en de regeleindes
- Cursief, vet, onderstreept en kleur
- Waar hij staat: cue-instellingen, of de regio's van TTML
- Sprekers, als voice-tags of agents
- De taal van de geschreven tekst
- Begin en eind, tot de milliseconde
- Vertalingen naast het origineel
- Nasynchronisaties, gezichten en kleuren van sprekers
Sla een .usfx-project op om die te bewaren.
Een spoor of manifest openen
Subtitld opent een .cmft-bestand, of een .mpd-manifest en de bestanden die het noemt, en:
- leest WebVTT-sporen met de WebVTT-lezer van Subtitld, en TTML-sporen met de TTML-lezer;
- vindt de samples in elk fragment, of in de sampletabel van een gewone MP4;
- voegt een cue samen die ongewijzigd doorloopt van de ene sample of het ene fragment naar het volgende;
- leest een TTML-document dat zijn tijden vanaf het begin van zijn sample telt, zoals sommige packagers het ooit schreven;
- volgt een manifest naar zijn tekstspoor in de taal van het project, anders het eerste, en naar de segmenten: via een template, genummerd of getimed, via een lijst, of één bestand; ernaast, onder het basisadres, of op een webserver;
- leest een WebVTT- of TTML-bestand dat een manifest los noemt, zoals het is;
- neemt de taal van het spoor als die van het project.
Een bestand zonder WebVTT- of TTML-spoor, of een afgebroken bestand, zegt dat. Een .mp4-bestand opent als video, niet als tekstspoor.
CMAF en DASH exporteren
Bij Exporteren, dan Ondertitels en CMFT of DASH, biedt u:
- TekstHet origineel, een vertaling, of beide, de vertaling eronder.
- SprekernamenWeggelaten, voor de tekst (Thom: …), of de voice-tags van WebVTT (
<v Thom>), of de agents van TTML (ttm:agent). - OpmaakBewaard, of verwijderd.
- Tijden verschuivenElke ondertitel eerder of later met dezelfde hoeveelheid.
- SpoorWebVTT (
wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text, of EBU-TT-D voor DVB-DASH: de laatste drie TTML (stpp). - Segmentlengte2, 4, 6 of 10 seconden. 6 is wat Apple aanbeveelt.
- LookVoor een TTML-spoor: wit met een zwarte omlijning, of zoals het voorbeeld van Subtitld tekent.
CMFT schrijft één bestand: de movie, dan een fragment voor elk segment. DASH schrijft het manifest en, in een map ernaast die ernaar is genoemd (movie.mpd, movie_segments), de movie als init.mp4 en elk fragment als 00001.m4s enzovoort; een EBU-TT-D-spoor voegt het profiel van DVB-DASH aan het manifest toe. Hoe dan ook telt de klok milliseconden, staat het spoor in de taal van de geschreven tekst, en duurt het zo lang als de video, of zo lang als de ondertitels als er geen video is.
Wetenswaardigheden
MPEG-DASH werd in april 2012 gepubliceerd als ISO/IEC 23009-1, een paar maanden nadat MPEG het had geratificeerd.
Het deel van MPEG-4 dat WebVTT en TTML in MP4-bestanden zet. De eerste editie is uit 2014.
De trackbestanden van CMAF krijgen een extensie die zegt wat ze bevatten: .cmfv voor video, .cmfa voor audio, .cmft voor tekst.
Verwante formaten
Open het in Subtitld met de video en stel de timing bij op de golfvorm.