Text tracks in CMAF and MPEG-DASH
Untertitel, so verpackt, wie Streaming Video verpackt: in MP4-Boxen, in Fragmente von wenigen Sekunden geschnitten. Der Text darin ist WebVTT oder TTML. Eine CMAF-Track-Datei enthält die ganze Spur; ein DASH-Manifest nennt ihre Segmente, damit ein Player sie lädt.
Auf einen Blick
| Medientyp | Die Spur: application/mp4. Das Manifest: application/dash+xml. |
|---|---|
| Spezifikation | Die Boxen: ISO/IEC 14496-30, auf Basis des ISO Base Media File Format. Die Spur: CMAF, ISO/IEC 23000-19. Das Manifest: MPEG-DASH, ISO/IEC 23009-1. |
| Zeitgenauigkeit | Ticks des Takts der Spur: Millisekunden in dem, was Subtitld schreibt |
| Textkodierung | UTF-8, in binären Boxen |
| Gestaltung | Die von WebVTT, oder die von TTML in seinem Profil |
| Positionierung | Die Cue-Einstellungen von WebVTT oder die Regionen von TTML |
| Sprecher | Die Voice-Tags von WebVTT oder die Agenten von TTML |
| In Containern | MP4 selbst: Dieselbe Spur kann neben Video in einer .mp4 liegen. Auch HLS nennt CMAF-Segmente. |
Aufbau einer Spur
Keine Zeichen, sondern Boxen: jede ihre Größe, vier Buchstaben und ihr Inhalt, manche mit eigenen Boxen darin. Eine .cmft, die Subtitld schreibt, ihre Untertitel in WebVTT:
ftyp cmfc · iso6 cmfc cwvt dash moov trak · mdia mdhd 1,000 ticks a second · eng elng en hdlr text · WebVTT stsd · wvtt · vttC WEBVTT mvex · trex moof 1 · from 0 mdat vtte · vttc moof 2 · from 6000 mdat vttc · vtte · vttc · vtte moof 3 · from 12000 mdat vtte
- 1 · Dateityp
Was die Datei ist: eine CMAF-Spur (
cmfc) aus WebVTT (cwvt), oder aus IMSC 1.1 (im2t) oder IMSC 1.0.1 (im1t). - 2 · Movie
Die eine Spur: ihr Takt, ihre Sprache, ihr Handler (
textfür WebVTT,subtfür TTML) und was ihre Samples sind, hier WebVTT mit seinem Header. - 3 · Fragment
Ein Segment der Spur: seine Nummer, wann es auf dem Takt der Spur beginnt und wie lange jedes Sample darin dauert.
- 4 · Samples
Die Untertitel des Fragments, Sample für Sample.
Zwei Arten, den Text zu tragen
WebVTT (wvtt) |
TTML (stpp) |
|
|---|---|---|
| Die Sample-Beschreibung | Der Header der Datei, in einer vttC-Box |
Der Namensraum von TTML und ein MIME-Typ, der das Profil nennt |
| Ein Sample | Die Cues, die während seiner ganzen Zeit gezeigt werden | Ein ganzes TTML-Dokument |
| Nichts auf dem Bildschirm | Eine leere Cue-Box, vtte |
Ein Dokument ohne Untertitel in dieser Zeit |
| Zeiten | Die jedes Samples, aus der Spur; keine im Text | Im Dokument, auf dem Takt der Spur gezählt |
| Codecs, wie DASH und HLS sie nennen | wvtt |
stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1 |
Ein WebVTT-Sample
WebVTT in MP4 hat keine eigenen Cue-Zeiten. Jedes Mal, wenn ein Cue beginnt oder endet, endet ein Sample und das nächste beginnt, also enthält ein Sample die Cues, die während seiner ganzen Zeit gezeigt werden, jeden in einer Box:
| Box | Was sie enthält |
|---|---|
vttc |
Einen Cue |
payl |
Seinen Text: <v Celia>You're a jerk, und Thom. |
sttg |
Seine Einstellungen, wenn er welche hat: line:0 |
vtte |
Nichts anzuzeigen während der Zeit dieses Samples |
Das zweite Fragment oben, 6 bis 12 Sekunden: Celias Cue, der bei 4 begann, bis 7,5; nichts bis 8; Thoms Cue bis 9,6; nichts bis 12. Ein Cue, der zwei Fragmente überspannt, steht in beiden.
Ein TTML-Sample
Jedes Fragment enthält ein TTML-Dokument mit den Untertiteln, die währenddessen gezeigt werden, auf seine Zeit zugeschnitten. Seine Zeiten zählen ab dem Beginn der Spur, nicht des Fragments.
<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
…
<p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>
Das ist das erste Fragment, 0 bis 6 Sekunden: Der Cue von 4 bis 7,5 endet hier bei 6 und beginnt im nächsten bei 6 erneut.
| Profil | Wo es verlangt wird |
|---|---|
| IMSC 1.1 Text | Player, die IMSC 1.1 lesen, das neuere der beiden |
| IMSC 1.0.1 Text | Apples HLS, das es stpp.ttml.im1t nennt, und ältere Player |
| EBU-TT-D | Die Online-Player europäischer Rundfunkanstalten, über DVB-DASH |
Aufbau eines DASH-Manifests
<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
<Period id="1" start="PT0S">
<AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
<Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
<SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
<Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
</AdaptationSet>
</Period>
</MPD>
| Teil | Was es ist |
|---|---|
mediaPresentationDuration |
Wie lange die Sendung dauert |
<AdaptationSet> |
Eine Textspur, in ihrer Sprache, ihre Rolle Untertitel |
<SegmentTemplate> |
Wo ihre Dateien liegen: die Initialisierung, nur die Movie-Box, dann die Fragmente, 00001.m4s und weiter, eines alle 6 Sekunden |
codecs |
Was die Spur trägt: hier IMSC 1.1 Text |
Das Manifest eines ganzen Streams hat Video und Audio in weiteren Adaptation Sets daneben.
CMAF, DASH oder HLS?
CMAF-Spur (.cmft) |
DASH (.mpd) |
HLS (.m3u8) |
|
|---|---|---|---|
| Dateien | Eine | Ein Manifest, dann das Movie und eine Datei pro Fragment | Eine Playlist, dann eine Datei pro Segment |
| Die Untertitel | WebVTT oder TTML in MP4 | WebVTT oder TTML in MP4 | WebVTT-Textdateien; IMSC in MP4 |
| Abgespielt von | Packagern und Playern, die CMAF annehmen | DASH-Playern: dash.js, Shaka Player, Smart-TVs | Apples Playern, hls.js |
CMAF und DASH in Subtitld
- Text und Zeilenumbrüche jedes Untertitels
- Kursiv, fett, unterstrichen und Farbe
- Wo er steht: Cue-Einstellungen oder die Regionen von TTML
- Sprecher, als Voice-Tags oder Agenten
- Die Sprache des geschriebenen Textes
- Beginn und Ende, auf die Millisekunde genau
- Übersetzungen neben dem Original
- Synchronisationen, Gesichter und Farben der Sprecher
Speichern Sie ein .usfx-Projekt, um sie zu behalten.
Eine Spur oder ein Manifest öffnen
Subtitld öffnet eine .cmft-Datei oder ein .mpd-Manifest und die Dateien, die es nennt, und:
- liest WebVTT-Spuren mit Subtitlds WebVTT-Leser und TTML-Spuren mit seinem TTML-Leser;
- findet die Samples in jedem Fragment oder in der Sample-Tabelle einer einfachen MP4;
- fügt einen Cue zusammen, der unverändert von einem Sample oder Fragment ins nächste weiterläuft;
- liest ein TTML-Dokument, das seine Zeiten ab dem Beginn seines Samples zählt, wie manche Packager es früher schrieben;
- folgt einem Manifest zu seiner Textspur in der Sprache des Projekts, sonst zur ersten, und zu ihren Segmenten: per Template, nummeriert oder getimt, per Liste oder als eine Datei; neben ihm, unter seiner Basisadresse oder auf einem Webserver;
- liest eine WebVTT- oder TTML-Datei, die ein Manifest selbst nennt, wie sie ist;
- übernimmt die Sprache der Spur als die des Projekts.
Eine Datei ohne WebVTT- oder TTML-Spur, oder eine abgeschnittene, meldet das. Eine .mp4-Datei öffnet sich als Video, nicht als Textspur.
CMAF und DASH exportieren
Export, dann Untertitel und CMFT oder DASH, bietet:
- TextDas Original, eine Übersetzung oder beides, die Übersetzung darunter.
- SprechernamenWeggelassen, vor dem Text (Thom: …), als Voice-Tags von WebVTT (
<v Thom>) oder als Agenten von TTML (ttm:agent). - FormatierungBeibehalten oder entfernt.
- Zeiten verschiebenJeder Untertitel um denselben Betrag früher oder später.
- SpurWebVTT (
wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text oder EBU-TT-D für DVB-DASH: die letzten drei TTML (stpp). - Segmentlänge2, 4, 6 oder 10 Sekunden. 6 empfiehlt Apple.
- LookFür eine TTML-Spur: weiß mit schwarzer Kontur, oder so, wie Subtitlds Vorschau es zeichnet.
CMFT schreibt eine Datei: das Movie, dann ein Fragment für jedes Segment. DASH schreibt das Manifest und, in einem daneben liegenden, nach ihm benannten Ordner (movie.mpd, movie_segments), das Movie als init.mp4 und jedes Fragment als 00001.m4s und weiter; eine EBU-TT-D-Spur ergänzt das Manifest um das Profil von DVB-DASH. So oder so zählt der Takt Millisekunden, die Spur ist in der Sprache des geschriebenen Textes, und sie dauert so lange wie das Video, oder so lange wie die Untertitel, wenn es kein Video gibt.
Wissenswertes
MPEG-DASH erschien im April 2012 als ISO/IEC 23009-1, wenige Monate nachdem MPEG es verabschiedet hatte.
Der Teil von MPEG-4, der WebVTT und TTML in MP4-Dateien bringt. Seine erste Ausgabe stammt von 2014.
Die Track-Dateien von CMAF tragen eine Endung, die sagt, was sie enthalten: .cmfv für Video, .cmfa für Audio, .cmft für Text.
Verwandte Formate
Öffnen Sie sie in Subtitld mit dem Video und passen Sie die Zeiten an der Wellenform an.