Text tracks in CMAF and MPEG-DASH
Sottotitoli impacchettati come lo streaming impacchetta il video: in box MP4, tagliati in frammenti di pochi secondi. Il testo al loro interno è WebVTT o TTML. Un file di traccia CMAF contiene l'intera traccia; un manifest DASH ne nomina i segmenti perché un lettore li scarichi.
In breve
| Tipo di media | La traccia: application/mp4. Il manifest: application/dash+xml. |
|---|---|
| Specifica | I box: ISO/IEC 14496-30, sull'ISO base media file format. La traccia: CMAF, ISO/IEC 23000-19. Il manifest: MPEG-DASH, ISO/IEC 23009-1. |
| Precisione temporale | Tick dell'orologio della traccia: millisecondi in ciò che scrive Subtitld |
| Codifica del testo | UTF-8, dentro box binari |
| Stile | Quello di WebVTT, o quello di TTML nel suo profilo |
| Posizionamento | Le impostazioni dei cue di WebVTT, o le regioni di TTML |
| Parlanti | I tag di voce di WebVTT, o gli agent di TTML |
| Nei contenitori | L'MP4 stesso: la stessa traccia può stare accanto al video in un .mp4. Anche HLS nomina segmenti CMAF. |
Anatomia di una traccia
Non testo ma box: ciascuno con la sua dimensione, quattro lettere e ciò che contiene, alcuni con dentro altri box. Un .cmft scritto da Subtitld, con i sottotitoli in WebVTT:
ftyp cmfc · iso6 cmfc cwvt dash moov trak · mdia mdhd 1,000 ticks a second · eng elng en hdlr text · WebVTT stsd · wvtt · vttC WEBVTT mvex · trex moof 1 · from 0 mdat vtte · vttc moof 2 · from 6000 mdat vttc · vtte · vttc · vtte moof 3 · from 12000 mdat vtte
- 1 · Tipo di file
Che file è: una traccia CMAF (
cmfc) di WebVTT (cwvt), o di IMSC 1.1 (im2t) o IMSC 1.0.1 (im1t). - 2 · Movie
L'unica traccia: il suo orologio, la sua lingua, il suo handler (
textper WebVTT,subtper TTML) e cosa sono i suoi campioni, qui WebVTT con la sua intestazione. - 3 · Frammento
Un segmento della traccia: il suo numero, quando inizia sull'orologio della traccia, e quanto dura ogni campione al suo interno.
- 4 · Campioni
I sottotitoli del frammento, un campione dopo l'altro.
Due modi di portare il testo
WebVTT (wvtt) |
TTML (stpp) |
|
|---|---|---|
| La descrizione dei campioni | L'intestazione del file, in un box vttC |
Il namespace di TTML, e un tipo MIME che nomina il profilo |
| Un campione | I cue mostrati per tutta la sua durata | Un intero documento TTML |
| Niente sullo schermo | Un box di cue vuoto, vtte |
Un documento senza sottotitoli in quell'intervallo |
| Tempi | Quelli di ogni campione, dalla traccia; nessuno nel testo | Nel documento, contati sull'orologio della traccia |
| Codec, come li nominano DASH e HLS | wvtt |
stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1 |
Un campione WebVTT
WebVTT in MP4 non ha tempi di cue propri. Ogni volta che un cue inizia o finisce, un campione finisce e inizia il successivo, quindi un campione contiene i cue mostrati per tutta la sua durata, ciascuno in un box:
| Box | Cosa contiene |
|---|---|
vttc |
Un cue |
payl |
Il suo testo: <v Celia>You're a jerk, e Thom. |
sttg |
Le sue impostazioni, quando ne ha: line:0 |
vtte |
Niente da mostrare per la durata di questo campione |
Il secondo frammento qui sopra, da 6 a 12 secondi: il cue di Celia, iniziato a 4, fino a 7,5; niente fino a 8; il cue di Thom fino a 9,6; niente fino a 12. Un cue che attraversa due frammenti si trova in entrambi.
Un campione TTML
Ogni frammento contiene un documento TTML, con i sottotitoli mostrati durante esso, tagliati alla sua durata. I suoi tempi contano dall'inizio della traccia, non del frammento.
<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
…
<p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>
Questo è il primo frammento, da 0 a 6 secondi: il cue da 4 a 7,5 qui finisce a 6, e ricomincia a 6 nel successivo.
| Profilo | Dove viene richiesto |
|---|---|
| IMSC 1.1 Text | I lettori che leggono IMSC 1.1, il più recente dei due |
| IMSC 1.0.1 Text | L'HLS di Apple, che lo chiama stpp.ttml.im1t, e i lettori più vecchi |
| EBU-TT-D | I lettori online degli emittenti europei, su DVB-DASH |
Anatomia di un manifest DASH
<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
<Period id="1" start="PT0S">
<AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
<Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
<SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
<Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
</AdaptationSet>
</Period>
</MPD>
| Elemento | Che cos'è |
|---|---|
mediaPresentationDuration |
Quanto dura il programma |
<AdaptationSet> |
Una traccia di testo, nella sua lingua, con ruolo sottotitoli |
<SegmentTemplate> |
Dove si trovano i suoi file: l'inizializzazione, il solo box movie, poi i frammenti, 00001.m4s e seguenti, uno ogni 6 secondi |
codecs |
Cosa porta la traccia: qui IMSC 1.1 Text |
Il manifest di un flusso completo ha accanto il video e l'audio in altri adaptation set.
CMAF, DASH o HLS?
Traccia CMAF (.cmft) |
DASH (.mpd) |
HLS (.m3u8) |
|
|---|---|---|---|
| File | Uno | Un manifest, poi il movie e un file per frammento | Una playlist, poi un file per segmento |
| I sottotitoli | WebVTT o TTML in MP4 | WebVTT o TTML in MP4 | File di testo WebVTT; IMSC in MP4 |
| Riprodotto da | Packager e lettori che accettano CMAF | Lettori DASH: dash.js, Shaka Player, smart TV | I lettori di Apple, hls.js |
CMAF e DASH in Subtitld
- Testo e a capo di ogni sottotitolo
- Corsivo, grassetto, sottolineato e colore
- Dove si trova: impostazioni dei cue, o regioni di TTML
- I parlanti, come tag di voce o agent
- La lingua del testo scritto
- Inizio e fine, al millisecondo
- Traduzioni accanto all'originale
- Doppiaggi, volti e colori dei parlanti
Salvi un progetto .usfx per conservarli.
Aprire una traccia o un manifest
Subtitld apre un file .cmft, o un manifest .mpd e i file che nomina, e:
- legge le tracce WebVTT con il lettore WebVTT di Subtitld, e le tracce TTML con quello TTML;
- trova i campioni in ogni frammento, o nella tabella dei campioni di un MP4 semplice;
- riunisce un cue che prosegue, identico, da un campione o frammento al successivo;
- legge un documento TTML che conta i suoi tempi dall'inizio del suo campione, come lo scrivevano un tempo alcuni packager;
- segue un manifest fino alla sua traccia di testo nella lingua del progetto, altrimenti la prima, e ai suoi segmenti: per template, numerati o temporizzati, per lista, o un unico file; accanto a esso, sotto il suo indirizzo di base, o su un server web;
- legge così com'è un file WebVTT o TTML che un manifest nomina da solo;
- prende la lingua della traccia come quella del progetto.
Un file senza una traccia WebVTT o TTML, o troncato, lo dice. Un file .mp4 si apre come video, non come traccia di testo.
Esportare CMAF e DASH
Con Esporta, poi Sottotitoli e CMFT o DASH, si offrono:
- TestoL'originale, una traduzione, o entrambi, con la traduzione sotto.
- Nomi dei parlantiOmessi, prima del testo (Thom: …), oppure i tag di voce di WebVTT (
<v Thom>), oppure gli agent di TTML (ttm:agent). - FormattazioneConservata, oppure rimossa.
- Sposta i tempiOgni sottotitolo anticipato o ritardato della stessa quantità.
- TracciaWebVTT (
wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text, oppure EBU-TT-D per DVB-DASH: gli ultimi tre in TTML (stpp). - Durata dei segmenti2, 4, 6 o 10 secondi. 6 è ciò che raccomanda Apple.
- AspettoPer una traccia TTML: bianco con contorno nero, oppure come lo disegna l'anteprima di Subtitld.
CMFT scrive un unico file: il movie, poi un frammento per ogni segmento. DASH scrive il manifest e, in una cartella accanto con il suo nome (movie.mpd, movie_segments), il movie come init.mp4 e ogni frammento come 00001.m4s e seguenti; una traccia EBU-TT-D aggiunge al manifest il profilo DVB-DASH. In entrambi i casi l'orologio conta millisecondi, la traccia è nella lingua del testo scritto, e dura quanto il video, o quanto i sottotitoli quando non c'è un video.
Curiosità
MPEG-DASH fu pubblicato come ISO/IEC 23009-1 nell'aprile 2012, pochi mesi dopo che MPEG lo aveva ratificato.
La parte di MPEG-4 che mette WebVTT e TTML nei file MP4. La sua prima edizione è del 2014.
I file di traccia CMAF hanno un'estensione che dice cosa contengono: .cmfv per il video, .cmfa per l'audio, .cmft per il testo.
Formati correlati
Lo apra in Subtitld con il video e lo sincronizzi sulla forma d'onda.