Text tracks in CMAF and MPEG-DASH

AperturaSalvataggioStreamingBinario

Sottotitoli impacchettati come lo streaming impacchetta il video: in box MP4, tagliati in frammenti di pochi secondi. Il testo al loro interno è WebVTT o TTML. Un file di traccia CMAF contiene l'intera traccia; un manifest DASH ne nomina i segmenti perché un lettore li scarichi.

In breve

Tipo di mediaLa traccia: application/mp4. Il manifest: application/dash+xml.
SpecificaI box: ISO/IEC 14496-30, sull'ISO base media file format. La traccia: CMAF, ISO/IEC 23000-19. Il manifest: MPEG-DASH, ISO/IEC 23009-1.
Precisione temporaleTick dell'orologio della traccia: millisecondi in ciò che scrive Subtitld
Codifica del testoUTF-8, dentro box binari
StileQuello di WebVTT, o quello di TTML nel suo profilo
PosizionamentoLe impostazioni dei cue di WebVTT, o le regioni di TTML
ParlantiI tag di voce di WebVTT, o gli agent di TTML
Nei contenitoriL'MP4 stesso: la stessa traccia può stare accanto al video in un .mp4. Anche HLS nomina segmenti CMAF.

Anatomia di una traccia

Non testo ma box: ciascuno con la sua dimensione, quattro lettere e ciò che contiene, alcuni con dentro altri box. Un .cmft scritto da Subtitld, con i sottotitoli in WebVTT:

ftyp  cmfc · iso6 cmfc cwvt dash
moov
  trak · mdia
    mdhd   1,000 ticks a second · eng
    elng   en
    hdlr   text · WebVTT
    stsd · wvtt · vttC  WEBVTT
  mvex · trex
moof  1 · from 0
mdat  vtte · vttc
moof  2 · from 6000
mdat  vttc · vtte · vttc · vtte
moof  3 · from 12000
mdat  vtte
  1. 1 · Tipo di file

    Che file è: una traccia CMAF (cmfc) di WebVTT (cwvt), o di IMSC 1.1 (im2t) o IMSC 1.0.1 (im1t).

  2. 2 · Movie

    L'unica traccia: il suo orologio, la sua lingua, il suo handler (text per WebVTT, subt per TTML) e cosa sono i suoi campioni, qui WebVTT con la sua intestazione.

  3. 3 · Frammento

    Un segmento della traccia: il suo numero, quando inizia sull'orologio della traccia, e quanto dura ogni campione al suo interno.

  4. 4 · Campioni

    I sottotitoli del frammento, un campione dopo l'altro.

Due modi di portare il testo

WebVTT (wvtt) TTML (stpp)
La descrizione dei campioni L'intestazione del file, in un box vttC Il namespace di TTML, e un tipo MIME che nomina il profilo
Un campione I cue mostrati per tutta la sua durata Un intero documento TTML
Niente sullo schermo Un box di cue vuoto, vtte Un documento senza sottotitoli in quell'intervallo
Tempi Quelli di ogni campione, dalla traccia; nessuno nel testo Nel documento, contati sull'orologio della traccia
Codec, come li nominano DASH e HLS wvtt stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1

Un campione WebVTT

WebVTT in MP4 non ha tempi di cue propri. Ogni volta che un cue inizia o finisce, un campione finisce e inizia il successivo, quindi un campione contiene i cue mostrati per tutta la sua durata, ciascuno in un box:

Box Cosa contiene
vttc Un cue
payl Il suo testo: <v Celia>You're a jerk, e Thom.
sttg Le sue impostazioni, quando ne ha: line:0
vtte Niente da mostrare per la durata di questo campione

Il secondo frammento qui sopra, da 6 a 12 secondi: il cue di Celia, iniziato a 4, fino a 7,5; niente fino a 8; il cue di Thom fino a 9,6; niente fino a 12. Un cue che attraversa due frammenti si trova in entrambi.

Un campione TTML

Ogni frammento contiene un documento TTML, con i sottotitoli mostrati durante esso, tagliati alla sua durata. I suoi tempi contano dall'inizio della traccia, non del frammento.

<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
  …
  <p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>

Questo è il primo frammento, da 0 a 6 secondi: il cue da 4 a 7,5 qui finisce a 6, e ricomincia a 6 nel successivo.

Profilo Dove viene richiesto
IMSC 1.1 Text I lettori che leggono IMSC 1.1, il più recente dei due
IMSC 1.0.1 Text L'HLS di Apple, che lo chiama stpp.ttml.im1t, e i lettori più vecchi
EBU-TT-D I lettori online degli emittenti europei, su DVB-DASH

Anatomia di un manifest DASH

<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
  <Period id="1" start="PT0S">
    <AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
      <Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
      <SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
      <Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
    </AdaptationSet>
  </Period>
</MPD>
Elemento Che cos'è
mediaPresentationDuration Quanto dura il programma
<AdaptationSet> Una traccia di testo, nella sua lingua, con ruolo sottotitoli
<SegmentTemplate> Dove si trovano i suoi file: l'inizializzazione, il solo box movie, poi i frammenti, 00001.m4s e seguenti, uno ogni 6 secondi
codecs Cosa porta la traccia: qui IMSC 1.1 Text

Il manifest di un flusso completo ha accanto il video e l'audio in altri adaptation set.

CMAF, DASH o HLS?

Traccia CMAF (.cmft) DASH (.mpd) HLS (.m3u8)
File Uno Un manifest, poi il movie e un file per frammento Una playlist, poi un file per segmento
I sottotitoli WebVTT o TTML in MP4 WebVTT o TTML in MP4 File di testo WebVTT; IMSC in MP4
Riprodotto da Packager e lettori che accettano CMAF Lettori DASH: dash.js, Shaka Player, smart TV I lettori di Apple, hls.js

CMAF e DASH in Subtitld

Conservato nella traccia
  • Testo e a capo di ogni sottotitolo
  • Corsivo, grassetto, sottolineato e colore
  • Dove si trova: impostazioni dei cue, o regioni di TTML
  • I parlanti, come tag di voce o agent
  • La lingua del testo scritto
  • Inizio e fine, al millisecondo
Nessun posto dove andare
  • Traduzioni accanto all'originale
  • Doppiaggi, volti e colori dei parlanti

Salvi un progetto .usfx per conservarli.

Aprire una traccia o un manifest

Subtitld apre un file .cmft, o un manifest .mpd e i file che nomina, e:

  • legge le tracce WebVTT con il lettore WebVTT di Subtitld, e le tracce TTML con quello TTML;
  • trova i campioni in ogni frammento, o nella tabella dei campioni di un MP4 semplice;
  • riunisce un cue che prosegue, identico, da un campione o frammento al successivo;
  • legge un documento TTML che conta i suoi tempi dall'inizio del suo campione, come lo scrivevano un tempo alcuni packager;
  • segue un manifest fino alla sua traccia di testo nella lingua del progetto, altrimenti la prima, e ai suoi segmenti: per template, numerati o temporizzati, per lista, o un unico file; accanto a esso, sotto il suo indirizzo di base, o su un server web;
  • legge così com'è un file WebVTT o TTML che un manifest nomina da solo;
  • prende la lingua della traccia come quella del progetto.

Un file senza una traccia WebVTT o TTML, o troncato, lo dice. Un file .mp4 si apre come video, non come traccia di testo.

Esportare CMAF e DASH

La finestra di esportazione di Subtitld con DASH scelto, una traccia IMSC 1.1 Text, segmenti di 6 secondi e testo bianco con contorno nero

Con Esporta, poi Sottotitoli e CMFT o DASH, si offrono:

  • TestoL'originale, una traduzione, o entrambi, con la traduzione sotto.
  • Nomi dei parlantiOmessi, prima del testo (Thom: …), oppure i tag di voce di WebVTT (<v Thom>), oppure gli agent di TTML (ttm:agent).
  • FormattazioneConservata, oppure rimossa.
  • Sposta i tempiOgni sottotitolo anticipato o ritardato della stessa quantità.
  • TracciaWebVTT (wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text, oppure EBU-TT-D per DVB-DASH: gli ultimi tre in TTML (stpp).
  • Durata dei segmenti2, 4, 6 o 10 secondi. 6 è ciò che raccomanda Apple.
  • AspettoPer una traccia TTML: bianco con contorno nero, oppure come lo disegna l'anteprima di Subtitld.

CMFT scrive un unico file: il movie, poi un frammento per ogni segmento. DASH scrive il manifest e, in una cartella accanto con il suo nome (movie.mpd, movie_segments), il movie come init.mp4 e ogni frammento come 00001.m4s e seguenti; una traccia EBU-TT-D aggiunge al manifest il profilo DVB-DASH. In entrambi i casi l'orologio conta millisecondi, la traccia è nella lingua del testo scritto, e dura quanto il video, o quanto i sottotitoli quando non c'è un video.

Curiosità

2012

MPEG-DASH fu pubblicato come ISO/IEC 23009-1 nell'aprile 2012, pochi mesi dopo che MPEG lo aveva ratificato.

14496-30

La parte di MPEG-4 che mette WebVTT e TTML nei file MP4. La sua prima edizione è del 2014.

.cmft

I file di traccia CMAF hanno un'estensione che dice cosa contengono: .cmfv per il video, .cmfa per l'audio, .cmft per il testo.

Formati correlati

Ha un file cmft mpd da correggere?

Lo apra in Subtitld con il video e lo sincronizzi sulla forma d'onda.

Scarica Subtitld