Text tracks in CMAF and MPEG-DASH

AbrirGuardarStreamingBinario

Subtítulos empaquetados como el streaming empaqueta el vídeo: en cajas MP4, cortados en fragmentos de unos pocos segundos. El texto de dentro es WebVTT o TTML. Un archivo de pista CMAF contiene la pista entera; un manifiesto DASH nombra sus segmentos para que un reproductor los descargue.

De un vistazo

Tipo de medioLa pista: application/mp4. El manifiesto: application/dash+xml.
EspecificaciónLas cajas: ISO/IEC 14496-30, sobre el formato de archivo multimedia base de ISO. La pista: CMAF, ISO/IEC 23000-19. El manifiesto: MPEG-DASH, ISO/IEC 23009-1.
Precisión temporalTicks del reloj de la pista: milisegundos en lo que escribe Subtitld
Codificación del textoUTF-8, dentro de cajas binarias
EstiloEl de WebVTT, o el de TTML en su perfil
PosiciónLos ajustes de cue de WebVTT, o las regiones de TTML
HablantesLas etiquetas de voz de WebVTT, o los agentes de TTML
En contenedoresEl propio MP4: la misma pista puede ir junto al vídeo en un .mp4. HLS también nombra segmentos CMAF.

Anatomía de una pista

No es texto sino cajas: cada una con su tamaño, cuatro letras y lo que contiene, y algunas con cajas propias dentro. Un .cmft que escribe Subtitld, con sus subtítulos en WebVTT:

ftyp  cmfc · iso6 cmfc cwvt dash
moov
  trak · mdia
    mdhd   1,000 ticks a second · eng
    elng   en
    hdlr   text · WebVTT
    stsd · wvtt · vttC  WEBVTT
  mvex · trex
moof  1 · from 0
mdat  vtte · vttc
moof  2 · from 6000
mdat  vttc · vtte · vttc · vtte
moof  3 · from 12000
mdat  vtte
  1. 1 · Tipo de archivo

    Qué es el archivo: una pista CMAF (cmfc) de WebVTT (cwvt), o de IMSC 1.1 (im2t) o IMSC 1.0.1 (im1t).

  2. 2 · Película

    La única pista: su reloj, su idioma, su manejador (text para WebVTT, subt para TTML) y qué son sus muestras, aquí WebVTT con su cabecera.

  3. 3 · Fragmento

    Un segmento de la pista: su número, cuándo empieza en el reloj de la pista, y cuánto dura cada muestra que contiene.

  4. 4 · Muestras

    Los subtítulos del fragmento, muestra tras muestra.

Dos formas de llevar el texto

WebVTT (wvtt) TTML (stpp)
La descripción de muestra La cabecera del archivo, en una caja vttC El espacio de nombres de TTML, y un tipo MIME que nombra el perfil
Una muestra Los cues que se muestran durante todo su tiempo Un documento TTML completo
Nada en pantalla Una caja de cue vacía, vtte Un documento sin ningún subtítulo en ese tiempo
Tiempos Los de cada muestra, de la pista; ninguno en el texto En el documento, contados en el reloj de la pista
Códecs, como los nombran DASH y HLS wvtt stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1

Una muestra WebVTT

WebVTT en MP4 no tiene tiempos de cue propios. Cada vez que un cue empieza o termina, una muestra termina y empieza la siguiente, así que una muestra contiene los cues que se muestran durante todo su tiempo, cada uno en una caja:

Caja Qué contiene
vttc Un cue
payl Su texto: <v Celia>You're a jerk, y Thom.
sttg Sus ajustes, cuando los tiene: line:0
vtte Nada que mostrar durante el tiempo de esta muestra

El segundo fragmento de arriba, de 6 a 12 segundos: el cue de Celia, que empezó a los 4, hasta 7,5; nada hasta 8; el cue de Thom hasta 9,6; nada hasta 12. Un cue que abarca dos fragmentos está en ambos.

Una muestra TTML

Cada fragmento contiene un documento TTML, con los subtítulos que se muestran durante él, recortados a su tiempo. Sus tiempos cuentan desde el inicio de la pista, no del fragmento.

<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
  …
  <p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>

Ese es el primer fragmento, de 0 a 6 segundos: el cue de 4 a 7,5 termina aquí en 6, y vuelve a empezar en 6 en el siguiente.

Perfil Dónde se pide
IMSC 1.1 Text Los reproductores que leen IMSC 1.1, el más nuevo de los dos
IMSC 1.0.1 Text El HLS de Apple, que lo llama stpp.ttml.im1t, y los reproductores antiguos
EBU-TT-D Los reproductores en línea de las emisoras europeas, sobre DVB-DASH

Anatomía de un manifiesto DASH

<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
  <Period id="1" start="PT0S">
    <AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
      <Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
      <SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
      <Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
    </AdaptationSet>
  </Period>
</MPD>
Elemento Qué es
mediaPresentationDuration Cuánto dura el programa
<AdaptationSet> Una pista de texto, en su idioma, con el rol de subtítulos
<SegmentTemplate> Dónde están sus archivos: la inicialización, solo la caja de película, y luego los fragmentos, 00001.m4s y siguientes, uno cada 6 segundos
codecs Qué lleva la pista: aquí, IMSC 1.1 Text

El manifiesto de un flujo completo tiene el vídeo y el audio en otros conjuntos de adaptación a su lado.

¿CMAF, DASH o HLS?

Pista CMAF (.cmft) DASH (.mpd) HLS (.m3u8)
Archivos Uno Un manifiesto, y luego la película y un archivo por fragmento Una lista de reproducción, y luego un archivo por segmento
Los subtítulos WebVTT o TTML en MP4 WebVTT o TTML en MP4 Archivos de texto WebVTT; IMSC en MP4
Lo reproducen Empaquetadores y reproductores que aceptan CMAF Los reproductores DASH: dash.js, Shaka Player, televisores inteligentes Los reproductores de Apple, hls.js

CMAF y DASH en Subtitld

Se conserva en la pista
  • El texto de cada subtítulo y sus saltos de línea
  • Cursiva, negrita, subrayado y color
  • Dónde se sitúa: ajustes de cue, o regiones de TTML
  • Los hablantes, como etiquetas de voz o agentes
  • El idioma del texto escrito
  • Inicio y fin, al milisegundo
Sin dónde ir
  • Traducciones junto al original
  • Doblajes, caras y colores de los hablantes

Guarda un proyecto .usfx para conservarlos.

Abrir una pista o un manifiesto

Subtitld abre un archivo .cmft, o un manifiesto .mpd y los archivos que nombra, y:

  • lee las pistas WebVTT con el lector de WebVTT de Subtitld, y las pistas TTML con el de TTML;
  • encuentra las muestras en cada fragmento, o en la tabla de muestras de un MP4 normal;
  • une un cue que continúa, igual, de una muestra o un fragmento al siguiente;
  • lee un documento TTML que cuenta sus tiempos desde el inicio de su muestra, como lo escribían antes algunos empaquetadores;
  • sigue un manifiesto hasta su pista de texto en el idioma del proyecto, o si no, la primera, y sus segmentos: por plantilla, numerados o con tiempos, por lista, o en un solo archivo; a su lado, bajo su dirección base, o en un servidor web;
  • lee tal cual un archivo WebVTT o TTML que un manifiesto nombra por sí solo;
  • toma el idioma de la pista como el del proyecto.

Un archivo sin pista WebVTT o TTML, o uno incompleto, lo dice. Un archivo .mp4 se abre como vídeo, no como pista de texto.

Exportar CMAF y DASH

Diálogo de exportación de Subtitld con DASH elegido, una pista IMSC 1.1 Text, segmentos de 6 segundos y texto blanco con contorno negro

Exportar, y luego Subtítulos y CMFT o DASH, ofrece:

  • TextoEl original, una traducción o ambos, con la traducción debajo.
  • Nombres de hablantesSe omiten, van antes del texto (Thom: …), o como etiquetas de voz de WebVTT (<v Thom>), o agentes de TTML (ttm:agent).
  • FormatoSe conserva o se quita.
  • Desplazar tiemposCada subtítulo antes o después en la misma cantidad.
  • PistaWebVTT (wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text, o EBU-TT-D para DVB-DASH: las tres últimas, TTML (stpp).
  • Duración de los segmentos2, 4, 6 o 10 segundos. 6 es lo que recomienda Apple.
  • AspectoPara una pista TTML: blanco con contorno negro, o como lo dibuja la vista previa de Subtitld.

CMFT escribe un solo archivo: la película, y luego un fragmento por cada segmento. DASH escribe el manifiesto y, en una carpeta a su lado con su nombre (movie.mpd, movie_segments), la película como init.mp4 y cada fragmento como 00001.m4s y siguientes; una pista EBU-TT-D añade al manifiesto el perfil de DVB-DASH. En ambos casos el reloj cuenta milisegundos, la pista está en el idioma del texto escrito, y dura lo que el vídeo, o lo que los subtítulos cuando no hay vídeo.

Curiosidades

2012

MPEG-DASH se publicó como ISO/IEC 23009-1 en abril de 2012, pocos meses después de que MPEG lo ratificara.

14496-30

La parte de MPEG-4 que mete WebVTT y TTML en archivos MP4. Su primera edición es de 2014.

.cmft

Los archivos de pista CMAF llevan una extensión que dice lo que contienen: .cmfv para vídeo, .cmfa para audio, .cmft para texto.

Formatos relacionados

¿Tienes un cmft mpd que corregir?

Ábrelo en Subtitld con el vídeo y reajústalo sobre la forma de onda.

Descargar Subtitld