Text tracks in CMAF and MPEG-DASH
Subtítulos empaquetados como el streaming empaqueta el vídeo: en cajas MP4, cortados en fragmentos de unos pocos segundos. El texto de dentro es WebVTT o TTML. Un archivo de pista CMAF contiene la pista entera; un manifiesto DASH nombra sus segmentos para que un reproductor los descargue.
De un vistazo
| Tipo de medio | La pista: application/mp4. El manifiesto: application/dash+xml. |
|---|---|
| Especificación | Las cajas: ISO/IEC 14496-30, sobre el formato de archivo multimedia base de ISO. La pista: CMAF, ISO/IEC 23000-19. El manifiesto: MPEG-DASH, ISO/IEC 23009-1. |
| Precisión temporal | Ticks del reloj de la pista: milisegundos en lo que escribe Subtitld |
| Codificación del texto | UTF-8, dentro de cajas binarias |
| Estilo | El de WebVTT, o el de TTML en su perfil |
| Posición | Los ajustes de cue de WebVTT, o las regiones de TTML |
| Hablantes | Las etiquetas de voz de WebVTT, o los agentes de TTML |
| En contenedores | El propio MP4: la misma pista puede ir junto al vídeo en un .mp4. HLS también nombra segmentos CMAF. |
Anatomía de una pista
No es texto sino cajas: cada una con su tamaño, cuatro letras y lo que contiene, y algunas con cajas propias dentro. Un .cmft que escribe Subtitld, con sus subtítulos en WebVTT:
ftyp cmfc · iso6 cmfc cwvt dash moov trak · mdia mdhd 1,000 ticks a second · eng elng en hdlr text · WebVTT stsd · wvtt · vttC WEBVTT mvex · trex moof 1 · from 0 mdat vtte · vttc moof 2 · from 6000 mdat vttc · vtte · vttc · vtte moof 3 · from 12000 mdat vtte
- 1 · Tipo de archivo
Qué es el archivo: una pista CMAF (
cmfc) de WebVTT (cwvt), o de IMSC 1.1 (im2t) o IMSC 1.0.1 (im1t). - 2 · Película
La única pista: su reloj, su idioma, su manejador (
textpara WebVTT,subtpara TTML) y qué son sus muestras, aquí WebVTT con su cabecera. - 3 · Fragmento
Un segmento de la pista: su número, cuándo empieza en el reloj de la pista, y cuánto dura cada muestra que contiene.
- 4 · Muestras
Los subtítulos del fragmento, muestra tras muestra.
Dos formas de llevar el texto
WebVTT (wvtt) |
TTML (stpp) |
|
|---|---|---|
| La descripción de muestra | La cabecera del archivo, en una caja vttC |
El espacio de nombres de TTML, y un tipo MIME que nombra el perfil |
| Una muestra | Los cues que se muestran durante todo su tiempo | Un documento TTML completo |
| Nada en pantalla | Una caja de cue vacía, vtte |
Un documento sin ningún subtítulo en ese tiempo |
| Tiempos | Los de cada muestra, de la pista; ninguno en el texto | En el documento, contados en el reloj de la pista |
| Códecs, como los nombran DASH y HLS | wvtt |
stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1 |
Una muestra WebVTT
WebVTT en MP4 no tiene tiempos de cue propios. Cada vez que un cue empieza o termina, una muestra termina y empieza la siguiente, así que una muestra contiene los cues que se muestran durante todo su tiempo, cada uno en una caja:
| Caja | Qué contiene |
|---|---|
vttc |
Un cue |
payl |
Su texto: <v Celia>You're a jerk, y Thom. |
sttg |
Sus ajustes, cuando los tiene: line:0 |
vtte |
Nada que mostrar durante el tiempo de esta muestra |
El segundo fragmento de arriba, de 6 a 12 segundos: el cue de Celia, que empezó a los 4, hasta 7,5; nada hasta 8; el cue de Thom hasta 9,6; nada hasta 12. Un cue que abarca dos fragmentos está en ambos.
Una muestra TTML
Cada fragmento contiene un documento TTML, con los subtítulos que se muestran durante él, recortados a su tiempo. Sus tiempos cuentan desde el inicio de la pista, no del fragmento.
<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
…
<p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>
Ese es el primer fragmento, de 0 a 6 segundos: el cue de 4 a 7,5 termina aquí en 6, y vuelve a empezar en 6 en el siguiente.
| Perfil | Dónde se pide |
|---|---|
| IMSC 1.1 Text | Los reproductores que leen IMSC 1.1, el más nuevo de los dos |
| IMSC 1.0.1 Text | El HLS de Apple, que lo llama stpp.ttml.im1t, y los reproductores antiguos |
| EBU-TT-D | Los reproductores en línea de las emisoras europeas, sobre DVB-DASH |
Anatomía de un manifiesto DASH
<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
<Period id="1" start="PT0S">
<AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
<Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
<SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
<Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
</AdaptationSet>
</Period>
</MPD>
| Elemento | Qué es |
|---|---|
mediaPresentationDuration |
Cuánto dura el programa |
<AdaptationSet> |
Una pista de texto, en su idioma, con el rol de subtítulos |
<SegmentTemplate> |
Dónde están sus archivos: la inicialización, solo la caja de película, y luego los fragmentos, 00001.m4s y siguientes, uno cada 6 segundos |
codecs |
Qué lleva la pista: aquí, IMSC 1.1 Text |
El manifiesto de un flujo completo tiene el vídeo y el audio en otros conjuntos de adaptación a su lado.
¿CMAF, DASH o HLS?
Pista CMAF (.cmft) |
DASH (.mpd) |
HLS (.m3u8) |
|
|---|---|---|---|
| Archivos | Uno | Un manifiesto, y luego la película y un archivo por fragmento | Una lista de reproducción, y luego un archivo por segmento |
| Los subtítulos | WebVTT o TTML en MP4 | WebVTT o TTML en MP4 | Archivos de texto WebVTT; IMSC en MP4 |
| Lo reproducen | Empaquetadores y reproductores que aceptan CMAF | Los reproductores DASH: dash.js, Shaka Player, televisores inteligentes | Los reproductores de Apple, hls.js |
CMAF y DASH en Subtitld
- El texto de cada subtítulo y sus saltos de línea
- Cursiva, negrita, subrayado y color
- Dónde se sitúa: ajustes de cue, o regiones de TTML
- Los hablantes, como etiquetas de voz o agentes
- El idioma del texto escrito
- Inicio y fin, al milisegundo
- Traducciones junto al original
- Doblajes, caras y colores de los hablantes
Guarda un proyecto .usfx para conservarlos.
Abrir una pista o un manifiesto
Subtitld abre un archivo .cmft, o un manifiesto .mpd y los archivos que nombra, y:
- lee las pistas WebVTT con el lector de WebVTT de Subtitld, y las pistas TTML con el de TTML;
- encuentra las muestras en cada fragmento, o en la tabla de muestras de un MP4 normal;
- une un cue que continúa, igual, de una muestra o un fragmento al siguiente;
- lee un documento TTML que cuenta sus tiempos desde el inicio de su muestra, como lo escribían antes algunos empaquetadores;
- sigue un manifiesto hasta su pista de texto en el idioma del proyecto, o si no, la primera, y sus segmentos: por plantilla, numerados o con tiempos, por lista, o en un solo archivo; a su lado, bajo su dirección base, o en un servidor web;
- lee tal cual un archivo WebVTT o TTML que un manifiesto nombra por sí solo;
- toma el idioma de la pista como el del proyecto.
Un archivo sin pista WebVTT o TTML, o uno incompleto, lo dice. Un archivo .mp4 se abre como vídeo, no como pista de texto.
Exportar CMAF y DASH
Exportar, y luego Subtítulos y CMFT o DASH, ofrece:
- TextoEl original, una traducción o ambos, con la traducción debajo.
- Nombres de hablantesSe omiten, van antes del texto (Thom: …), o como etiquetas de voz de WebVTT (
<v Thom>), o agentes de TTML (ttm:agent). - FormatoSe conserva o se quita.
- Desplazar tiemposCada subtítulo antes o después en la misma cantidad.
- PistaWebVTT (
wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text, o EBU-TT-D para DVB-DASH: las tres últimas, TTML (stpp). - Duración de los segmentos2, 4, 6 o 10 segundos. 6 es lo que recomienda Apple.
- AspectoPara una pista TTML: blanco con contorno negro, o como lo dibuja la vista previa de Subtitld.
CMFT escribe un solo archivo: la película, y luego un fragmento por cada segmento. DASH escribe el manifiesto y, en una carpeta a su lado con su nombre (movie.mpd, movie_segments), la película como init.mp4 y cada fragmento como 00001.m4s y siguientes; una pista EBU-TT-D añade al manifiesto el perfil de DVB-DASH. En ambos casos el reloj cuenta milisegundos, la pista está en el idioma del texto escrito, y dura lo que el vídeo, o lo que los subtítulos cuando no hay vídeo.
Curiosidades
MPEG-DASH se publicó como ISO/IEC 23009-1 en abril de 2012, pocos meses después de que MPEG lo ratificara.
La parte de MPEG-4 que mete WebVTT y TTML en archivos MP4. Su primera edición es de 2014.
Los archivos de pista CMAF llevan una extensión que dice lo que contienen: .cmfv para vídeo, .cmfa para audio, .cmft para texto.
Formatos relacionados
Ábrelo en Subtitld con el vídeo y reajústalo sobre la forma de onda.