Text tracks in CMAF and MPEG-DASH

OuvrirEnregistrerStreamingBinaire

Des sous-titres emballés comme le streaming emballe la vidéo : dans des boîtes MP4, découpés en fragments de quelques secondes. Le texte à l'intérieur est du WebVTT ou du TTML. Un fichier de piste CMAF contient toute la piste ; un manifeste DASH nomme ses segments pour qu'un lecteur les récupère.

En bref

Type de médiaLa piste : application/mp4. Le manifeste : application/dash+xml.
SpécificationLes boîtes : ISO/IEC 14496-30, sur le format de fichier média de base ISO. La piste : CMAF, ISO/IEC 23000-19. Le manifeste : MPEG-DASH, ISO/IEC 23009-1.
Précision temporelleDes ticks de l'horloge de la piste : des millisecondes dans ce qu'écrit Subtitld
Encodage du texteUTF-8, à l'intérieur de boîtes binaires
StyleCelui de WebVTT, ou celui de TTML selon son profil
PositionnementLes réglages de cue de WebVTT, ou les régions de TTML
LocuteursLes balises de voix de WebVTT, ou les agents de TTML
Dans les conteneursLe MP4 lui-même : la même piste peut se trouver à côté de la vidéo dans un .mp4. HLS nomme aussi des segments CMAF.

Anatomie d'une piste

Pas du texte mais des boîtes : chacune avec sa taille, quatre lettres, et ce qu'elle contient, certaines contenant elles-mêmes des boîtes. Un .cmft qu'écrit Subtitld, ses sous-titres en WebVTT :

ftyp  cmfc · iso6 cmfc cwvt dash
moov
  trak · mdia
    mdhd   1,000 ticks a second · eng
    elng   en
    hdlr   text · WebVTT
    stsd · wvtt · vttC  WEBVTT
  mvex · trex
moof  1 · from 0
mdat  vtte · vttc
moof  2 · from 6000
mdat  vttc · vtte · vttc · vtte
moof  3 · from 12000
mdat  vtte
  1. 1 · Type de fichier

    Ce qu'est le fichier : une piste CMAF (cmfc) de WebVTT (cwvt), ou d'IMSC 1.1 (im2t) ou IMSC 1.0.1 (im1t).

  2. 2 · Movie

    L'unique piste : son horloge, sa langue, son gestionnaire (text pour WebVTT, subt pour TTML) et la nature de ses échantillons, ici du WebVTT avec son en-tête.

  3. 3 · Fragment

    Un segment de la piste : son numéro, son début sur l'horloge de la piste, et la durée de chacun de ses échantillons.

  4. 4 · Échantillons

    Les sous-titres du fragment, échantillon après échantillon.

Deux façons de transporter le texte

WebVTT (wvtt) TTML (stpp)
La description d'échantillon L'en-tête du fichier, dans une boîte vttC L'espace de noms de TTML, et un type MIME qui nomme le profil
Un échantillon Les cues affichées pendant toute sa durée Un document TTML complet
Rien à l'écran Une boîte de cue vide, vtte Un document sans sous-titre pendant ce temps
Temps Ceux de chaque échantillon, d'après la piste ; aucun dans le texte Dans le document, comptés sur l'horloge de la piste
Codecs, tels que les nomment DASH et HLS wvtt stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1

Un échantillon WebVTT

Le WebVTT en MP4 n'a pas de temps de cue propres. Chaque fois qu'une cue commence ou se termine, un échantillon se termine et le suivant commence, si bien qu'un échantillon contient les cues affichées pendant toute sa durée, chacune dans une boîte :

Boîte Ce qu'elle contient
vttc Une cue
payl Son texte : <v Celia>You're a jerk, et Thom.
sttg Ses réglages, lorsqu'elle en a : line:0
vtte Rien à afficher pendant la durée de cet échantillon

Le deuxième fragment ci-dessus, de 6 à 12 secondes : la cue de Celia, commencée à 4, jusqu'à 7.5 ; rien jusqu'à 8 ; la cue de Thom jusqu'à 9.6 ; rien jusqu'à 12. Une cue qui s'étend sur deux fragments figure dans les deux.

Un échantillon TTML

Chaque fragment contient un document TTML, avec les sous-titres affichés pendant sa durée, coupés à ses limites. Ses temps comptent depuis le début de la piste, pas du fragment.

<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
  …
  <p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>

C'est le premier fragment, de 0 à 6 secondes : la cue de 4 à 7.5 se termine ici à 6, et reprend à 6 dans le suivant.

Profil Où il est demandé
IMSC 1.1 Text Les lecteurs qui lisent l'IMSC 1.1, le plus récent des deux
IMSC 1.0.1 Text Le HLS d'Apple, qui le nomme stpp.ttml.im1t, et les lecteurs plus anciens
EBU-TT-D Les lecteurs en ligne des diffuseurs européens, via DVB-DASH

Anatomie d'un manifeste DASH

<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
  <Period id="1" start="PT0S">
    <AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
      <Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
      <SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
      <Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
    </AdaptationSet>
  </Period>
</MPD>
Élément Ce que c'est
mediaPresentationDuration La durée de l'émission
<AdaptationSet> Une piste de texte, dans sa langue, avec le rôle de sous-titres
<SegmentTemplate> L'emplacement de ses fichiers : l'initialisation, la seule boîte movie, puis les fragments, 00001.m4s et suivants, un toutes les 6 secondes
codecs Ce que transporte la piste : ici de l'IMSC 1.1 Text

Le manifeste d'un flux complet a la vidéo et l'audio dans d'autres adaptation sets, à côté.

CMAF, DASH ou HLS ?

Piste CMAF (.cmft) DASH (.mpd) HLS (.m3u8)
Fichiers Un seul Un manifeste, puis le movie et un fichier par fragment Une playlist, puis un fichier par segment
Les sous-titres WebVTT ou TTML en MP4 WebVTT ou TTML en MP4 Des fichiers texte WebVTT ; de l'IMSC en MP4
Lu par Les packagers et les lecteurs qui acceptent le CMAF Les lecteurs DASH : dash.js, Shaka Player, les téléviseurs connectés Les lecteurs d'Apple, hls.js

CMAF et DASH dans Subtitld

Conservé dans la piste
  • Le texte et les sauts de ligne de chaque sous-titre
  • Italique, gras, soulignement et couleur
  • L'endroit où il se place : réglages de cue, ou régions de TTML
  • Les locuteurs, sous forme de balises de voix ou d'agents
  • La langue du texte écrit
  • Début et fin, à la milliseconde
Aucun moyen de les garder
  • Les traductions à côté de l'original
  • Les doublages, les visages et les couleurs des locuteurs

Enregistrez un projet .usfx pour les conserver.

Ouvrir une piste ou un manifeste

Subtitld ouvre un fichier .cmft, ou un manifeste .mpd et les fichiers qu'il nomme, et :

  • lit les pistes WebVTT avec le lecteur WebVTT de Subtitld, et les pistes TTML avec son lecteur TTML ;
  • trouve les échantillons dans chaque fragment, ou dans la table d'échantillons d'un MP4 ordinaire ;
  • réunit une cue qui se poursuit, identique, d'un échantillon ou d'un fragment au suivant ;
  • lit un document TTML qui compte ses temps depuis le début de son échantillon, comme certains packagers l'écrivaient autrefois ;
  • suit un manifeste jusqu'à sa piste de texte dans la langue du projet, sinon la première, et jusqu'à ses segments : par modèle, numérotés ou minutés, par liste, ou en un seul fichier ; à côté de lui, sous son adresse de base, ou sur un serveur web ;
  • lit tel quel un fichier WebVTT ou TTML qu'un manifeste nomme seul ;
  • prend la langue de la piste comme celle du projet.

Un fichier sans piste WebVTT ou TTML, ou tronqué, le signale. Un fichier .mp4 s'ouvre comme une vidéo, pas comme une piste de texte.

Exporter en CMAF et DASH

La boîte de dialogue d'export de Subtitld avec DASH choisi, une piste IMSC 1.1 Text, des segments de 6 secondes et un texte blanc avec un contour noir

Exporter, puis Sous-titres et CMFT ou DASH, propose :

  • TexteL'original, une traduction, ou les deux, la traduction en dessous.
  • Noms des locuteursOmis, avant le texte (Thom : …), ou sous forme de balises de voix de WebVTT (<v Thom>), ou d'agents de TTML (ttm:agent).
  • Mise en formeConservée, ou retirée.
  • Décaler les tempsChaque sous-titre plus tôt ou plus tard d'un même écart.
  • PisteWebVTT (wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text, ou EBU-TT-D pour DVB-DASH : les trois derniers en TTML (stpp).
  • Durée des segments2, 4, 6 ou 10 secondes. 6 est ce que recommande Apple.
  • ApparencePour une piste TTML : blanc avec contour noir, ou tel que l'aperçu de Subtitld le dessine.

CMFT écrit un seul fichier : le movie, puis un fragment pour chaque segment. DASH écrit le manifeste et, dans un dossier à côté nommé d'après lui (movie.mpd, movie_segments), le movie sous le nom init.mp4 et chaque fragment sous les noms 00001.m4s et suivants ; une piste EBU-TT-D ajoute au manifeste le profil de DVB-DASH. Dans les deux cas, l'horloge compte des millisecondes, la piste est dans la langue du texte écrit, et elle dure aussi longtemps que la vidéo, ou que les sous-titres en l'absence de vidéo.

Anecdotes

2012

MPEG-DASH a été publié sous le nom ISO/IEC 23009-1 en avril 2012, quelques mois après sa ratification par le MPEG.

14496-30

La partie de MPEG-4 qui place le WebVTT et le TTML dans des fichiers MP4. Sa première édition date de 2014.

.cmft

Les fichiers de piste CMAF prennent une extension qui dit ce qu'ils contiennent : .cmfv pour la vidéo, .cmfa pour l'audio, .cmft pour le texte.

Formats associés

Un fichier cmft mpd à corriger ?

Ouvrez-le dans Subtitld avec la vidéo et recalez-le sur la forme d'onde.

Télécharger Subtitld