Text tracks in CMAF and MPEG-DASH
Des sous-titres emballés comme le streaming emballe la vidéo : dans des boîtes MP4, découpés en fragments de quelques secondes. Le texte à l'intérieur est du WebVTT ou du TTML. Un fichier de piste CMAF contient toute la piste ; un manifeste DASH nomme ses segments pour qu'un lecteur les récupère.
En bref
| Type de média | La piste : application/mp4. Le manifeste : application/dash+xml. |
|---|---|
| Spécification | Les boîtes : ISO/IEC 14496-30, sur le format de fichier média de base ISO. La piste : CMAF, ISO/IEC 23000-19. Le manifeste : MPEG-DASH, ISO/IEC 23009-1. |
| Précision temporelle | Des ticks de l'horloge de la piste : des millisecondes dans ce qu'écrit Subtitld |
| Encodage du texte | UTF-8, à l'intérieur de boîtes binaires |
| Style | Celui de WebVTT, ou celui de TTML selon son profil |
| Positionnement | Les réglages de cue de WebVTT, ou les régions de TTML |
| Locuteurs | Les balises de voix de WebVTT, ou les agents de TTML |
| Dans les conteneurs | Le MP4 lui-même : la même piste peut se trouver à côté de la vidéo dans un .mp4. HLS nomme aussi des segments CMAF. |
Anatomie d'une piste
Pas du texte mais des boîtes : chacune avec sa taille, quatre lettres, et ce qu'elle contient, certaines contenant elles-mêmes des boîtes. Un .cmft qu'écrit Subtitld, ses sous-titres en WebVTT :
ftyp cmfc · iso6 cmfc cwvt dash moov trak · mdia mdhd 1,000 ticks a second · eng elng en hdlr text · WebVTT stsd · wvtt · vttC WEBVTT mvex · trex moof 1 · from 0 mdat vtte · vttc moof 2 · from 6000 mdat vttc · vtte · vttc · vtte moof 3 · from 12000 mdat vtte
- 1 · Type de fichier
Ce qu'est le fichier : une piste CMAF (
cmfc) de WebVTT (cwvt), ou d'IMSC 1.1 (im2t) ou IMSC 1.0.1 (im1t). - 2 · Movie
L'unique piste : son horloge, sa langue, son gestionnaire (
textpour WebVTT,subtpour TTML) et la nature de ses échantillons, ici du WebVTT avec son en-tête. - 3 · Fragment
Un segment de la piste : son numéro, son début sur l'horloge de la piste, et la durée de chacun de ses échantillons.
- 4 · Échantillons
Les sous-titres du fragment, échantillon après échantillon.
Deux façons de transporter le texte
WebVTT (wvtt) |
TTML (stpp) |
|
|---|---|---|
| La description d'échantillon | L'en-tête du fichier, dans une boîte vttC |
L'espace de noms de TTML, et un type MIME qui nomme le profil |
| Un échantillon | Les cues affichées pendant toute sa durée | Un document TTML complet |
| Rien à l'écran | Une boîte de cue vide, vtte |
Un document sans sous-titre pendant ce temps |
| Temps | Ceux de chaque échantillon, d'après la piste ; aucun dans le texte | Dans le document, comptés sur l'horloge de la piste |
| Codecs, tels que les nomment DASH et HLS | wvtt |
stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1 |
Un échantillon WebVTT
Le WebVTT en MP4 n'a pas de temps de cue propres. Chaque fois qu'une cue commence ou se termine, un échantillon se termine et le suivant commence, si bien qu'un échantillon contient les cues affichées pendant toute sa durée, chacune dans une boîte :
| Boîte | Ce qu'elle contient |
|---|---|
vttc |
Une cue |
payl |
Son texte : <v Celia>You're a jerk, et Thom. |
sttg |
Ses réglages, lorsqu'elle en a : line:0 |
vtte |
Rien à afficher pendant la durée de cet échantillon |
Le deuxième fragment ci-dessus, de 6 à 12 secondes : la cue de Celia, commencée à 4, jusqu'à 7.5 ; rien jusqu'à 8 ; la cue de Thom jusqu'à 9.6 ; rien jusqu'à 12. Une cue qui s'étend sur deux fragments figure dans les deux.
Un échantillon TTML
Chaque fragment contient un document TTML, avec les sous-titres affichés pendant sa durée, coupés à ses limites. Ses temps comptent depuis le début de la piste, pas du fragment.
<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
…
<p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>
C'est le premier fragment, de 0 à 6 secondes : la cue de 4 à 7.5 se termine ici à 6, et reprend à 6 dans le suivant.
| Profil | Où il est demandé |
|---|---|
| IMSC 1.1 Text | Les lecteurs qui lisent l'IMSC 1.1, le plus récent des deux |
| IMSC 1.0.1 Text | Le HLS d'Apple, qui le nomme stpp.ttml.im1t, et les lecteurs plus anciens |
| EBU-TT-D | Les lecteurs en ligne des diffuseurs européens, via DVB-DASH |
Anatomie d'un manifeste DASH
<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
<Period id="1" start="PT0S">
<AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
<Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
<SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
<Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
</AdaptationSet>
</Period>
</MPD>
| Élément | Ce que c'est |
|---|---|
mediaPresentationDuration |
La durée de l'émission |
<AdaptationSet> |
Une piste de texte, dans sa langue, avec le rôle de sous-titres |
<SegmentTemplate> |
L'emplacement de ses fichiers : l'initialisation, la seule boîte movie, puis les fragments, 00001.m4s et suivants, un toutes les 6 secondes |
codecs |
Ce que transporte la piste : ici de l'IMSC 1.1 Text |
Le manifeste d'un flux complet a la vidéo et l'audio dans d'autres adaptation sets, à côté.
CMAF, DASH ou HLS ?
Piste CMAF (.cmft) |
DASH (.mpd) |
HLS (.m3u8) |
|
|---|---|---|---|
| Fichiers | Un seul | Un manifeste, puis le movie et un fichier par fragment | Une playlist, puis un fichier par segment |
| Les sous-titres | WebVTT ou TTML en MP4 | WebVTT ou TTML en MP4 | Des fichiers texte WebVTT ; de l'IMSC en MP4 |
| Lu par | Les packagers et les lecteurs qui acceptent le CMAF | Les lecteurs DASH : dash.js, Shaka Player, les téléviseurs connectés | Les lecteurs d'Apple, hls.js |
CMAF et DASH dans Subtitld
- Le texte et les sauts de ligne de chaque sous-titre
- Italique, gras, soulignement et couleur
- L'endroit où il se place : réglages de cue, ou régions de TTML
- Les locuteurs, sous forme de balises de voix ou d'agents
- La langue du texte écrit
- Début et fin, à la milliseconde
- Les traductions à côté de l'original
- Les doublages, les visages et les couleurs des locuteurs
Enregistrez un projet .usfx pour les conserver.
Ouvrir une piste ou un manifeste
Subtitld ouvre un fichier .cmft, ou un manifeste .mpd et les fichiers qu'il nomme, et :
- lit les pistes WebVTT avec le lecteur WebVTT de Subtitld, et les pistes TTML avec son lecteur TTML ;
- trouve les échantillons dans chaque fragment, ou dans la table d'échantillons d'un MP4 ordinaire ;
- réunit une cue qui se poursuit, identique, d'un échantillon ou d'un fragment au suivant ;
- lit un document TTML qui compte ses temps depuis le début de son échantillon, comme certains packagers l'écrivaient autrefois ;
- suit un manifeste jusqu'à sa piste de texte dans la langue du projet, sinon la première, et jusqu'à ses segments : par modèle, numérotés ou minutés, par liste, ou en un seul fichier ; à côté de lui, sous son adresse de base, ou sur un serveur web ;
- lit tel quel un fichier WebVTT ou TTML qu'un manifeste nomme seul ;
- prend la langue de la piste comme celle du projet.
Un fichier sans piste WebVTT ou TTML, ou tronqué, le signale. Un fichier .mp4 s'ouvre comme une vidéo, pas comme une piste de texte.
Exporter en CMAF et DASH
Exporter, puis Sous-titres et CMFT ou DASH, propose :
- TexteL'original, une traduction, ou les deux, la traduction en dessous.
- Noms des locuteursOmis, avant le texte (Thom : …), ou sous forme de balises de voix de WebVTT (
<v Thom>), ou d'agents de TTML (ttm:agent). - Mise en formeConservée, ou retirée.
- Décaler les tempsChaque sous-titre plus tôt ou plus tard d'un même écart.
- PisteWebVTT (
wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text, ou EBU-TT-D pour DVB-DASH : les trois derniers en TTML (stpp). - Durée des segments2, 4, 6 ou 10 secondes. 6 est ce que recommande Apple.
- ApparencePour une piste TTML : blanc avec contour noir, ou tel que l'aperçu de Subtitld le dessine.
CMFT écrit un seul fichier : le movie, puis un fragment pour chaque segment. DASH écrit le manifeste et, dans un dossier à côté nommé d'après lui (movie.mpd, movie_segments), le movie sous le nom init.mp4 et chaque fragment sous les noms 00001.m4s et suivants ; une piste EBU-TT-D ajoute au manifeste le profil de DVB-DASH. Dans les deux cas, l'horloge compte des millisecondes, la piste est dans la langue du texte écrit, et elle dure aussi longtemps que la vidéo, ou que les sous-titres en l'absence de vidéo.
Anecdotes
MPEG-DASH a été publié sous le nom ISO/IEC 23009-1 en avril 2012, quelques mois après sa ratification par le MPEG.
La partie de MPEG-4 qui place le WebVTT et le TTML dans des fichiers MP4. Sa première édition date de 2014.
Les fichiers de piste CMAF prennent une extension qui dit ce qu'ils contiennent : .cmfv pour la vidéo, .cmfa pour l'audio, .cmft pour le texte.
Formats associés
Ouvrez-le dans Subtitld avec la vidéo et recalez-le sur la forme d'onde.