Text tracks in CMAF and MPEG-DASH

AbrirSalvarStreamingBinário

Legendas empacotadas do jeito que o streaming empacota o vídeo: em boxes MP4, cortadas em fragmentos de alguns segundos. O texto dentro é WebVTT ou TTML. Um arquivo de faixa CMAF guarda a faixa inteira; um manifesto DASH indica os segmentos para um player buscar.

Resumo

Tipo de mídiaA faixa: application/mp4. O manifesto: application/dash+xml.
EspecificaçãoOs boxes: ISO/IEC 14496-30, sobre o ISO base media file format. A faixa: CMAF, ISO/IEC 23000-19. O manifesto: MPEG-DASH, ISO/IEC 23009-1.
Precisão do tempoTicks do relógio da faixa: milissegundos no que o Subtitld grava
Codificação do textoUTF-8, dentro de boxes binários
EstiloO do WebVTT, ou o do TTML no seu perfil
PosicionamentoAs configurações de cue do WebVTT, ou as regiões do TTML
FalantesAs tags de voz do WebVTT, ou os agentes do TTML
Em contêineresO próprio MP4: a mesma faixa pode ficar ao lado do vídeo num .mp4. O HLS também indica segmentos CMAF.

Estrutura de uma faixa

Não é texto, são boxes: cada um com seu tamanho, quatro letras e o que guarda, alguns com boxes próprios dentro. Um .cmft que o Subtitld grava, com as legendas em WebVTT:

ftyp  cmfc · iso6 cmfc cwvt dash
moov
  trak · mdia
    mdhd   1,000 ticks a second · eng
    elng   en
    hdlr   text · WebVTT
    stsd · wvtt · vttC  WEBVTT
  mvex · trex
moof  1 · from 0
mdat  vtte · vttc
moof  2 · from 6000
mdat  vttc · vtte · vttc · vtte
moof  3 · from 12000
mdat  vtte
  1. 1 · Tipo de arquivo

    O que o arquivo é: uma faixa CMAF (cmfc) de WebVTT (cwvt), ou de IMSC 1.1 (im2t) ou IMSC 1.0.1 (im1t).

  2. 2 · Filme

    A única faixa: seu relógio, seu idioma, seu handler (text para WebVTT, subt para TTML) e o que são suas amostras, aqui WebVTT com seu cabeçalho.

  3. 3 · Fragmento

    Um segmento da faixa: seu número, quando começa no relógio da faixa, e quanto dura cada amostra nele.

  4. 4 · Amostras

    As legendas do fragmento, amostra após amostra.

Dois jeitos de levar o texto

WebVTT (wvtt) TTML (stpp)
A descrição da amostra O cabeçalho do arquivo, num box vttC O namespace do TTML, e um tipo MIME que indica o perfil
Uma amostra As cues mostradas durante todo o seu tempo Um documento TTML inteiro
Nada na tela Um box de cue vazio, vtte Um documento sem legenda naquele tempo
Tempos Os de cada amostra, pela faixa; nenhum no texto No documento, contados no relógio da faixa
Codecs, como o DASH e o HLS os chamam wvtt stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1

Uma amostra WebVTT

O WebVTT em MP4 não tem tempos de cue próprios. Cada vez que uma cue começa ou termina, uma amostra termina e a próxima começa, então uma amostra guarda as cues mostradas durante todo o seu tempo, cada uma num box:

Box O que guarda
vttc Uma cue
payl Seu texto: <v Celia>You're a jerk, e Thom.
sttg Suas configurações, quando tem alguma: line:0
vtte Nada a mostrar no tempo desta amostra

O segundo fragmento acima, de 6 a 12 segundos: a cue de Celia, que começou aos 4, até 7,5; nada até 8; a cue de Thom até 9,6; nada até 12. Uma cue que atravessa dois fragmentos está nos dois.

Uma amostra TTML

Cada fragmento guarda um documento TTML, com as legendas mostradas durante ele, cortadas ao seu tempo. Seus tempos contam a partir do início da faixa, não do fragmento.

<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
  …
  <p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>

Esse é o primeiro fragmento, de 0 a 6 segundos: a cue de 4 a 7,5 termina aqui aos 6, e começa de novo aos 6 no próximo.

Perfil Onde é exigido
IMSC 1.1 Texto Players que leem IMSC 1.1, o mais novo dos dois
IMSC 1.0.1 Texto O HLS da Apple, que o chama de stpp.ttml.im1t, e players mais antigos
EBU-TT-D Os players online das emissoras europeias, via DVB-DASH

Estrutura de um manifesto DASH

<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
  <Period id="1" start="PT0S">
    <AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
      <Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
      <SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
      <Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
    </AdaptationSet>
  </Period>
</MPD>
Parte O que é
mediaPresentationDuration Quanto dura o programa
<AdaptationSet> Uma faixa de texto, no seu idioma, com o papel de legendas
<SegmentTemplate> Onde estão seus arquivos: a inicialização, só o box do filme, depois os fragmentos, 00001.m4s em diante, um a cada 6 segundos
codecs O que a faixa leva: aqui, IMSC 1.1 Texto

O manifesto de um fluxo completo tem o vídeo e o áudio em outros adaptation sets ao lado.

CMAF, DASH ou HLS?

Faixa CMAF (.cmft) DASH (.mpd) HLS (.m3u8)
Arquivos Um Um manifesto, depois o filme e um arquivo por fragmento Uma playlist, depois um arquivo por segmento
As legendas WebVTT ou TTML em MP4 WebVTT ou TTML em MP4 Arquivos de texto WebVTT; IMSC em MP4
Reproduzido por Empacotadores e players que aceitam CMAF Players DASH: dash.js, Shaka Player, smart TVs Os players da Apple, hls.js

CMAF e DASH no Subtitld

Mantido na faixa
  • Texto e quebras de linha de cada legenda
  • Itálico, negrito, sublinhado e cor
  • Onde ela fica: configurações de cue, ou as regiões do TTML
  • Falantes, como tags de voz ou agentes
  • O idioma do texto gravado
  • Início e fim, até o milissegundo
Sem destino
  • Traduções ao lado do original
  • Dublagens, rostos e cores dos falantes

Salve um projeto .usfx para mantê-los.

Abrindo uma faixa ou um manifesto

O Subtitld abre um arquivo .cmft, ou um manifesto .mpd e os arquivos que ele indica, e:

  • lê faixas WebVTT com o leitor de WebVTT do Subtitld, e faixas TTML com o de TTML;
  • encontra as amostras em cada fragmento, ou na tabela de amostras de um MP4 comum;
  • junta uma cue que continua, igual, de uma amostra ou fragmento para o seguinte;
  • lê um documento TTML que conta os tempos a partir do início da sua amostra, como alguns empacotadores já o gravaram;
  • segue um manifesto até a sua faixa de texto no idioma do projeto, ou então a primeira, e seus segmentos: por template, numerados ou temporizados, por lista, ou um arquivo só; ao lado dele, sob o seu endereço base, ou num servidor web;
  • lê como está um arquivo WebVTT ou TTML que um manifesto indica sozinho;
  • usa o idioma da faixa como o do projeto.

Um arquivo sem faixa WebVTT ou TTML, ou um cortado no meio, diz isso. Um arquivo .mp4 abre como vídeo, não como faixa de texto.

Exportando CMAF e DASH

Caixa de exportação do Subtitld com DASH escolhido, uma faixa IMSC 1.1 Texto, segmentos de 6 segundos e texto branco com contorno preto

Exportar, depois Legendas e CMFT ou DASH, oferece:

  • TextoO original, uma tradução ou os dois, com a tradução embaixo.
  • Nomes dos falantesOmitidos, antes do texto (Thom: …), como tags de voz do WebVTT (<v Thom>), ou como agentes do TTML (ttm:agent).
  • FormataçãoMantida ou removida.
  • Deslocar temposCada legenda antes ou depois, pelo mesmo intervalo.
  • FaixaWebVTT (wvtt), IMSC 1.1 Texto, IMSC 1.0.1 Texto, ou EBU-TT-D para DVB-DASH: as três últimas TTML (stpp).
  • Duração do segmento2, 4, 6 ou 10 segundos. 6 é o que a Apple recomenda.
  • AparênciaPara uma faixa TTML: branco com contorno preto, ou como a prévia do Subtitld a desenha.

CMFT grava um arquivo: o filme, depois um fragmento para cada segmento. DASH grava o manifesto e, numa pasta ao lado com o nome dele (movie.mpd, movie_segments), o filme como init.mp4 e cada fragmento como 00001.m4s em diante; uma faixa EBU-TT-D acrescenta ao manifesto o perfil do DVB-DASH. Nos dois casos, o relógio conta milissegundos, a faixa fica no idioma do texto gravado, e dura o mesmo que o vídeo, ou que as legendas quando não há vídeo.

Curiosidades

2012

O MPEG-DASH foi publicado como ISO/IEC 23009-1 em abril de 2012, poucos meses depois de o MPEG ratificá-lo.

14496-30

A parte do MPEG-4 que põe WebVTT e TTML em arquivos MP4. Sua primeira edição é de 2014.

.cmft

Os arquivos de faixa do CMAF têm uma extensão que diz o que guardam: .cmfv para vídeo, .cmfa para áudio, .cmft para texto.

Formatos relacionados

Tem um cmft mpd para corrigir?

Abra no Subtitld com o vídeo e reajuste-o na forma de onda.

Baixar o Subtitld