Text tracks in CMAF and MPEG-DASH
Legendas empacotadas do jeito que o streaming empacota o vídeo: em boxes MP4, cortadas em fragmentos de alguns segundos. O texto dentro é WebVTT ou TTML. Um arquivo de faixa CMAF guarda a faixa inteira; um manifesto DASH indica os segmentos para um player buscar.
Resumo
| Tipo de mídia | A faixa: application/mp4. O manifesto: application/dash+xml. |
|---|---|
| Especificação | Os boxes: ISO/IEC 14496-30, sobre o ISO base media file format. A faixa: CMAF, ISO/IEC 23000-19. O manifesto: MPEG-DASH, ISO/IEC 23009-1. |
| Precisão do tempo | Ticks do relógio da faixa: milissegundos no que o Subtitld grava |
| Codificação do texto | UTF-8, dentro de boxes binários |
| Estilo | O do WebVTT, ou o do TTML no seu perfil |
| Posicionamento | As configurações de cue do WebVTT, ou as regiões do TTML |
| Falantes | As tags de voz do WebVTT, ou os agentes do TTML |
| Em contêineres | O próprio MP4: a mesma faixa pode ficar ao lado do vídeo num .mp4. O HLS também indica segmentos CMAF. |
Estrutura de uma faixa
Não é texto, são boxes: cada um com seu tamanho, quatro letras e o que guarda, alguns com boxes próprios dentro. Um .cmft que o Subtitld grava, com as legendas em WebVTT:
ftyp cmfc · iso6 cmfc cwvt dash moov trak · mdia mdhd 1,000 ticks a second · eng elng en hdlr text · WebVTT stsd · wvtt · vttC WEBVTT mvex · trex moof 1 · from 0 mdat vtte · vttc moof 2 · from 6000 mdat vttc · vtte · vttc · vtte moof 3 · from 12000 mdat vtte
- 1 · Tipo de arquivo
O que o arquivo é: uma faixa CMAF (
cmfc) de WebVTT (cwvt), ou de IMSC 1.1 (im2t) ou IMSC 1.0.1 (im1t). - 2 · Filme
A única faixa: seu relógio, seu idioma, seu handler (
textpara WebVTT,subtpara TTML) e o que são suas amostras, aqui WebVTT com seu cabeçalho. - 3 · Fragmento
Um segmento da faixa: seu número, quando começa no relógio da faixa, e quanto dura cada amostra nele.
- 4 · Amostras
As legendas do fragmento, amostra após amostra.
Dois jeitos de levar o texto
WebVTT (wvtt) |
TTML (stpp) |
|
|---|---|---|
| A descrição da amostra | O cabeçalho do arquivo, num box vttC |
O namespace do TTML, e um tipo MIME que indica o perfil |
| Uma amostra | As cues mostradas durante todo o seu tempo | Um documento TTML inteiro |
| Nada na tela | Um box de cue vazio, vtte |
Um documento sem legenda naquele tempo |
| Tempos | Os de cada amostra, pela faixa; nenhum no texto | No documento, contados no relógio da faixa |
| Codecs, como o DASH e o HLS os chamam | wvtt |
stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1 |
Uma amostra WebVTT
O WebVTT em MP4 não tem tempos de cue próprios. Cada vez que uma cue começa ou termina, uma amostra termina e a próxima começa, então uma amostra guarda as cues mostradas durante todo o seu tempo, cada uma num box:
| Box | O que guarda |
|---|---|
vttc |
Uma cue |
payl |
Seu texto: <v Celia>You're a jerk, e Thom. |
sttg |
Suas configurações, quando tem alguma: line:0 |
vtte |
Nada a mostrar no tempo desta amostra |
O segundo fragmento acima, de 6 a 12 segundos: a cue de Celia, que começou aos 4, até 7,5; nada até 8; a cue de Thom até 9,6; nada até 12. Uma cue que atravessa dois fragmentos está nos dois.
Uma amostra TTML
Cada fragmento guarda um documento TTML, com as legendas mostradas durante ele, cortadas ao seu tempo. Seus tempos contam a partir do início da faixa, não do fragmento.
<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
…
<p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>
Esse é o primeiro fragmento, de 0 a 6 segundos: a cue de 4 a 7,5 termina aqui aos 6, e começa de novo aos 6 no próximo.
| Perfil | Onde é exigido |
|---|---|
| IMSC 1.1 Texto | Players que leem IMSC 1.1, o mais novo dos dois |
| IMSC 1.0.1 Texto | O HLS da Apple, que o chama de stpp.ttml.im1t, e players mais antigos |
| EBU-TT-D | Os players online das emissoras europeias, via DVB-DASH |
Estrutura de um manifesto DASH
<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
<Period id="1" start="PT0S">
<AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
<Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
<SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
<Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
</AdaptationSet>
</Period>
</MPD>
| Parte | O que é |
|---|---|
mediaPresentationDuration |
Quanto dura o programa |
<AdaptationSet> |
Uma faixa de texto, no seu idioma, com o papel de legendas |
<SegmentTemplate> |
Onde estão seus arquivos: a inicialização, só o box do filme, depois os fragmentos, 00001.m4s em diante, um a cada 6 segundos |
codecs |
O que a faixa leva: aqui, IMSC 1.1 Texto |
O manifesto de um fluxo completo tem o vídeo e o áudio em outros adaptation sets ao lado.
CMAF, DASH ou HLS?
Faixa CMAF (.cmft) |
DASH (.mpd) |
HLS (.m3u8) |
|
|---|---|---|---|
| Arquivos | Um | Um manifesto, depois o filme e um arquivo por fragmento | Uma playlist, depois um arquivo por segmento |
| As legendas | WebVTT ou TTML em MP4 | WebVTT ou TTML em MP4 | Arquivos de texto WebVTT; IMSC em MP4 |
| Reproduzido por | Empacotadores e players que aceitam CMAF | Players DASH: dash.js, Shaka Player, smart TVs | Os players da Apple, hls.js |
CMAF e DASH no Subtitld
- Texto e quebras de linha de cada legenda
- Itálico, negrito, sublinhado e cor
- Onde ela fica: configurações de cue, ou as regiões do TTML
- Falantes, como tags de voz ou agentes
- O idioma do texto gravado
- Início e fim, até o milissegundo
- Traduções ao lado do original
- Dublagens, rostos e cores dos falantes
Salve um projeto .usfx para mantê-los.
Abrindo uma faixa ou um manifesto
O Subtitld abre um arquivo .cmft, ou um manifesto .mpd e os arquivos que ele indica, e:
- lê faixas WebVTT com o leitor de WebVTT do Subtitld, e faixas TTML com o de TTML;
- encontra as amostras em cada fragmento, ou na tabela de amostras de um MP4 comum;
- junta uma cue que continua, igual, de uma amostra ou fragmento para o seguinte;
- lê um documento TTML que conta os tempos a partir do início da sua amostra, como alguns empacotadores já o gravaram;
- segue um manifesto até a sua faixa de texto no idioma do projeto, ou então a primeira, e seus segmentos: por template, numerados ou temporizados, por lista, ou um arquivo só; ao lado dele, sob o seu endereço base, ou num servidor web;
- lê como está um arquivo WebVTT ou TTML que um manifesto indica sozinho;
- usa o idioma da faixa como o do projeto.
Um arquivo sem faixa WebVTT ou TTML, ou um cortado no meio, diz isso. Um arquivo .mp4 abre como vídeo, não como faixa de texto.
Exportando CMAF e DASH
Exportar, depois Legendas e CMFT ou DASH, oferece:
- TextoO original, uma tradução ou os dois, com a tradução embaixo.
- Nomes dos falantesOmitidos, antes do texto (Thom: …), como tags de voz do WebVTT (
<v Thom>), ou como agentes do TTML (ttm:agent). - FormataçãoMantida ou removida.
- Deslocar temposCada legenda antes ou depois, pelo mesmo intervalo.
- FaixaWebVTT (
wvtt), IMSC 1.1 Texto, IMSC 1.0.1 Texto, ou EBU-TT-D para DVB-DASH: as três últimas TTML (stpp). - Duração do segmento2, 4, 6 ou 10 segundos. 6 é o que a Apple recomenda.
- AparênciaPara uma faixa TTML: branco com contorno preto, ou como a prévia do Subtitld a desenha.
CMFT grava um arquivo: o filme, depois um fragmento para cada segmento. DASH grava o manifesto e, numa pasta ao lado com o nome dele (movie.mpd, movie_segments), o filme como init.mp4 e cada fragmento como 00001.m4s em diante; uma faixa EBU-TT-D acrescenta ao manifesto o perfil do DVB-DASH. Nos dois casos, o relógio conta milissegundos, a faixa fica no idioma do texto gravado, e dura o mesmo que o vídeo, ou que as legendas quando não há vídeo.
Curiosidades
O MPEG-DASH foi publicado como ISO/IEC 23009-1 em abril de 2012, poucos meses depois de o MPEG ratificá-lo.
A parte do MPEG-4 que põe WebVTT e TTML em arquivos MP4. Sua primeira edição é de 2014.
Os arquivos de faixa do CMAF têm uma extensão que diz o que guardam: .cmfv para vídeo, .cmfa para áudio, .cmft para texto.
Formatos relacionados
Abra no Subtitld com o vídeo e reajuste-o na forma de onda.