WebVTT in HTTP Live Streaming

AbrirSalvarStreamingWeb

Como o HTTP Live Streaming da Apple leva legendas: uma playlist, e os arquivos WebVTT que ela lista, cada um com alguns segundos do programa. Um player os busca enquanto reproduz, junto com os segmentos do próprio vídeo.

Resumo

Extensão.m3u8
Tipo de mídiaA playlist: application/vnd.apple.mpegurl. Seus segmentos: text/vtt.
EspecificaçãoRFC 8216 (2017), e a HLS Authoring Specification for Apple Devices da Apple. Os segmentos são WebVTT.
Precisão do tempoMilissegundos, nas cues dos segmentos
Codificação do textoUTF-8, tanto na playlist quanto nos segmentos
EstiloO do WebVTT: itálico, negrito, sublinhado, e cores por classe
PosicionamentoAs configurações de cue do WebVTT
FalantesAs tags de voz do WebVTT: <v Thom>
Em contêineresNenhum para WebVTT: arquivos de texto simples num servidor web. Legendas IMSC em HLS vêm em MP4 fragmentado.

Estrutura de uma playlist

Uma lista de segmentos, cada um com sua duração. As legendas estão nos arquivos que ela indica.

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:6
#EXT-X-MEDIA-SEQUENCE:0
#EXT-X-PLAYLIST-TYPE:VOD
#EXTINF:6.000,
movie_segments/segment00000.vtt
#EXTINF:6.000,
movie_segments/segment00001.vtt
#EXTINF:2.000,
movie_segments/segment00002.vtt
#EXT-X-ENDLIST
  1. 1 · Cabeçalho

    #EXTM3U primeiro, sempre. Depois a versão, o número do primeiro segmento, e VOD: um programa cujos segmentos já estão todos lá.

  2. 2 · Duração-alvo

    Segundos inteiros que a duração de nenhum segmento, arredondada, ultrapassa.

  3. 3 · Duração

    Quanto dura o segmento seguinte, em segundos.

  4. 4 · Endereço

    Onde o segmento está: aqui, ao lado da playlist, ou num endereço web.

  5. 5 · Fim

    Não virá mais nada. Uma transmissão ao vivo o omite e continua acrescentando segmentos.

Estrutura de um segmento

Cada segmento é um arquivo WebVTT próprio, com uma linha a mais no cabeçalho.

WEBVTT
X-TIMESTAMP-MAP=LOCAL:00:00:00.000,MPEGTS:900000
 
00:00:04.000 --> 00:00:07.500
<v Celia>You're a jerk,
Thom.
 
00:00:08.000 --> 00:00:09.600
<v Thom><i>Celia!</i>
  1. 1 · Cabeçalho

    WEBVTT, como em qualquer arquivo WebVTT.

  2. 2 · Mapa de tempo

    A que momento do vídeo corresponde um tempo de cue.

  3. 3 · Cues

    Todas as cues mostradas durante o segmento, cada uma com seu tempo inteiro, até a parte fora do segmento.

Este é o segundo segmento, de 6 a 12 segundos. Sua primeira cue começou no primeiro segmento, aos 4 segundos, e está nos dois: um player que comece aqui ainda a mostra.

O mapa de tempo

Os quadros do vídeo levam timestamps MPEG-2, contados num relógio de 90.000 ticks por segundo. O mapa liga os dois relógios:

Parte O que diz
LOCAL:00:00:00.000 Um tempo de cue neste arquivo
MPEGTS:900000 O timestamp do vídeo nesse momento: 900.000 ticks, 10 segundos

Muitos codificadores começam o relógio de um fluxo em 10 segundos, então 900000 é o valor comum. Com o mapa, uma cue em 00:00:04.000 aparece com o quadro marcado 1.260.000. Um segmento sem mapa é lido como se mapeasse 0 em 0.

Um mapa errado desloca todas as legendas. Se o relógio do vídeo começa em 10 segundos e o mapa diz 0, um player mostra as legendas 10 segundos atrasadas, ou nem as mostra. Grave o valor que o codificador do vídeo usou.

Legendas num fluxo completo

A playlist principal de um fluxo lista suas versões (renditions): o vídeo em vários tamanhos, o áudio, e as legendas em cada idioma, cada uma com uma playlist própria.

#EXT-X-MEDIA:TYPE=SUBTITLES,GROUP-ID="subs",NAME="English",LANGUAGE="en",DEFAULT=YES,URI="en.m3u8"
Atributo O que guarda
TYPE SUBTITLES
LANGUAGE O idioma das legendas, como uma tag BCP 47
DEFAULT YES para a que aparece quando o espectador não escolheu nenhuma
URI A playlist própria das legendas, como a de cima

HLS ou um arquivo WebVTT?

Arquivo WebVTT HLS
Arquivos Um Uma playlist e um segmento a cada poucos segundos
Mostrado por O <track> de uma página web, players Players HLS: Safari, iPhone, Apple TV, e o hls.js na web
Ligado ao vídeo por Tempos a partir do início O mapa de tempo, em relação aos timestamps do próprio vídeo
Ao vivo — Segmentos acrescentados enquanto o programa segue

HLS no Subtitld

Mantido nos segmentos
  • Texto e quebras de linha de cada legenda
  • Itálico, negrito, sublinhado e cor, como o WebVTT os mantém
  • Onde ela fica, como configurações de cue
  • Falantes, como tags de voz
  • Início e fim, até o milissegundo
Sem destino
  • O idioma: o Subtitld grava a playlist das legendas, não uma playlist principal que o indique
  • Traduções ao lado do original
  • Dublagens, rostos e cores dos falantes

Salve um projeto .usfx para mantê-los.

Abrindo uma playlist HLS

Abra o arquivo .m3u8. O Subtitld:

  • segue uma playlist principal até as suas legendas: a versão no idioma do projeto, ou então a padrão, ou então a primeira;
  • lê cada segmento que a playlist lista, ao lado dela ou num endereço http ou https, e a parte de um arquivo que um intervalo de bytes indica;
  • lê os segmentos como WebVTT, e desloca cada um pelo seu mapa de tempo, para que o primeiro momento do fluxo seja 0;
  • mantém uma só vez uma cue repetida nos segmentos que ela atravessa, e junta uma cue que um segmentador cortou em duas na borda de um segmento;
  • lê segmentos IMSC em MP4 fragmentado, como o CMAF os leva;
  • usa o idioma da versão como o do projeto.

Um arquivo que não começa com #EXTM3U, ou uma playlist sem legendas, diz isso.

Exportando HLS

Caixa de exportação do Subtitld com HLS escolhido, falantes como tags de voz, segmentos de 6 segundos e o mapa de tempo em MPEGTS 900000

Exportar, depois Legendas e HLS, oferece:

  • TextoO original, uma tradução ou os dois, com a tradução embaixo.
  • Nomes dos falantesOmitidos, antes do texto (Thom: …), ou como tags de voz (<v Thom>).
  • FormataçãoMantida ou removida.
  • Deslocar temposCada legenda antes ou depois, pelo mesmo intervalo.
  • Duração do segmento2, 4, 6 ou 10 segundos. 6 é o que a Apple recomenda.
  • Mapa de tempoMPEGTS:900000, 10 segundos, onde a maioria dos codificadores começa o relógio de um fluxo, ou MPEGTS:0.

O Subtitld grava a playlist, versão 3, e uma pasta ao lado com o nome dela (movie.m3u8, movie_segments) com os segmentos, segment00000.vtt em diante. Todos os segmentos duram o mesmo, exceto o último, e têm o mesmo mapa, então os tempos das cues são os do programa. Os segmentos cobrem toda a duração do vídeo, incluindo os vazios, ou a das legendas quando não há vídeo. Salvar de novo substitui os segmentos na pasta.

Acrescente a playlist à playlist principal do seu fluxo com uma linha #EXT-X-MEDIA:TYPE=SUBTITLES, com o idioma e o endereço dela.

Curiosidades

2009

A Apple lançou o HTTP Live Streaming em maio de 2009. Ele foi publicado como RFC 8216 em agosto de 2017, depois de anos como Internet-Draft.

26.5 h

Quanto tempo o relógio de 90.000 ticks dos timestamps MPEG-2 roda antes de os seus 33 bits voltarem a zero. A RFC 8216 pede que os players lidem com isso quando acontece e os tempos das cues continuam.

6 s

A especificação de autoria da Apple diz que as durações-alvo devem ser de 6 segundos, e que legendas WebVTT precisam ter um mapa de tempo.

Formatos relacionados

Tem um .m3u8 para corrigir?

Abra no Subtitld com o vídeo e reajuste-o na forma de onda.

Baixar o Subtitld