WebVTT in HTTP Live Streaming
Como o HTTP Live Streaming da Apple leva legendas: uma playlist, e os arquivos WebVTT que ela lista, cada um com alguns segundos do programa. Um player os busca enquanto reproduz, junto com os segmentos do próprio vídeo.
Resumo
| Extensão | .m3u8 |
|---|---|
| Tipo de mídia | A playlist: application/vnd.apple.mpegurl. Seus segmentos: text/vtt. |
| Especificação | RFC 8216 (2017), e a HLS Authoring Specification for Apple Devices da Apple. Os segmentos são WebVTT. |
| Precisão do tempo | Milissegundos, nas cues dos segmentos |
| Codificação do texto | UTF-8, tanto na playlist quanto nos segmentos |
| Estilo | O do WebVTT: itálico, negrito, sublinhado, e cores por classe |
| Posicionamento | As configurações de cue do WebVTT |
| Falantes | As tags de voz do WebVTT: <v Thom> |
| Em contêineres | Nenhum para WebVTT: arquivos de texto simples num servidor web. Legendas IMSC em HLS vêm em MP4 fragmentado. |
Estrutura de uma playlist
Uma lista de segmentos, cada um com sua duração. As legendas estão nos arquivos que ela indica.
#EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:6 #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-PLAYLIST-TYPE:VOD #EXTINF:6.000, movie_segments/segment00000.vtt #EXTINF:6.000, movie_segments/segment00001.vtt #EXTINF:2.000, movie_segments/segment00002.vtt #EXT-X-ENDLIST
- 1 · Cabeçalho
#EXTM3Uprimeiro, sempre. Depois a versão, o número do primeiro segmento, eVOD: um programa cujos segmentos já estão todos lá. - 2 · Duração-alvo
Segundos inteiros que a duração de nenhum segmento, arredondada, ultrapassa.
- 3 · Duração
Quanto dura o segmento seguinte, em segundos.
- 4 · Endereço
Onde o segmento está: aqui, ao lado da playlist, ou num endereço web.
- 5 · Fim
Não virá mais nada. Uma transmissão ao vivo o omite e continua acrescentando segmentos.
Estrutura de um segmento
Cada segmento é um arquivo WebVTT próprio, com uma linha a mais no cabeçalho.
WEBVTT X-TIMESTAMP-MAP=LOCAL:00:00:00.000,MPEGTS:900000 00:00:04.000 --> 00:00:07.500 <v Celia>You're a jerk, Thom. 00:00:08.000 --> 00:00:09.600 <v Thom><i>Celia!</i>
- 1 · Cabeçalho
WEBVTT, como em qualquer arquivo WebVTT. - 2 · Mapa de tempo
A que momento do vídeo corresponde um tempo de cue.
- 3 · Cues
Todas as cues mostradas durante o segmento, cada uma com seu tempo inteiro, até a parte fora do segmento.
Este é o segundo segmento, de 6 a 12 segundos. Sua primeira cue começou no primeiro segmento, aos 4 segundos, e está nos dois: um player que comece aqui ainda a mostra.
O mapa de tempo
Os quadros do vídeo levam timestamps MPEG-2, contados num relógio de 90.000 ticks por segundo. O mapa liga os dois relógios:
| Parte | O que diz |
|---|---|
LOCAL:00:00:00.000 |
Um tempo de cue neste arquivo |
MPEGTS:900000 |
O timestamp do vídeo nesse momento: 900.000 ticks, 10 segundos |
Muitos codificadores começam o relógio de um fluxo em 10 segundos, então 900000 é o valor comum. Com o mapa, uma cue em 00:00:04.000 aparece com o quadro marcado 1.260.000. Um segmento sem mapa é lido como se mapeasse 0 em 0.
Um mapa errado desloca todas as legendas. Se o relógio do vídeo começa em 10 segundos e o mapa diz 0, um player mostra as legendas 10 segundos atrasadas, ou nem as mostra. Grave o valor que o codificador do vídeo usou.
Legendas num fluxo completo
A playlist principal de um fluxo lista suas versões (renditions): o vídeo em vários tamanhos, o áudio, e as legendas em cada idioma, cada uma com uma playlist própria.
#EXT-X-MEDIA:TYPE=SUBTITLES,GROUP-ID="subs",NAME="English",LANGUAGE="en",DEFAULT=YES,URI="en.m3u8"
| Atributo | O que guarda |
|---|---|
TYPE |
SUBTITLES |
LANGUAGE |
O idioma das legendas, como uma tag BCP 47 |
DEFAULT |
YES para a que aparece quando o espectador não escolheu nenhuma |
URI |
A playlist própria das legendas, como a de cima |
HLS ou um arquivo WebVTT?
| Arquivo WebVTT | HLS | |
|---|---|---|
| Arquivos | Um | Uma playlist e um segmento a cada poucos segundos |
| Mostrado por | O <track> de uma página web, players |
Players HLS: Safari, iPhone, Apple TV, e o hls.js na web |
| Ligado ao vídeo por | Tempos a partir do início | O mapa de tempo, em relação aos timestamps do próprio vídeo |
| Ao vivo | — | Segmentos acrescentados enquanto o programa segue |
HLS no Subtitld
- Texto e quebras de linha de cada legenda
- Itálico, negrito, sublinhado e cor, como o WebVTT os mantém
- Onde ela fica, como configurações de cue
- Falantes, como tags de voz
- Início e fim, até o milissegundo
- O idioma: o Subtitld grava a playlist das legendas, não uma playlist principal que o indique
- Traduções ao lado do original
- Dublagens, rostos e cores dos falantes
Salve um projeto .usfx para mantê-los.
Abrindo uma playlist HLS
Abra o arquivo .m3u8. O Subtitld:
- segue uma playlist principal até as suas legendas: a versão no idioma do projeto, ou então a padrão, ou então a primeira;
- lê cada segmento que a playlist lista, ao lado dela ou num endereço
httpouhttps, e a parte de um arquivo que um intervalo de bytes indica; - lê os segmentos como WebVTT, e desloca cada um pelo seu mapa de tempo, para que o primeiro momento do fluxo seja 0;
- mantém uma só vez uma cue repetida nos segmentos que ela atravessa, e junta uma cue que um segmentador cortou em duas na borda de um segmento;
- lê segmentos IMSC em MP4 fragmentado, como o CMAF os leva;
- usa o idioma da versão como o do projeto.
Um arquivo que não começa com #EXTM3U, ou uma playlist sem legendas, diz isso.
Exportando HLS
Exportar, depois Legendas e HLS, oferece:
- TextoO original, uma tradução ou os dois, com a tradução embaixo.
- Nomes dos falantesOmitidos, antes do texto (Thom: …), ou como tags de voz (
<v Thom>). - FormataçãoMantida ou removida.
- Deslocar temposCada legenda antes ou depois, pelo mesmo intervalo.
- Duração do segmento2, 4, 6 ou 10 segundos. 6 é o que a Apple recomenda.
- Mapa de tempo
MPEGTS:900000, 10 segundos, onde a maioria dos codificadores começa o relógio de um fluxo, ouMPEGTS:0.
O Subtitld grava a playlist, versão 3, e uma pasta ao lado com o nome dela (movie.m3u8, movie_segments) com os segmentos, segment00000.vtt em diante. Todos os segmentos duram o mesmo, exceto o último, e têm o mesmo mapa, então os tempos das cues são os do programa. Os segmentos cobrem toda a duração do vídeo, incluindo os vazios, ou a das legendas quando não há vídeo. Salvar de novo substitui os segmentos na pasta.
Acrescente a playlist à playlist principal do seu fluxo com uma linha #EXT-X-MEDIA:TYPE=SUBTITLES, com o idioma e o endereço dela.
Curiosidades
A Apple lançou o HTTP Live Streaming em maio de 2009. Ele foi publicado como RFC 8216 em agosto de 2017, depois de anos como Internet-Draft.
Quanto tempo o relógio de 90.000 ticks dos timestamps MPEG-2 roda antes de os seus 33 bits voltarem a zero. A RFC 8216 pede que os players lidem com isso quando acontece e os tempos das cues continuam.
A especificação de autoria da Apple diz que as durações-alvo devem ser de 6 segundos, e que legendas WebVTT precisam ter um mapa de tempo.
Formatos relacionados
Abra no Subtitld com o vídeo e reajuste-o na forma de onda.