Text tracks in CMAF and MPEG-DASH
Subtitle yang dikemas seperti streaming mengemas video: dalam box MP4, dipotong menjadi fragmen beberapa detik. Teks di dalamnya berupa WebVTT atau TTML. Berkas trek CMAF memuat seluruh trek; manifest DASH menamai segmen-segmennya untuk diambil pemutar.
Sekilas
| Tipe media | Trek: application/mp4. Manifest: application/dash+xml. |
|---|---|
| Spesifikasi | Box-nya: ISO/IEC 14496-30, di atas ISO base media file format. Treknya: CMAF, ISO/IEC 23000-19. Manifest-nya: MPEG-DASH, ISO/IEC 23009-1. |
| Presisi waktu | Tick jam trek: milidetik pada yang ditulis Subtitld |
| Encoding teks | UTF-8, di dalam box biner |
| Gaya | Milik WebVTT, atau milik TTML dalam profilnya |
| Posisi | Pengaturan cue WebVTT, atau region TTML |
| Pembicara | Tag suara WebVTT, atau agen TTML |
| Dalam kontainer | MP4 itu sendiri: trek yang sama dapat berada di samping video dalam .mp4. HLS juga menamai segmen CMAF. |
Anatomi trek
Bukan teks, melainkan box: masing-masing dengan ukurannya, empat huruf, dan isinya, sebagian memuat box lain. Sebuah .cmft yang ditulis Subtitld, dengan subtitle dalam WebVTT:
ftyp cmfc · iso6 cmfc cwvt dash moov trak · mdia mdhd 1,000 ticks a second · eng elng en hdlr text · WebVTT stsd · wvtt · vttC WEBVTT mvex · trex moof 1 · from 0 mdat vtte · vttc moof 2 · from 6000 mdat vttc · vtte · vttc · vtte moof 3 · from 12000 mdat vtte
- 1 · Jenis berkas
Apa berkas ini: trek CMAF (
cmfc) berisi WebVTT (cwvt), atau IMSC 1.1 (im2t), atau IMSC 1.0.1 (im1t). - 2 · Movie
Satu-satunya trek: jamnya, bahasanya, handler-nya (
textuntuk WebVTT,subtuntuk TTML), dan jenis sample-nya, di sini WebVTT dengan header-nya. - 3 · Fragmen
Satu segmen trek: nomornya, kapan ia dimulai menurut jam trek, dan berapa lama setiap sample di dalamnya.
- 4 · Sample
Subtitle dalam fragmen, sample demi sample.
Dua cara membawa teks
WebVTT (wvtt) |
TTML (stpp) |
|
|---|---|---|
| Deskripsi sample | Header berkas, di dalam box vttC |
Namespace TTML, dan tipe MIME yang menamai profilnya |
| Sebuah sample | Cue yang tampil sepanjang waktunya | Satu dokumen TTML utuh |
| Layar kosong | Box cue kosong, vtte |
Dokumen tanpa subtitle pada waktu itu |
| Waktu | Milik setiap sample, dari trek; tidak ada di teks | Di dalam dokumen, dihitung dengan jam trek |
| Codec, seperti dinamai DASH dan HLS | wvtt |
stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1 |
Sample WebVTT
WebVTT di MP4 tidak memiliki waktu cue sendiri. Setiap kali sebuah cue dimulai atau berakhir, sebuah sample berakhir dan yang berikutnya dimulai, sehingga sebuah sample memuat cue yang tampil sepanjang waktunya, masing-masing dalam sebuah box:
| Box | Isinya |
|---|---|
vttc |
Satu cue |
payl |
Teksnya: <v Celia>You're a jerk, dan Thom. |
sttg |
Pengaturannya, bila ada: line:0 |
vtte |
Tidak ada yang ditampilkan selama waktu sample ini |
Fragmen kedua di atas, detik 6 sampai 12: cue Celia, yang dimulai pada 4, sampai 7,5; kosong sampai 8; cue Thom sampai 9,6; kosong sampai 12. Cue yang melintasi dua fragmen ada di keduanya.
Sample TTML
Setiap fragmen memuat satu dokumen TTML, dengan subtitle yang tampil selama fragmen itu, dipotong sesuai waktunya. Waktunya dihitung dari awal trek, bukan dari awal fragmen.
<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
…
<p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>
Itu fragmen pertama, detik 0 sampai 6: cue dari 4 sampai 7,5 berakhir di sini pada 6, dan dimulai lagi pada 6 di fragmen berikutnya.
| Profil | Siapa yang memintanya |
|---|---|
| IMSC 1.1 Text | Pemutar yang membaca IMSC 1.1, yang lebih baru dari keduanya |
| IMSC 1.0.1 Text | HLS dari Apple, yang menamainya stpp.ttml.im1t, dan pemutar yang lebih lama |
| EBU-TT-D | Pemutar daring penyiar Eropa, lewat DVB-DASH |
Anatomi manifest DASH
<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
<Period id="1" start="PT0S">
<AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
<Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
<SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
<Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
</AdaptationSet>
</Period>
</MPD>
| Bagian | Artinya |
|---|---|
mediaPresentationDuration |
Berapa lama program berlangsung |
<AdaptationSet> |
Sebuah trek teks, dalam bahasanya, dengan role subtitle |
<SegmentTemplate> |
Letak berkas-berkasnya: inisialisasi, yaitu box movie saja, lalu fragmen-fragmen, 00001.m4s dan seterusnya, satu setiap 6 detik |
codecs |
Isi trek: di sini IMSC 1.1 Text |
Manifest sebuah stream lengkap memuat video dan audio di adaptation set lain di sampingnya.
CMAF, DASH, atau HLS?
Trek CMAF (.cmft) |
DASH (.mpd) |
HLS (.m3u8) |
|
|---|---|---|---|
| Berkas | Satu | Sebuah manifest, lalu movie dan satu berkas per fragmen | Sebuah playlist, lalu satu berkas per segmen |
| Subtitle | WebVTT atau TTML dalam MP4 | WebVTT atau TTML dalam MP4 | Berkas teks WebVTT; IMSC dalam MP4 |
| Diputar oleh | Packager dan pemutar yang menerima CMAF | Pemutar DASH: dash.js, Shaka Player, smart TV | Pemutar Apple, hls.js |
CMAF dan DASH di Subtitld
- Teks dan pemisah baris setiap subtitle
- Miring, tebal, garis bawah, dan warna
- Letaknya: pengaturan cue, atau region TTML
- Pembicara, sebagai tag suara atau agen
- Bahasa teks yang ditulis
- Awal dan akhir, hingga milidetik
- Terjemahan di samping aslinya
- Dubbing, wajah dan warna pembicara
Simpan proyek .usfx untuk menyimpannya.
Membuka trek atau manifest
Subtitld membuka berkas .cmft, atau manifest .mpd beserta berkas yang dinamainya, lalu:
- membaca trek WebVTT dengan pembaca WebVTT Subtitld, dan trek TTML dengan pembaca TTML-nya;
- menemukan sample di setiap fragmen, atau di tabel sample MP4 biasa;
- menyambung cue yang berlanjut, tanpa berubah, dari satu sample atau fragmen ke berikutnya;
- membaca dokumen TTML yang menghitung waktunya dari awal sample-nya, seperti yang dulu ditulis sebagian packager;
- mengikuti manifest ke trek teksnya dalam bahasa proyek, atau bila tidak ada, yang pertama, beserta segmen-segmennya: lewat template, bernomor atau berwaktu, lewat daftar, atau satu berkas; di sampingnya, di bawah alamat dasarnya, atau di server web;
- membaca berkas WebVTT atau TTML yang dinamai manifest secara tersendiri, apa adanya;
- mengambil bahasa trek sebagai bahasa proyek.
Berkas tanpa trek WebVTT atau TTML, atau yang terpotong, akan diberi tahu. Berkas .mp4 dibuka sebagai video, bukan sebagai trek teks.
Mengekspor CMAF dan DASH
Ekspor, lalu Subtitle dan CMFT atau DASH, menawarkan:
- TeksAsli, terjemahan, atau keduanya, dengan terjemahan di bawah.
- Nama pembicaraDihilangkan, di depan teks (Thom: …), sebagai tag suara WebVTT (
<v Thom>), atau sebagai agen TTML (ttm:agent). - PemformatanDipertahankan, atau dihapus.
- Geser waktuSetiap subtitle lebih cepat atau lebih lambat dengan jumlah yang sama.
- TrekWebVTT (
wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text, atau EBU-TT-D untuk DVB-DASH: tiga yang terakhir TTML (stpp). - Panjang segmen2, 4, 6, atau 10 detik. 6 adalah anjuran Apple.
- LookUntuk trek TTML: putih dengan garis tepi hitam, atau seperti yang digambar pratinjau Subtitld.
CMFT menulis satu berkas: movie, lalu satu fragmen untuk setiap segmen. DASH menulis manifest dan, di folder di sampingnya yang dinamai menurutnya (movie.mpd, movie_segments), movie sebagai init.mp4 dan setiap fragmen sebagai 00001.m4s dan seterusnya; trek EBU-TT-D menambahkan profil DVB-DASH ke manifest. Dalam kedua cara, jamnya menghitung milidetik, treknya dalam bahasa teks yang ditulis, dan panjangnya sepanjang video, atau sepanjang subtitle bila tidak ada video.
Trivia
MPEG-DASH diterbitkan sebagai ISO/IEC 23009-1 pada April 2012, beberapa bulan setelah MPEG mengesahkannya.
Bagian MPEG-4 yang memasukkan WebVTT dan TTML ke berkas MP4. Edisi pertamanya terbit pada 2014.
Berkas trek CMAF memakai ekstensi yang menyatakan isinya: .cmfv untuk video, .cmfa untuk audio, .cmft untuk teks.
Format terkait
Buka di Subtitld bersama videonya, lalu atur waktunya pada bentuk gelombang.