Text tracks in CMAF and MPEG-DASH

MởLưuPhát trực tuyếnNhị phân

Phụ đề được đóng gói như cách phát trực tuyến đóng gói video: trong các box MP4, cắt thành các mảnh (fragment) dài vài giây. Văn bản bên trong là WebVTT hoặc TTML. Một tệp track CMAF chứa toàn bộ track; một manifest DASH nêu tên các phân đoạn để trình phát tải về.

Tổng quan

Loại phương tiệnTrack: application/mp4. Manifest: application/dash+xml.
Đặc tảCác box: ISO/IEC 14496-30, dựa trên ISO base media file format. Track: CMAF, ISO/IEC 23000-19. Manifest: MPEG-DASH, ISO/IEC 23009-1.
Độ chính xác thời gianTick của đồng hồ track: mili giây trong những gì Subtitld ghi
Mã hóa văn bảnUTF-8, bên trong các box nhị phân
Định kiểuCủa WebVTT, hoặc của TTML theo hồ sơ của nó
Vị tríThiết lập cue của WebVTT, hoặc vùng (region) của TTML
Người nóiThẻ giọng nói của WebVTT, hoặc agent của TTML
Trong vùng chứaChính MP4: cùng track đó có thể nằm cạnh video trong tệp .mp4. HLS cũng nêu tên các phân đoạn CMAF.

Cấu trúc của một track

Không phải văn bản mà là các box: mỗi box có kích thước, bốn chữ cái, và nội dung, một số box chứa box riêng. Một tệp .cmft do Subtitld ghi, phụ đề bằng WebVTT:

ftyp  cmfc · iso6 cmfc cwvt dash
moov
  trak · mdia
    mdhd   1,000 ticks a second · eng
    elng   en
    hdlr   text · WebVTT
    stsd · wvtt · vttC  WEBVTT
  mvex · trex
moof  1 · from 0
mdat  vtte · vttc
moof  2 · from 6000
mdat  vttc · vtte · vttc · vtte
moof  3 · from 12000
mdat  vtte
  1. 1 · Loại tệp

    Tệp là gì: một track CMAF (cmfc) của WebVTT (cwvt), hoặc của IMSC 1.1 (im2t) hay IMSC 1.0.1 (im1t).

  2. 2 · Movie

    Track duy nhất: đồng hồ, ngôn ngữ, handler (text cho WebVTT, subt cho TTML) và loại mẫu của nó, ở đây là WebVTT kèm tiêu đề.

  3. 3 · Mảnh

    Một phân đoạn của track: số thứ tự, thời điểm bắt đầu trên đồng hồ của track, và mỗi mẫu trong đó kéo dài bao lâu.

  4. 4 · Mẫu

    Các phụ đề của mảnh, mẫu này nối tiếp mẫu kia.

Hai cách mang văn bản

WebVTT (wvtt) TTML (stpp)
Mô tả mẫu Tiêu đề của tệp, trong box vttC Namespace của TTML, và một kiểu MIME nêu tên hồ sơ
Một mẫu Các cue hiển thị suốt thời gian của nó Cả một tài liệu TTML
Không có gì trên màn hình Một box cue trống, vtte Một tài liệu không có phụ đề nào trong khoảng thời gian đó
Thời gian Của mỗi mẫu, lấy từ track; không có trong văn bản Trong tài liệu, đếm theo đồng hồ của track
Codec, như DASH và HLS gọi wvtt stpp.ttml.im2t, stpp.ttml.im1t, stpp.ttml.etd1

Một mẫu WebVTT

WebVTT trong MP4 không có thời gian cue riêng. Mỗi khi một cue bắt đầu hoặc kết thúc, một mẫu kết thúc và mẫu tiếp theo bắt đầu, nên một mẫu chứa các cue hiển thị suốt thời gian của nó, mỗi cue trong một box:

Box Nội dung
vttc Một cue
payl Văn bản của nó: <v Celia>You're a jerk, và Thom.
sttg Thiết lập của nó, khi có: line:0
vtte Không có gì để hiển thị trong thời gian của mẫu này

Mảnh thứ hai ở trên, 6 đến 12 giây: cue của Celia, bắt đầu từ 4, đến 7.5; không có gì đến 8; cue của Thom đến 9.6; không có gì đến 12. Một cue trải qua hai mảnh có mặt trong cả hai.

Một mẫu TTML

Mỗi mảnh chứa một tài liệu TTML, với các phụ đề hiển thị trong mảnh đó, cắt theo thời gian của nó. Thời gian trong đó tính từ đầu track, không phải từ đầu mảnh.

<tt xmlns="http://www.w3.org/ns/ttml" … ttp:contentProfiles="http://www.w3.org/ns/ttml/profile/imsc1.1/text" xml:lang="en">
  …
  <p begin="00:00:04.000" end="00:00:06.000" region="bottom">You're a jerk,<br/>Thom.</p>

Đó là mảnh đầu tiên, 0 đến 6 giây: cue từ 4 đến 7.5 kết thúc ở đây lúc 6, và bắt đầu lại lúc 6 trong mảnh tiếp theo.

Hồ sơ Nơi được yêu cầu
IMSC 1.1 Text Các trình phát đọc IMSC 1.1, hồ sơ mới hơn trong hai
IMSC 1.0.1 Text HLS của Apple, gọi nó là stpp.ttml.im1t, và các trình phát cũ hơn
EBU-TT-D Trình phát trực tuyến của các đài truyền hình châu Âu, qua DVB-DASH

Cấu trúc của một manifest DASH

<MPD xmlns="urn:mpeg:dash:schema:mpd:2011" profiles="urn:mpeg:dash:profile:isoff-live:2011" type="static" mediaPresentationDuration="PT14.000S" minBufferTime="PT6S">
  <Period id="1" start="PT0S">
    <AdaptationSet id="1" contentType="text" mimeType="application/mp4" lang="en" segmentAlignment="true">
      <Role schemeIdUri="urn:mpeg:dash:role:2011" value="subtitle"/>
      <SegmentTemplate timescale="1000" duration="6000" startNumber="1" initialization="movie_segments/init.mp4" media="movie_segments/$Number%05d$.m4s"/>
      <Representation id="stpp" codecs="stpp.ttml.im2t" bandwidth="1398"/>
    </AdaptationSet>
  </Period>
</MPD>
Thành phần Ý nghĩa
mediaPresentationDuration Chương trình kéo dài bao lâu
<AdaptationSet> Một track văn bản, theo ngôn ngữ của nó, vai trò là phụ đề
<SegmentTemplate> Các tệp của nó nằm ở đâu: phần khởi tạo, chỉ có box movie, rồi các mảnh, 00001.m4s trở đi, cứ 6 giây một mảnh
codecs Track mang gì: ở đây là IMSC 1.1 Text

Manifest của cả một luồng có video và âm thanh trong các adaptation set khác bên cạnh.

CMAF, DASH hay HLS?

Track CMAF (.cmft) DASH (.mpd) HLS (.m3u8)
Tệp Một Một manifest, rồi movie và mỗi mảnh một tệp Một danh sách phát, rồi mỗi phân đoạn một tệp
Phụ đề WebVTT hoặc TTML trong MP4 WebVTT hoặc TTML trong MP4 Tệp văn bản WebVTT; IMSC trong MP4
Được phát bởi Các bộ đóng gói và trình phát nhận CMAF Trình phát DASH: dash.js, Shaka Player, TV thông minh Trình phát của Apple, hls.js

CMAF và DASH trong Subtitld

Giữ lại trong track
  • Văn bản và ngắt dòng của mọi phụ đề
  • Nghiêng, đậm, gạch chân và màu
  • Vị trí: thiết lập cue, hoặc vùng của TTML
  • Người nói, dưới dạng thẻ giọng nói hoặc agent
  • Ngôn ngữ của văn bản được ghi
  • Thời điểm bắt đầu và kết thúc, đến mili giây
Không có chỗ lưu
  • Bản dịch đặt cạnh bản gốc
  • Lồng tiếng, khuôn mặt và màu của người nói

Lưu một dự án .usfx để giữ chúng.

Mở một track hoặc một manifest

Subtitld mở một tệp .cmft, hoặc một manifest .mpd cùng các tệp nó nêu tên, và:

  • đọc track WebVTT bằng trình đọc WebVTT của Subtitld, và track TTML bằng trình đọc TTML;
  • tìm các mẫu trong mỗi mảnh, hoặc trong bảng mẫu của một MP4 thường;
  • nối một cue tiếp diễn, không đổi, từ mẫu hoặc mảnh này sang mẫu hoặc mảnh sau;
  • đọc một tài liệu TTML đếm thời gian từ đầu mẫu của nó, như một số bộ đóng gói từng ghi;
  • đi theo manifest đến track văn bản theo ngôn ngữ của dự án, nếu không thì track đầu tiên, và các phân đoạn của nó: theo mẫu (template), đánh số hoặc theo thời gian, theo danh sách, hoặc một tệp; nằm cạnh manifest, dưới địa chỉ gốc của nó, hoặc trên máy chủ web;
  • đọc nguyên trạng một tệp WebVTT hoặc TTML mà manifest nêu tên riêng;
  • lấy ngôn ngữ của track làm ngôn ngữ của dự án.

Một tệp không có track WebVTT hay TTML, hoặc bị cắt cụt, sẽ báo như vậy. Một tệp .mp4 được mở như video, không phải track văn bản.

Xuất CMAF và DASH

Hộp thoại xuất của Subtitld với DASH được chọn, một track IMSC 1.1 Text, phân đoạn 6 giây và chữ trắng viền đen

Xuất, rồi Phụ đề và CMFT hoặc DASH, sẽ có các tùy chọn:

  • Văn bảnBản gốc, bản dịch, hoặc cả hai, bản dịch nằm bên dưới.
  • Tên người nóiBỏ đi, đặt trước văn bản (Thom: …), hoặc thẻ giọng nói của WebVTT (<v Thom>), hoặc agent của TTML (ttm:agent).
  • Định kiểuGiữ lại, hoặc bỏ đi.
  • Dịch thời gianMọi phụ đề sớm hơn hoặc muộn hơn cùng một khoảng.
  • TrackWebVTT (wvtt), IMSC 1.1 Text, IMSC 1.0.1 Text, hoặc EBU-TT-D cho DVB-DASH: ba loại sau là TTML (stpp).
  • Độ dài phân đoạn2, 4, 6 hoặc 10 giây. 6 là mức Apple khuyến nghị.
  • Kiểu dángVới track TTML: chữ trắng viền đen, hoặc như bản xem trước của Subtitld vẽ.

CMFT ghi một tệp: movie, rồi một mảnh cho mỗi phân đoạn. DASH ghi manifest và, trong một thư mục cạnh nó mang tên theo nó (movie.mpd, movie_segments), movie là init.mp4 và mỗi mảnh là 00001.m4s trở đi; một track EBU-TT-D thêm hồ sơ của DVB-DASH vào manifest. Dù cách nào, đồng hồ đếm mili giây, track mang ngôn ngữ của văn bản được ghi, và kéo dài bằng video, hoặc bằng phụ đề khi không có video.

Điều thú vị

2012

MPEG-DASH được công bố thành ISO/IEC 23009-1 vào tháng 4 năm 2012, vài tháng sau khi MPEG phê chuẩn nó.

14496-30

Phần của MPEG-4 đưa WebVTT và TTML vào tệp MP4. Ấn bản đầu tiên ra năm 2014.

.cmft

Tệp track của CMAF dùng đuôi cho biết nội dung: .cmfv cho video, .cmfa cho âm thanh, .cmft cho văn bản.

Định dạng liên quan

Bạn có tệp cmft mpd cần sửa?

Mở tệp trong Subtitld cùng video và canh lại thời gian trên dạng sóng.

Tải Subtitld