MP4 檔案格式又被稱為 MPEG-4 Part 14，出自 MPEG-4 标準第 14 部分 。它是一種多媒體格式容器，廣泛用于包裝視訊和音頻資料流、海報、字幕和中繼資料等。（順便一提，目前流行的視訊編碼格式 AVC/H264 定義在 MPEG-4 Part 10）。MP4 檔案格式基于 Apple 公司的 QuickTime 格式，是以，QuickTime File Format Specification 也可以作為我們研究 MP4 的重要參考。
作者：張武星
稽核：泰一
MP4 檔案由 box 組成，每個 box 分為 Header 和 Data。其中 Header 部分包含了 box 的類型和大小，Data 包含了子 box 或者資料，box 可以嵌套子 box。
下圖是一個典型 MP4 檔案的基本結構：
圖中看到 MP4 檔案有幾個主要組成部分：
File Type Box，一般在檔案的開始位置，描述的檔案的版本、相容協定等。
Movie Box，包含本檔案中所有媒體資料的宏觀描述資訊以及每路媒體軌道的具體資訊。一般位于 ftyp 之後，也有的視訊放在檔案末尾。注意，當改變 moov 位置時，内部一些值需要重新計算。
Media Data Box，存放具體的媒體資料。
MP4 的媒體資料資訊主要存放在 Moov Box 中，是我們需要分析的重點。moov 的主要組成部分如下：
Movie Header Box，記錄整個媒體檔案的描述資訊，如建立時間、修改時間、時間度量标尺、可播放時長等。
下圖示例中，可以擷取檔案資訊如時長為 3.637 秒。
User Data Box，自定義資料。
Track Box，記錄媒體流資訊，檔案中可以存在一個或多個 track，它們之間是互相獨立的。每個 track 包含以下幾個組成部分：
Track Header Box，包含關于媒體流的頭資訊。
下圖示例中，可以看到流資訊如視訊流寬度 720，長度 1280。
Media Box，這是一個包含 track 媒體資料資訊的 container box。子 box 包括：
mdhd：Media Header Box，存放視訊流建立時間，長度等資訊。
hdlr：Handler Reference Box，媒體的播放過程資訊。
minf：Media Information Box，解釋 track 媒體資料的 handler-specific 資訊。minf 同樣是個 container box，其内部需要關注的内容是 stbl，這也是 moov 中最複雜的部分。
stbl 包含了媒體流每一個 sample 在檔案中的 offset，pts，duration 等資訊。想要播放一個 MP4 檔案，必須根據 stbl 正确找到每個 sample 并送給解碼器。
mdia 展開如下圖所示：
Sample Table Box，上文提到 mdia 中最主要的部分是存放檔案中每個 Sample 資訊的 stbl。在解析 stbl 前，我們需要區分 Chunk 和 Sample 這兩個概念。
在 MP4 檔案中，Sample 是一個媒體流的基本單元，例如視訊流的一個 Sample 代表實際的 nal 資料。Chunk 是資料存儲的基本機關，它是一系列 Sample 資料的集合，一個 Chunk 中可以包含一個或多的 Sample。
stbl 用來描述每個 Sample 的資訊，包含以下幾個主要的子 box：
Sample Description Box，存放解碼必須的描述資訊。
下圖示例中，對于 h264 的視訊流，其具體類型為 <code>avc1</code>，extensions 中存放有 sps，pps 等解碼必要資訊。
Time-to-Sample Box，定義每個 Sample 時長。Time To Sample 的 table entry 布局如下：
Sample count：sample 個數
Sample duration：sample 持續時間
持續時間相同的連續的 Sample 可以放到一個 entry 裡面，以達到節省空間的目的。
下圖示例中，第 1 個 Sample 時間為 33362 微秒，第 2-11 個 Sample 時間為 33363 微秒：
Sync Sample Box，同步 Sample 表，存放關鍵幀清單，關鍵幀是為了支援随機通路。
stss 的 table entry 布局如下：
下圖示例中，該視訊 track 隻有一個關鍵幀即第 1 幀：
Sample-To-Chunk Box，Sample-Chunk 映射表。上文提到 MP4 通常把 Sample 封裝到 Chunk 中，一個 Chunk 可能會包含一個或者幾個 Sample。Sample-To-Chunk Atom 的 table entry 布局如下圖所示：
First chunk：使用該表項的第一個 chunk 序号。
Samples per chunk：使用該表項的 chunk 中包含有幾個 sample。
Sample description ID：使用該表項的 chunk 參考的 stsd 表項序号。
下圖示例中，可以看到該視訊 track 一共有兩個 stsc 表項，Chunk 序列 1-108，每個 Chunk 包含一個 sample，Chunk 序列 109 開始，每個 Chunk 包含兩個 Sample。
Sample Size Box，指定了每個 Sample 的 size。Sample Size Atom 包含兩 Sample 總數和一張包含了每個 Sample Size 的表。
Sample Size 表的 entry 布局如下圖：
下圖示例中，該視訊流一共有 110 個 Sample，第 1 個 Sample 大小為 42072 位元組，第 2 個 Sample 大小為 7354 個位元組。
Chunk Offset Box，指定了每個 Chunk 在檔案中的位置，這個表是确定每個 Sample 在檔案中位置的關鍵。該表包含了 Chunk 個數和一個包含每個 Chunk 在檔案中偏移位置的表。每個表項的記憶體布局如下：
需要注意，這裡 stco 隻是指定的每個 Chunk 在檔案中的偏移位置，并沒有給出每個 Sample 在檔案中的偏移。想要獲得每個 Sample 的偏移位置，需要結合 Sample Size box 和 Sample-To-Chunk 計算後取得。
下圖示例中，該視訊流第 1 個 Chunk 在檔案中的偏移為 4750，第 1 個 Chunk 在檔案中的偏移為 47007。
上文提到通過 stco 并不能直接擷取某個 Sample 的偏移位置，下面舉例說明如何擷取某一個 pts 對應的 Sample 在檔案中的位置。大體需要以下步驟：
将 pts 轉換到媒體對應的時間坐标系。
根據 stts 計算某個 pts 對應的 Sample 序号。
根據 stsc 計算 Sample 序号存放在哪個 Chunk 中。
根據 stco 擷取對應 Chunk 在檔案中的偏移位置。
根據 stsz 擷取 Sample 在 Chunk 内的偏移位置并加上第 4 步擷取的偏移，計算出 Sample 在檔案中的偏移。
例如，想要擷取 3.64 秒視訊 Sample 資料在檔案中的位置：
根據 time scale 參數，将 3.64 秒轉換為視訊時間軸對應的 3640000。
周遊累加下表所示 stts 所有項目，計算得到 3640000 位于第 110 個 Sample。
查詢下表所示 stsc 所有項目，計算得到第 110 個 Sample 位于第 109 個 Chunk，并且在該 Chunk 中位于第 2 個 Sample。
查詢下表所示 stco 所有項目，得到第 109 個 Chunk 在檔案中偏移位置為 1710064。
查詢下表所示 stsz 所有項目，得到第 109 個 Sample 的 size 為 14808。計算得到 3.64 秒視訊 Sample 資料在檔案中：
offset：1710064 + 14808 = 1724872
size：17930
驗證：用編輯器打開 MP4 檔案，定位到檔案偏移 offset = 1724872 的位置，前 4 位元組值為 0x00004606。在 avcc 中一個 Sample 的前 4 個位元組代表這個包的大小，轉換為十進制是 17926，該值正好等于 size = 17930 減去表示長度的四個位元組。
線上 MP4 解析工具
QuickTime File Format Specification
「視訊雲技術」你最值得關注的音視訊技術公衆号，每周推送來自阿裡雲一線的實踐技術文章，在這裡與音視訊領域一流工程師交流切磋。