HLS，Http Live Streaming 是由Apple公司定義的用于實時流傳輸的協定，HLS基于HTTP協定實作，傳輸内容包括兩部分，一是M3U8描述檔案，二是TS媒體檔案。
1、M3U8檔案
用文本方式對媒體檔案進行描述，由一系列标簽組成。
#EXTM3U
#EXT-X-TARGETDURATION:5
#EXTINF:5,
./0.ts
#EXTINF:5,
./1.ts
#EXTM3U：每個M3U8檔案第一行必須是這個tag。
#EXT-X-TARGETDURATION：指定最大的媒體段時間長度（秒），#EXTINF中指定的時間長度必須小于或等于這個最大值。該值隻能出現一次。
#EXTINF：描述單個媒體檔案的長度。後面為媒體檔案，如./0.ts
2、ts檔案
ts檔案為傳輸流檔案，視訊編碼主要格式h264/mpeg4，音頻為acc/MP3。
ts檔案分為三層：ts層Transport Stream、pes層 Packet Elemental Stream、es層 Elementary Stream. es層就是音視訊資料，pes層是在音視訊資料上加了時間戳等對資料幀的說明資訊，ts層就是在pes層加入資料流的識别和傳輸必須的資訊
注： 詳解如下
（1）ts層 ts包大小固定為188位元組，ts層分為三個部分：ts header、adaptation field、payload。ts header固定4個位元組；adaptation field可能存在也可能不存在，主要作用是給不足188位元組的資料做填充；payload是pes資料。
ts header
| sync_byte | 8b | 同步位元組，固定為0x47 |
| transport_error_indicator | 1b | 傳輸錯誤訓示符，表明在ts頭的adapt域後由一個無用位元組，通常都為0，這個位元組算在adapt域長度内 |
| payload_unit_start_indicator | 1b | 負載單元起始标示符，一個完整的資料包開始時标記為1 |
| transport_priority | 1b | 傳輸優先級，0為低優先級，1為高優先級，通常取0 |
| pid | 13b | pid值 |
| transport_scrambling_control | 2b | 傳輸加擾控制，00表示未加密 |
| adaptation_field_control | 2b | 是否包含自适應區，‘00’保留；‘01’為無自适應域，僅含有效負載；‘10’為僅含自适應域，無有效負載；‘11’為同時帶有自适應域和有效負載。 |
| continuity_counter | 4b | 遞增計數器，從0-f，起始值不一定取0，但必須是連續的 |
ts層的内容是通過PID值來辨別的，主要内容包括：PAT表、PMT表、音頻流、視訊流。解析ts流要先找到PAT表，隻要找到PAT就可以找到PMT，然後就可以找到音視訊流了。PAT表的PID值固定為0。PAT表和PMT表需要定期插入ts流，因為使用者随時可能加入ts流，這個間隔比較小，通常每隔幾個視訊幀就要加入PAT和PMT。PAT和PMT表是必須的，還可以加入其它表如SDT（業務描述表）等，不過hls流隻要有PAT和PMT就可以播放了。
- PAT表：他主要的作用就是指明了PMT表的PID值。
- PMT表：他主要的作用就是指明了音視訊流的PID值。
- 音頻流/視訊流：承載音視訊内容。
adaption
| adaptation_field_length | 1B | 自适應域長度，後面的位元組數 |
| flag | 1B | 取0x50表示包含PCR或0x40表示不包含PCR |
| PCR | 5B | Program Clock Reference，節目時鐘參考，用于恢複出與編碼端一緻的系統時序時鐘STC（System Time Clock）。 |
| stuffing_bytes | xB | 填充位元組，取值0xff |
自适應區的長度要包含傳輸錯誤訓示符辨別的一個位元組。pcr是節目時鐘參考，pcr、dts、pts都是對同一個系統時鐘的采樣值，pcr是遞增的，是以可以将其設定為dts值，音頻資料不需要pcr。如果沒有字段，ipad是可以播放的，但vlc無法播放。打包ts流時PAT和PMT表是沒有adaptation field的，不夠的長度直接補0xff即可。視訊流和音頻流都需要加adaptation field，通常加在一個幀的第一個ts包和最後一個ts包裡，中間的ts包不加。
PAT格式
| table_id | 8b | PAT表固定為0x00 |
| section_syntax_indicator | 1b | 固定為1 |
| zero | 1b | 固定為0 |
| reserved | 2b | 固定為11 |
| section_length | 12b | 後面資料的長度 |
| transport_stream_id | 16b | 傳輸流ID，固定為0x0001 |
| reserved | 2b | 固定為11 |
| version_number | 5b | 版本号，固定為00000，如果PAT有變化則版本号加1 |
| current_next_indicator | 1b | 固定為1，表示這個PAT表可以用，如果為0則要等待下一個PAT表 |
| section_number | 8b | 固定為0x00 |
| last_section_number | 8b | 固定為0x00 |
| 開始循環 | ||
| program_number | 16b | 節目号為0x0000時表示這是NIT，節目号為0x0001時,表示這是PMT |
| reserved | 3b | 固定為111 |
| PID | 13b | 節目号對應内容的PID值 |
| 結束循環 | ||
| CRC32 | 32b | 前面資料的CRC32校驗碼 |
PMT格式
| table_id | 8b | PMT表取值随意，0x02 |
| section_syntax_indicator | 1b | 固定為1 |
| zero | 1b | 固定為0 |
| reserved | 2b | 固定為11 |
| section_length | 12b | 後面資料的長度 |
| program_number | 16b | 頻道号碼，表示目前的PMT關聯到的頻道，取值0x0001 |
| reserved | 2b | 固定為11 |
| version_number | 5b | 版本号，固定為00000，如果PAT有變化則版本号加1 |
| current_next_indicator | 1b | 固定為1 |
| section_number | 8b | 固定為0x00 |
| last_section_number | 8b | 固定為0x00 |
| reserved | 3b | 固定為111 |
| PCR_PID | 13b | PCR(節目參考時鐘)所在TS分組的PID，指定為視訊PID |
| reserved | 4b | 固定為1111 |
| program_info_length | 12b | 節目描述資訊，指定為0x000表示沒有 |
| 開始循環 | ||
| stream_type | 8b | 流類型，标志是Video還是Audio還是其他資料，h.264編碼對應0x1b，aac編碼對應0x0f，mp3編碼對應0x03 |
| reserved | 3b | 固定為111 |
| elementary_PID | 13b | 與stream_type對應的PID |
| reserved | 4b | 固定為1111 |
| ES_info_length | 12b | 描述資訊，指定為0x000表示沒有 |
| 結束循環 | ||
| CRC32 | 32b | 前面資料的CRC32校驗碼 |
（2）pes層
pes層是在每一個視訊/音頻幀上加入了時間戳等資訊，pes包内容很多，我們隻留下最常用的。
| pes start code | 3B | 開始碼，固定為0x000001 |
| stream id | 1B | 音頻取值（0xc0-0xdf），通常為0xc0 視訊取值（0xe0-0xef），通常為0xe0 |
| pes packet length | 2B | 後面pes資料的長度，0表示長度不限制， 隻有視訊資料長度會超過0xffff |
| flag | 1B | 通常取值0x80，表示資料不加密、無優先級、備份的資料 |
| flag | 1B | 取值0x80表示隻含有pts，取值0xc0表示含有pts和dts |
| pes data length | 1B | 後面資料的長度，取值5或10 |
| pts | 5B | 33bit值 |
| dts | 5B | 33bit值 |
pts是顯示時間戳、dts是解碼時間戳，視訊資料兩種時間戳都需要，音頻資料的pts和dts相同，是以隻需要pts。有pts和dts兩種時間戳是B幀引起的，I幀和P幀的pts等于dts。如果一個視訊沒有B幀，則pts永遠和dts相同。從檔案中順序讀取視訊幀，取出的幀順序和dts順序相同。dts算法比較簡單，初始值 + 增量即可，pts計算比較複雜，需要在dts的基礎上加偏移量。
音頻的pes中隻有pts（同dts），視訊的I、P幀兩種時間戳都要有，視訊B幀隻要pts（同dts）。打包pts和dts就需要知道視訊幀類型，但是通過容器格式我們是無法判斷幀類型的，必須解析h.264内容才可以擷取幀類型。
舉例說明：
I P B B B P
讀取順序： 1 2 3 4 5 6
dts順序： 1 2 3 4 5 6
pts順序： 1 5 3 2 4 6
點播視訊dts算法：
dts = 初始值 + 90000 / video_frame_rate，初始值可以随便指定，但是最好不要取0，video_frame_rate就是幀率，比如23、30。
pts和dts是以timescale為機關的，1s = 90000 time scale , 一幀就應該是90000/video_frame_rate 個timescale。
用一幀的timescale除以采樣頻率就可以轉換為一幀的播放時長
點播音頻dts算法：
dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame這個值與編解碼相關，aac取值1024，mp3取值1158，audio_sample_rate是采樣率，比如24000、41000。AAC一幀解碼出來是每聲道1024個sample，也就是說一幀的時長為1024/sample_rate秒。是以每一幀時間戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。
直播視訊的dts和pts應該直接用直播資料流中的時間，不應該按公式計算。
（3）es層
es層指的就是音視訊資料，我們隻介紹h.264視訊和aac音頻。
h.264視訊：
打包h.264資料我們必須給視訊資料加上一個nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定為0x00000001（幀開始）或0x000001（幀中）。h.264的資料是由slice組成的，slice的内容包括：視訊、sps、pps等。nalu type決定了後面的h.264資料内容。
| F | 1b | forbidden_zero_bit，h.264規定必須取0 |
| NRI | 2b | nal_ref_idc，取值0~3，訓示這個nalu的重要性，I幀、sps、pps通常取3，P幀通常取2，B幀通常取0 |
| Type | 5b | 參考下表 |
| nal_unit_type | 說明 |
| 未使用 | |
| 1 | 非IDR圖像片，IDR指關鍵幀 |
| 2 | 片分區A |
| 3 | 片分區B |
| 4 | 片分區C |
| 5 | IDR圖像片，即關鍵幀 |
| 6 | 補充增強資訊單元(SEI) |
| 7 | SPS序列參數集 |
| 8 | PPS圖像參數集 |
| 9 | 分解符 |
| 10 | 序列結束 |
| 11 | 碼流結束 |
| 12 | 填充 |
| 13~23 | 保留 |
| 24~31 | 未使用 |
紅色字型顯示的内容是最常用的，打包es層資料時pes頭和es資料之間要加入一個type=9的nalu，關鍵幀slice前必須要加入type=7和type=8的nalu，而且是緊鄰。
aac音頻：
打包aac音頻必須加上一個adts(Audio Data Transport Stream)頭，共7Byte，adts包括fixed_header和variable_header兩部分，各28bit。
fixed_header
| syncword | 12b | 固定為0xfff |
| id | 1b | 0表示MPEG-4，1表示MPEG-2 |
| layer | 2b | 固定為00 |
| protection_absent | 1b | 固定為1 |
| profile | 2b | 取值0~3,1表示aac |
| sampling_frequency_index | 4b | 表示采樣率，0: 96000 Hz，1: 88200 Hz，2: 64000 Hz，3：48000 Hz，4: 44100 Hz，5: 32000 Hz，6: 24000 Hz，7: 22050 Hz，8: 16000 Hz，9: 12000 Hz，10: 11025 Hz，11: 8000 Hz，12: 7350 Hz |
| private_bit | 1b | 固定為0 |
| channel_configuration | 3b | 取值0~7，1: 1 channel: front-center，2: 2 channels: front-left, front-right，3: 3 channels: front-center, front-left, front-right，4: 4 channels: front-center, front-left, front-right, back-center |
| original_copy | 1b | 固定為0 |
| home | 1b | 固定為0 |
variable_header
| copyright_identification_bit | 1b | 固定為0 |
| copyright_identification_start | 1b | 固定為0 |
| aac_frame_length | 13b | 包括adts頭在内的音頻資料總長度 |
| adts_buffer_fullness | 11b | 固定為0x7ff |
| number_of_raw_data_blocks_in_frame | 2b | 固定為00 |
mp3音頻：
mp3音頻不需要加adts頭。
6.h264幀類型判斷
當nalu type=5或1時，表示後面跟着的資料是視訊資料，下面我們隻列出前2項。
| first_mb_in_slice | Golomb編碼 | 一般為0，一個slice為一幀圖像 |
| slice_type | Golomb編碼 | 幀類型，2、4、7、9表示I幀，0、3、5、8表示P幀 ，1、6表示B幀。 |
7.mp4轉ts
我們假設mp4格式中的視訊編碼為h.264，音頻編碼為aac。我們從mp4中擷取的視訊資訊包括：sps、pps、dts、pts、幀率、幀資料、ticks（每秒滴答數）。音頻資訊包括：pts、采樣頻率、聲道數、幀資料。mp4檔案的dts和ts檔案的dts是需要進行換算的，都是初始值 + 增量，但是增量計算是不同的。
視訊資訊擷取：
| sps | stsd.avc1.avcC |
| pps | stsd.avc1.avcC |
| dts | stts |
| pts | stts + ctts |
| 幀率 | 幀個數 / 總時長 |
| timescale | trak.mdia.mdhd |
| 幀資料 | stsc + stco + stsz |
音頻資訊擷取：
| pts | stts |
| 采樣頻率 | trak.mdia.mdhd |
| 聲道數 | stsd.mp4a |
| 幀資料 | stsc + stco + stsz |
8.mp4中關于h264和aac的說明
mp4的stsd原子中包含很多關鍵的音視訊編解碼元資訊。對于視訊資料，不同的編解碼格式stsd中包含的子原子類型是不同的。MP4的視訊H.264封裝有2種格式：h264和avc1，隻要看到這兩個FOURCC（四位元組編碼）。就可以肯定是h.264編碼，差別在于slice是否有起始碼。對于音頻資料，stsd中包含的子原子隻會是mp4a，mp4a又包含了一個子原子esds，判斷音頻編碼格式的是esds中的第十一個位元組，如果是0x40則說明是aac編碼，如果是0x69則說明是mp3。
- AVC1 描述:H.264 bitstream without start codes.一般通過ffmpeg轉碼生成的視訊，是不帶起始碼0×00000001的，但是帶有4位元組的長度。
- H264 描述:H.264 bitstream with start codes.一般對于一下HDVD等電影的壓制格式，是帶有起始碼0×00000001的。
除了avc1和h264還可能是下面的FOURCC，隻是名字不同而已。
- MEDIASUBTYPE_AVC1 'AVC1' H.264 bitstream without start codes.
- MEDIASUBTYPE_H264 'H264' H.264 bitstream with start codes.
- MEDIASUBTYPE_h264 'h264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.
- MEDIASUBTYPE_X264 'X264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.
- MEDIASUBTYPE_x264 'x264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.
H264資料結構
NAL nal_unit_type中的
1（非IDR圖像的編碼條帶）、
2（編碼條帶資料分割塊A）、
3（編碼條帶資料分割塊B）、
4（編碼條帶資料分割塊C）、
5（IDR圖像的編碼條帶）種類型 6（SEI）、
7（SPS）、
8（PPS）
Slice種的三種編碼模式：I_slice、P_slice、B_slice
frame的3種類型：I frame、P frame、 B frame
一幀的資料可以分為多個slice（片） 一個幀是可以分割成多個Slice來編碼的，而一個Slice編碼之後被打包進一個NAL單元，不過NAL單元除了容納Slice編碼的碼流外，還可以容納其他資料，比如序列參數集SPS：
每個slice中的資料，在幀内預測隻用到自己slice的資料， 與其他slice資料沒有依賴關系。 NAL 是用來将編碼的資料進行打包的。 比如，每一個slice 資料可以放在NAL 包中。 I 幀是自己獨立編碼，不依賴于其他frame 資料。 P frame 依賴 I frame 資料。 B frame 依賴 I frame, P frame 或其他 B frame 資料。
1、NAL、Slice與frame意思及互相關系 NAL指網絡提取層，裡面放一些與網絡相關的資訊 Slice是片的意思，264中把圖像分成一幀（frame）或兩場（field），而幀又可以分成一個或幾個片（Slilce）；片由宏塊（MB）組成。宏塊是編碼處理的基本單元。
2、VCL視訊編碼層不做解釋。
3、NAL nal_unit_type為序列參數集（SPS）、圖像參數集（PPS）、增強資訊（SEI）。表示後面的資料資訊為序列參數集（SPS）、圖像參數集（PPS）、增強資訊（SEI）。
4、H.264的參數集又分為序列參數集（Sequence parameter set）和圖像參數集（Pictureparameterset）。
序列參數集：包括一個圖像序列的所有資訊，即兩個IDR圖像間的所有圖像資訊。
圖像參數集：包括一個圖像的所有分片的所有相關資訊，包括圖像類型、序列号等，解碼時某些序列号的丢 失可用來檢驗資訊包的丢失與否。多個不同的序列和圖像參數集存儲在解碼器中，編碼器依據每個編碼分片的頭部的存儲位置來選擇适當的參數集，圖像參數集本身也包括使用的序列參數集參考資訊。
總結：
NAL單元中首先會有一個H.264 NAL type，根據這個可以判斷是啥資訊。如果是 H264NT_SLICE_DPA,H264NT_SLICE_DPB,H264NT_SLICE_DPC,H264NT_SLICE_IDR視訊資料相關的，裡面還會有Slicehead頭資訊，根據這個頭資訊，可以判斷屬于I-Slice（P-Slice或B-Slice），之後對于每個宏塊，都會有MB head資訊，根據宏塊頭資訊可以判斷塊模式。
1、H.264 碼流總體結構：
h264的功能分為兩層，視訊編碼層（VCL）和網絡提取層（NAL）。H.264 的編碼視訊序列包括一系列的NAL 單元，每個NAL 單元包含一個RBSP。一個原始的H.264 NALU 單元常由 [StartCode] [NALU Header] [NALU Payload] 三部分組成，其中 Start Code 用于标示這是一個NALU 單元的開始，必須是"00 00 00 01" 或"00 00 01"。
其中RBPS有分為幾種類型：
NAL的解碼單元的流程如下：
2、 H.264 NAL Header：
占一個位元組，由三部分組成forbidden_bit(1bit)，nal_reference_bit(2bits)（優先級），nal_unit_type(5bits)（類型）。
forbidden_bit:禁止位。
nal_reference_bit：目前NAL的優先級，值越大，該NAL越重要。
nal_unit_type ：NAL類型。參見下表
幾個例子：
AAC
1.ADTS是個啥
ADTS全稱是(Audio Data Transport Stream)，是AAC的一種十分常見的傳輸格式。
記得第一次做demux的時候，把AAC音頻的ES流從FLV封裝格式中抽出來送給硬體解碼器時，不能播;儲存到本地用pc的播放器播時，我靠也不能播。當時崩潰了，後來通過查找資料才知道。一般的AAC解碼器都需要把AAC的ES流打包成ADTS的格式，一般是在AAC ES流前添加7個位元組的ADTS header。也就是說你可以吧ADTS這個頭看作是AAC的frameheader。
| ADTS AAC | ||||||
| ADTS_header | AAC ES | ADTS_header | AAC ES | ... | ADTS_header | AAC ES |
2.ADTS内容及結構
ADTS 頭中相對有用的資訊 采樣率、聲道數、幀長度。想想也是，我要是解碼器的話，你給我一堆得AAC音頻ES流我也解不出來。每一個帶ADTS頭資訊的AAC流會清晰的告送解碼器他需要的這些資訊。
一般情況下ADTS的頭資訊都是7個位元組，分為2部分：
adts_fixed_header();
adts_variable_header();
syncword ：同步頭 總是0xFFF, all bits must be 1，代表着一個ADTS幀的開始
ID：MPEG Version: 0 for MPEG-4, 1 for MPEG-2
Layer：always: '00'
profile：表示使用哪個級别的AAC，有些晶片隻支援AAC LC 。在MPEG-2 AAC中定義了3種：
sampling_frequency_index：表示使用的采樣率下标，通過這個下标在 Sampling Frequencies[ ]數組中查找得知采樣率的值。
There are 13 supported frequencies:
- 0: 96000 Hz
- 1: 88200 Hz
- 2: 64000 Hz
- 3: 48000 Hz
- 4: 44100 Hz
- 5: 32000 Hz
- 6: 24000 Hz
- 7: 22050 Hz
- 8: 16000 Hz
- 9: 12000 Hz
- 10: 11025 Hz
- 11: 8000 Hz
- 12: 7350 Hz
- 13: Reserved
- 14: Reserved
- 15: frequency is written explictly
channel_configuration: 表示聲道數
- 0: Defined in AOT Specifc Config
- 1: 1 channel: front-center
- 2: 2 channels: front-left, front-right
- 3: 3 channels: front-center, front-left, front-right
- 4: 4 channels: front-center, front-left, front-right, back-center
- 5: 5 channels: front-center, front-left, front-right, back-left, back-right
- 6: 6 channels: front-center, front-left, front-right, back-left, back-right, LFE-channel
- 7: 8 channels: front-center, front-left, front-right, side-left, side-right, back-left, back-right, LFE-channel
- 8-15: Reserved
frame_length : 一個ADTS幀的長度包括ADTS頭和AAC原始流.
adts_buffer_fullness：0x7FF 說明是碼率可變的碼流
3.将AAC打包成ADTS格式
如果是通過嵌入式高清解碼晶片做産品的話，一般情況的解碼工作都是由硬體來完成的。是以大部分的工作是把AAC原始流打包成ADTS的格式，然後丢給硬體就行了。
通過對ADTS格式的了解，很容易就能把AAC打包成ADTS。我們隻需得到封裝格式裡面關于音頻采樣率、聲道數、中繼資料長度、aac格式類型等資訊。然後在每個AAC原始流前面加上個ADTS頭就OK了。
貼上ffmpeg中添加ADTS頭的代碼，就可以很清晰的了解ADTS頭的結構：
[html] view plain copy
- int ff_adts_write_frame_header(ADTSContext *ctx,
- uint8_t *buf, int size, int pce_size)
- {
- PutBitContext pb;
- init_put_bits(&pb, buf, ADTS_HEADER_SIZE);
- put_bits(&pb, 12, 0xfff);
- put_bits(&pb, 1, 0);
- put_bits(&pb, 2, 0);
- put_bits(&pb, 1, 1);
- put_bits(&pb, 2, ctx->objecttype);
- put_bits(&pb, 4, ctx->sample_rate_index);
- put_bits(&pb, 1, 0);
- put_bits(&pb, 3, ctx->channel_conf);
- put_bits(&pb, 1, 0);
- put_bits(&pb, 1, 0);
- put_bits(&pb, 1, 0);
- put_bits(&pb, 1, 0);
- put_bits(&pb, 13, ADTS_HEADER_SIZE + size + pce_size);
- put_bits(&pb, 11, 0x7ff);
- put_bits(&pb, 2, 0);
- flush_put_bits(&pb);
- return 0;
- }