如何了解直播APP源碼開發中的音視訊同步

視訊

直播APP源碼的視訊的播放過程可以簡單了解為一幀一幀的畫面按照時間順序呈現出來的過程，就像在一個本子的每一頁畫上畫，然後快速翻動的感覺。

但是在實際應用中，并不是每一幀都是完整的畫面，因為如果直播APP源碼的每一幀畫面都是完整的圖檔，那麼一個視訊的體積就會很大，這樣對于網絡傳輸或者視訊資料存儲來說成本太高，是以通常會對視訊流中的一部分畫面進行壓縮（編碼）處理。由于壓縮處理的方式不同，視訊中的畫面幀就分為了不同的類别，其中包括：I 幀、P 幀、B 幀。

I、P、B 幀

I 幀、P 幀、B 幀的差別在于：

I 幀（Intra coded frames）：I 幀圖像采用幀内編碼方式，即隻利用了單幀圖像内的空間相關性，而沒有利用時間相關性。I 幀使用幀内壓縮，不使用運動補償，由于 I 幀不依賴其它幀，是以是随機存取的入點，同時是解碼的基準幀。I 幀主要用于接收機的初始化和信道的擷取，以及節目的切換和插入，I 幀圖像的壓縮倍數相對較低。I 幀圖像是周期性出現在圖像序列中的，出現頻率可由編碼器選擇。

P 幀（Predicted frames）：P 幀和 B 幀圖像采用幀間編碼方式，即同時利用了空間和時間上的相關性。P 幀圖像隻采用前向時間預測，可以提高壓縮效率和圖像品質。P 幀圖像中可以包含幀内編碼的部分，即 P 幀中的每一個宏塊可以是前向預測，也可以是幀内編碼。

B 幀（Bi-directional predicted frames）：B 幀圖像采用雙向時間預測，可以大大提高壓縮倍數。值得注意的是，由于 B 幀圖像采用了未來幀作為參考，是以 MPEG-2 編碼碼流中圖像幀的傳輸順序和顯示順序是不同的。

也就是說，一個 I 幀可以不依賴其他幀就解碼出一幅完整的圖像，而 P 幀、B 幀不行。P 幀需要依賴視訊流中排在它前面的幀才能解碼出圖像。B 幀則需要依賴視訊流中排在它前面或後面的幀才能解碼出圖像。

這就帶來一個問題：在視訊流中，先到來的 B 幀無法立即解碼，需要等待它依賴的後面的 I、P 幀先解碼完成，這樣一來播放時間與解碼時間不一緻了，順序打亂了，那這些幀該如何播放呢？這時就需要我們來了解另外兩個概念：DTS 和 PTS。

DTS、PTS 的概念

DTS、PTS 的概念如下所述：

DTS（Decoding Time Stamp）：即解碼時間戳，這個時間戳的意義在于告訴播放器該在什麼時候解碼這一幀的資料。

PTS（Presentation Time Stamp）：即顯示時間戳，這個時間戳用來告訴播放器該在什麼時候顯示這一幀的資料。

需要注意的是：雖然 DTS、PTS 是用于指導播放端的行為，但它們是在編碼的時候由編碼器生成的。

當視訊流中沒有 B 幀時，通常 DTS 和 PTS 的順序是一緻的。但如果有 B 幀時，就回到了我們前面說的問題：解碼順序和播放順序不一緻了。

比如一個視訊中，幀的顯示順序是：I B B P，現在我們需要在解碼 B 幀時知道 P 幀中資訊，是以這幾幀在視訊流中的順序可能是：I P B B，這時候就展現出每幀都有 DTS 和 PTS 的作用了。DTS 告訴我們該按什麼順序解碼這幾幀圖像，PTS 告訴我們該按什麼順序顯示這幾幀圖像。順序大概如下：

PTS: 1 4 2 3

DTS: 1 2 3 4

Stream: I P B B

直播APP源碼音視訊的同步

上面說了視訊幀、DTS、PTS 相關的概念。我們都知道在一個媒體流中，除了視訊以外，通常還包括音頻。音頻的播放，也有 DTS、PTS 的概念，但是音頻沒有類似視訊中 B 幀，不需要雙向預測，是以音頻幀的 DTS、PTS 順序是一緻的。

音頻視訊混合在一起播放，就呈現了我們常常看到的廣義的視訊。在音視訊一起播放的時候，我們通常需要面臨一個問題：怎麼去同步它們，以免出現畫不對聲的情況。

要實作直播APP源碼音視訊同步，通常需要選擇一個參考時鐘，參考時鐘上的時間是線性遞增的，編碼音視訊流時依據參考時鐘上的時間給每幀資料打上時間戳。在播放時，讀取資料幀上的時間戳，同時參考目前參考時鐘上的時間來安排播放。這裡的說的時間戳就是我們前面說的 PTS。實踐中，我們可以選擇：同步視訊到音頻、同步音頻到視訊、同步音頻和視訊到外部時鐘。

本文轉自

http://www.samirchen.com/about-pts-dts/

，僅作分享用。