1.背景介紹
随着高動态範圍(HDR，High Dynamic Range)概念的普及以及諸如OLED等技術上的進步，消費者市場對HDR裝置呈現出極大的熱情。相比4K帶來的是更多細節和更加精細的紋理上的變化，HDR帶來的則是在色彩呈現上更加生動的畫面。HDR電視的最高亮度可達1000尼特，亮度的提升使得場景更加的真實。由于HDR相比标準動态分布(SDR，Standard Dynamic Range)擁有更廣的亮度範圍，是以将HDR的光信号轉換為數字資訊以進行編碼相比傳統SDR信号，也需要新一代的變換函數，比如杜比的基于對比度敏感函數(CSF, Contrast Sensitivity Function)的感覺量化(PQ, Perceptual Quantizer)曲線。與PQ曲線相對應的是用于SDR視訊的BT.1886曲線，二者的對比如下圖所示：
圖1. PQ曲線和BT.1886曲線對比
從上圖我們可以看到，對于傳統的8比特BT.1886曲線，由于其位深度的限制，是以隻能描述100cd/m2以下的亮度範圍，而如果直接将8比特的BT.1886曲線擴充到10比特，由圖中我們可以看到雖然10比特的BT.1886曲線可以描述更寬的亮度範圍，但是由于其曲線的特性，變換後的信号并不能均勻的分布在量化區間内，比如，在小于100cd/m2的範圍内，大約有12%的值用于描述這段範圍的亮度，而PQ曲線則大約有50%的量化值用于描述這段亮度區間。其各段亮度範圍的詳細對比如下圖所示。
圖2. PQ曲線和BT.1886曲線亮度變換分布圖
是以，HDR在傳輸時由于采用了諸如PQ映射曲線等不同于以往的技術，是以需要在編解碼HDR視訊信号時進行特殊的考慮，對于傳統視訊使用的碼率控制技術也是如此。
2.HDR視訊的編解碼架構
為了在傳輸HDR内容時使用現有的編碼架構，可以考慮在編解碼前後做變換以及對應的反變換，使得進入編碼器的視訊信号可以适用于現有編碼器，同時這種變換也保證了在傳輸實際的碼流時不需要附帶額外的元資訊，使得HDR内容可以在一般的解碼器上正常解碼。具體的用于HDR視訊信号的編解碼框圖如下圖所示。
圖3. HDR編解碼架構
輸入的HDR原始圖像格式一般為RGB BT2020，采樣為4:4:4的半浮點線性光格式，而編碼器的輸入為整形 4:2:0 的Y'CbCr格式。具體的轉換步驟如下：
(1) 首先将RGB信号歸一化，之後利用變換函數，如基于感覺的量化函數，即PQ函數，将原始線性光信号變換為非線性的R'G'B'信号。
(2) 将變換後的光信号由色域R'G'B'變換到色域Y'CbCr。
(3) 将浮點數Y'CbCr變為10bit整形，記為DY’DCbDCr。
(4) 對色度進行降采樣，将得到的DY'DCbDCr 4:4:4信号轉化為4:2:0。
(5) 對變換後标準的視訊信号執行編碼。
逆變換則是上述變換的逆格式，此處就不再贅述。
3.HDR視訊在碼率控制模式下編解碼的挑戰
最新的HEVC的參考代碼(HM)中已經針對HDR做了很多的優化，比如支援更高的位深度以及基于亮度的量化參數的調整。然而在碼率控制方面，目前還沒有相關的針對HDR内容的碼率控制技術的研究，如果直接将傳統碼率控制技術用于HDR視訊信号，将帶來一系列的問題。
(1) 由于現有的碼率控制模型的參數等都是在SDR的實驗條件下拟合得出的，是以在對HDR内容進行編碼時會由于如前所述的亮度分布的改變，導緻配置設定的碼率不準确，如下圖所示：
a)不開碼控(QP=28)
b)使用原始碼控(524Kbps)
c)使用改進後的碼控(524Kbps)
圖4. 碼率控制對編碼品質的影響
上圖a）為QP為28時的編碼圖像，圖b)為與QP=28時對應的碼率=524Kbps時的圖像，可以看到由于HM已經針對HDR内容在量化參數上做了相應的優化，而并沒有對碼率控制模式下的編碼做對應的優化，是以在碼控模式下可以清楚地看到其存在更多的塊效應，如圖中畫圈處所示。是以現有的碼率控制模型并不适用于編碼HDR的視訊内容，圖c)還給出了本文介紹的改進後的碼率控制算法的效果。
(2) 在實驗中我們還進一步發現，由于前面的幀導緻的碼率控制的不準确，靠近序列後面的幀的率失真性能還會進一步惡化，導緻整個序列在碼率控制模式下的編碼性能受到影響。
4.最新成果
上海交通大學圖像所研究團隊提出了一種适用于高動态範圍視訊的碼率控制算法，在一定程度上解決了上述問題，在率失真性能和碼率控制精準度方面都有着不錯的表現，模型結構清晰合理，可實用性強。該模型借助了傳統碼率控制模型的優勢，對傳統碼率控制做進一步的優化，使其适用于HDR内容的編碼，其最終的模型如下所示。
其中a為常數，通常取4.2005，β是與實際編碼的視訊内容有關的參量，每一個CTU在更新β時參考的是已編碼幀的對應CTU的β。C(L_HDR )是與HDR的亮度相關的常量，根據每個CTU的平均亮度值計算得出，其取值被限制在[-6,3]的範圍上，如下式所示。
由于指數函數的特性，當C(L_HDR )為負時，指數函數小于1。導緻比普通碼率控制模型配置設定更少的比特。 當C(L_HDR )為正時，指數函數大于1。這導緻比普通碼率控制模型配置設定更多的比特。下表給出了該算法的視訊經過解碼後與原始算法的率失真性能對比，可以看到，對比原始方法，本算法在Y、U、V分量上都可以有較為明顯的增益。
表1. 标準動态範圍視訊的率失真性能
而經過逆變換得到的HDR格式的圖像内容對比原始算法也都有了很明顯的改善，具體的如下表所示
表2. 高動态範圍視訊的率失真性能
下圖給出了兩個序列各個幀的客觀品質的改善情況對比，藍色線為原始算法，紅色線為改進後的算法。
圖5. 亮度分布碼率控制與原始碼控的tPSNR-XYZ對比圖
更多論文細節和實驗分析詳見論文:
Bai, L., Song, L., Xie, R., Zhang, L., & Luo, Z.,Y. Rate Control Model for high dynamic range video [C]// Visual Communications and Image Processing. IEEE, 2017:1-4.
下載下傳連結：
http://medialab.sjtu.edu.cn/publications/2017/VCIP2017_LXBai_Rate%20Control%20Model%20for%20HDR%20Video.pdf