天天看點

探秘視訊編碼黑科技,窄帶高清2.0視覺模型及場景實戰

“黑科技”這個詞已經成為了今年雲栖大會的關鍵詞。那麼,在我們熟知的視訊領域,什麼才算是黑科技呢?

我們知道,在通常情況下,視訊畫質越好帶寬費用肯定越高,帶寬又是視訊服務中占比很高的一項成本,很多開發者都在尋求效果與成本的平衡點。那麼,有沒有一種技術,能夠在保證甚至提高視訊畫質的同時,降低帶寬呢?如果有的話,小編覺得這一點可以算是黑科技了吧。

今天,小編就帶大家來了解下剛剛在雲栖大會上重磅釋出的阿裡雲窄帶高清2.0,看看它是如何超越壓縮極限,在視覺效果和帶寬成本中找到平衡的。

首先,我們來看一張手機上的視訊截圖,這是優酷的标清模式,采用了窄帶高清的轉碼技術,分辨率是360P,碼率在300K。實際上在人眼感官上,已經達到了540P甚至720P的效果。

探秘視訊編碼黑科技,窄帶高清2.0視覺模型及場景實戰

( 本截圖隻做舉例展示使用,版權歸版權方所有 )

剛剛前文提到,帶寬成本是視訊服務中非常重的基礎設施成本,如何在保證視訊品質的前提下降低成本是整個鍊路中至關重要的一環。是以,在視訊服務中,視訊的編碼和解碼是非常重要的技術。

業内的轉碼技術從MPEG2,到H.264,到H.265大概是下圖的技術發展曲線,每隔十年的時間,視訊的壓縮率會提升一倍左右,平均下來,每年行業視訊壓縮率能提升隻有不到7%。這種客觀發展規律之下,視訊行業内的從業者給對手造成壓倒性的競争優勢已經變得非常困難。

探秘視訊編碼黑科技,窄帶高清2.0視覺模型及場景實戰

視訊編解碼行業的出發點是資訊論。是以,行業内視訊編解碼技術是基于信号失真度最小這一基準來做優化的。在無法逾越視訊轉碼客觀發展規律的前提下,阿裡雲視訊轉碼另辟蹊徑,研發了窄帶高清技術。簡單來說,窄帶高清是一套以人眼主觀感受最優為基準的視訊編碼技術。

能和編碼标準的進步垂直發展,效果能夠疊加

能把業界普遍浪費的帶寬節省下來

能把業界普遍處理不好的複雜場景優化

能讓普通觀衆一眼就能看出畫質的效果不同

過去的一段時間,阿裡視訊雲一直強調可以通過技術來幫助客戶節省成本。以優酷為例,我們能達到什麼效果,又能節省多少成本呢?

探秘視訊編碼黑科技,窄帶高清2.0視覺模型及場景實戰

上表可以看出,老優酷的視訊配比是:1080P是3Mbps,720P是1.5Mbps,540P是0.8Mbps,我們可以加以聯想,好萊塢大片需要3Mbps,而1080P訪談節目僅僅需要1Mbps就足夠了。是以,有一些帶寬是被浪費的。使用了窄帶高清後的新優酷,有效節省了多餘帶寬,1080P的平均碼率降低到1.6Mbps,720P的平均碼率為1.0Mbps,540P的平均碼率僅需要0.5Mbps。如此,窄帶高清技術每年能夠為優酷節省數億成本,這就是所謂的“窄帶”。

那“高清”是什麼呢?高清是指能夠把業界普遍處理不好的複雜場景做漂亮。實際上,通常所說的“畫面太複雜,很難編”是因為碼率帶寬受限而産生的畫面模糊。那碼率受限的情況下,通過調整分辨率,窄帶高清可以将畫面處理的更細膩,提升美觀度,讓使用者體驗得以提升。

探秘視訊編碼黑科技,窄帶高清2.0視覺模型及場景實戰

第一套是失真度和主觀感受的關系模型,當我們的保真度越來越高,人眼逐漸就沒有感受了,是以卡在失真度并沒有很大變化的臨界點上,就可以适當節省帶寬了,如上左圖。

第二套是分辨率和碼率的關系模型,不同的片子有不同的特征,拿優酷上典型的片子舉例:曉說是訪談類節目,畫面變化不大,1080P隻需要1Mbps;三生三世十裡桃花是節奏比較緩慢的電視劇,1080P需要2Mbps;極限挑戰這類綜藝節目,鏡頭迅速切換,1080P需要3Mbps,如右圖。有了這個模型之後,可以非常清楚的知道該分辨率下需要什麼碼率去支撐,是以通過編解碼器的配置,就能夠達到相對優秀的視訊效果呈現,并且節省帶寬。

在雲栖大會視訊多媒體分論壇上,阿裡巴巴進階專家江文斐也表示:“我們沿着人眼視覺模型這條路接着往下走,省下來更多人眼看不到的資訊,減少帶寬浪費,于是,我們有了窄帶高清2.0”

早在窄帶高清2.0在正式釋出之前,阿裡雲進行了一系列測評,具體形式是邀請30位測評者對不同編碼器和碼率情況下的視訊進行主觀打分,下圖是測評結果。

探秘視訊編碼黑科技,窄帶高清2.0視覺模型及場景實戰

左圖是1080P編碼的RD曲線,橫軸是碼率,縱軸是主觀評分,大體規律是碼率越高,品質越好,主觀評分越高。我們可以看出,H.264窄帶高清2.0在高碼率情況下,比H.265表現要好,在低碼率情況下,比H.265弱,這兩者互有優劣。可以預想,H.265窄帶高清2.0應該是和下一代的标準互有優劣的。是以,窄帶高清2.0技術,可以提前進入下一代标準,突破了現有轉碼能力的上限。

換一個次元,右圖是跨清晰度的RD曲線,我們來看看在不同分辨率上窄帶高清的表現如何。橫軸每個點代表不同分辨率,縱軸還是主觀評分。同樣是1080P,窄帶高清2.0主觀評分要優于H.264。從橫線上對比看,H.264窄帶高清2.0的720P和普通H.265的1080P的品質水準相當。是以窄帶高清2.0,也可以超越分辨率觀感上限,低分辨率的情況下體驗高清視覺效果。

同時,除了人眼打分的主觀測評外,阿裡視訊雲也做了一些客觀的評測,方法是用 VMAF跑了所有視訊品質,如下圖,得出了和主觀測評高度一緻的結論,也證明了這個結論的可信度。

探秘視訊編碼黑科技,窄帶高清2.0視覺模型及場景實戰

上文提到,窄帶高清背後的視覺敏感度模型非常重要,那這個模型是如何建立起來的呢?首先,我們需要關注這三點:

1.人眼容易忽視什麼?

人眼有聚焦區域,當然也有脫焦區域。脫焦區域就是人眼比較容易忽略的、非敏感的區域,我們可以把這塊的處理省掉。除此之外,我們也可以去掉一些沒有聚集效應的小細節,以此省掉帶寬。

2.人眼關注什麼?

除了人眼聚焦的區域外,人眼還關注規則的紋理,這是我們一定要保護的區域,做一些調整優化,讓它更加突出,使畫面更有張力。

3.人眼厭惡什麼?

毛刺、馬賽克等模糊的地方,持續的閃動,一定是人眼主觀厭惡的内容。将這些細節處理得更平緩、清晰,能提升畫面整體觀感。

我們先來看窄帶高清在優酷中的一些應用,以視訊網站B上的720P片源為例,優酷用540P的效果可以實作相當的效果,碼率則節省40%以上。

探秘視訊編碼黑科技,窄帶高清2.0視覺模型及場景實戰

在遊戲直播的場景中,畫面的處理相對比較複雜。左圖是1080P 2.9Mbps的視訊截圖效果。使用了窄帶高清2.0後,分辨率為720P的視訊截圖中,可以明顯看出畫面中的鋸齒變得圓潤,馬賽克變得清晰了。這個案例可以說明,在2.9Mbps的碼率下,窄帶高清可以比對最合适的分辨率,并且實作更優的觀看體驗。

探秘視訊編碼黑科技,窄帶高清2.0視覺模型及場景實戰

在秀場直播場景中,窄帶高清2.0可以有效節省帶寬。左邊是1.2Mbps的片源。右邊是600K的處理結果。兩相比較,頭發更清晰,并且附帶美顔效果。

探秘視訊編碼黑科技,窄帶高清2.0視覺模型及場景實戰

當然,除了窄帶高清技術之外,阿裡視訊雲也擁有衆多行業領先技術,目前已經是國内視訊服務體量最大的雲計算公司。江文斐在雲栖大會上提到:“從阿裡視訊雲誕生以來,我們一直在緻力于用自身的技術,去創造一些行業裡獨有的東西。我們想通過阿裡集團多年的技術沉澱,建構不一樣的視訊雲服務,讓客戶也變得與衆不同。”

探秘視訊編碼黑科技,窄帶高清2.0視覺模型及場景實戰

繼續閱讀