天天看點

VR打造視覺盛宴,豐富精彩生活WHY VR?優酷VR的演進端到端VR直播鍊路阿裡雲VR視訊解決方案

優酷進階技術專家張天若在2018雲栖大會·上海峰會中做了題為《VR視訊技術打造視覺盛宴,助力互娛産業體驗更新》的分享,就VR技術背景與優酷VR、VR視訊技術、阿裡雲VR視訊解決方案等方面的内容做了深入的分析。

數十款阿裡雲産品限時折扣中,

趕快點選這裡 ,領券開始雲上實踐吧! 直播視訊回顧 PPT下載下傳請點選 以下是精彩視訊内容整理:

WHY VR?

VR打造視覺盛宴,豐富精彩生活WHY VR?優酷VR的演進端到端VR直播鍊路阿裡雲VR視訊解決方案

在觀看普通視訊時,在沉浸式VR的雙目模式與單目裸眼360°全景視訊模式相比之下,絕大多數人都會選擇後者,主要有三個主要原因,一方面是VR視訊 看起來會使人有眩暈感,其次就是互動操作比較困難,最後一方面就是畫面也比較差。

VR視訊本身就存在天然地體驗不佳的問題,對于頭顯而言,螢幕與眼睛的距離太近,進而導緻顯示屏瑕疵會被放大。對雙目而言,顯示面積又太小,導緻有效像素顯示不夠多,畫質也比較模糊。正常人眼的餘光大于是220度左右,但是典型的VR頭顯卻隻有90到110度,導緻了觀看的面積變小,由于VR需要傳輸360度的視訊,傳輸帶寬與解碼編碼能力都需要360度處理完成的,到傳送到終端後VR視訊還隻挖其中一小塊來顯示,這就造成了帶寬的浪費。所謂帶寬浪費問題是由于顯示面積占視訊源面積太小所引起的,是以需要解決核心問題就要同時滿足帶寬與品質的需求,可利用轉換視角來解決這個問題。

優酷VR的演進

自2016年優酷開始做VR視訊,當時可以支援天貓魔盒,慢慢地在技術層面上開始支援4K和全景聲模式。優酷VR主要是以各種直播場景來拉動使用者,例如演唱會、體育賽事等内容。

對稱投影如何節省帶寬?

VR打造視覺盛宴,豐富精彩生活WHY VR?優酷VR的演進端到端VR直播鍊路阿裡雲VR視訊解決方案

首先可以優化投影模型,依據内容類型的中部/四周面積占比進行調整;其次可以縮小傳輸面積,從360°縮小到180°,并對投影面進行進一步的優化;對于編解碼算法也可以做很多優化,例如進行動态量化,也可以對非關鍵區域降清晰度;另外現在業界比較主流的方法是基于Tile的流切換,把一個視訊分成很多塊,有清楚的和不清楚的,沒有觀看的部分都

是模糊的,這樣可以達到節省帶寬的目的。

VR打造視覺盛宴,豐富精彩生活WHY VR?優酷VR的演進端到端VR直播鍊路阿裡雲VR視訊解決方案

從技術層面來講,視訊可以同時傳一個低碼率的基礎層和一個高碼率的增強層,然後将增強層切分成很多小的方塊,是以隻有在被觀看到的部分是高碼率的增強層,其餘部分都是低碼率的基礎層,也就是不同的方向用不同tile,這樣平均可以節省50%左右的碼率,但需要注意的是解碼器、播放器需定制,并且轉方向時會出現模糊一下的情況。

VR打造視覺盛宴,豐富精彩生活WHY VR?優酷VR的演進端到端VR直播鍊路阿裡雲VR視訊解決方案

優酷所做的是沿用非對稱投影的方式,将一個球投影在一個四棱錐上面,正面的方塊保持最原始的分辨率,其他的所有面投影在一個小塊上,這樣一來實際視訊裡的中心絕大部分都是正面的,是以清晰度是有保證的。改進後的四棱錐方案可以節省70%以上的碼率,并且支援通用解碼器,但轉方向時同樣也會模糊一下。

VR打造視覺盛宴,豐富精彩生活WHY VR?優酷VR的演進端到端VR直播鍊路阿裡雲VR視訊解決方案

可以看到VR視訊的正面保持了原有的清晰度與分辨率,其他部分做了比例壓縮以控制不同角度的清晰程度和帶寬消耗。

非對稱投影的流切換

VR打造視覺盛宴,豐富精彩生活WHY VR?優酷VR的演進端到端VR直播鍊路阿裡雲VR視訊解決方案

原理很簡單,在視角1的GOP位置發生視角切換時,隻需要在視角2的GOP2位置把它切換過來,但實際上這樣做也存在很多問題。

VR打造視覺盛宴,豐富精彩生活WHY VR?優酷VR的演進端到端VR直播鍊路阿裡雲VR視訊解決方案

第一個問題就是它會慢,因為在視角1的GOP1進行視角切換,然後在視角2需要下載下傳一個新視角GOP2,這樣雖然觀看者可能已經轉頭轉換了視角,但是實際上觀看到的還是老視角GOP1的視訊内容,導緻這段時間内觀看的視訊會模糊。更糟糕是再切換視角的時候GOP1視訊内容已經播完,這時下載下傳視角2的GOP2會比變卡,是以隻能下載下傳GOP3,這就導緻模糊時間變長,這對于人的觀感是極差的。是以可以用短切片做過度,隻需要再切換時先過渡到短切片,然後使用者就會觀看到清晰的畫面,之後再下載下傳長界面進行過度,這樣一來模糊時長就隻會受短切片影響。

VR打造視覺盛宴,豐富精彩生活WHY VR?優酷VR的演進端到端VR直播鍊路阿裡雲VR視訊解決方案

另一個問題就是卡頓問題,因為沒有緩沖保護,是以引入視角預測算法,預測是否在GOP1進行視角切換,然後提前下載下傳的時間點,增加了下載下傳時長的情況下使得卡頓率得到優化。

VR打造視覺盛宴,豐富精彩生活WHY VR?優酷VR的演進端到端VR直播鍊路阿裡雲VR視訊解決方案

前面兩個問題無論如何都會出現模糊時長問題,隻能盡量減少但不能消除,是以在這個環境下加入了超分辨算法,并且隻有在切換視角的模糊時刻才會使用超分辨算法,是以整體的功耗發熱等問題可以忽略不計。

端到端VR直播鍊路

VR打造視覺盛宴,豐富精彩生活WHY VR?優酷VR的演進端到端VR直播鍊路阿裡雲VR視訊解決方案

在采集端無論是拍攝、收音或者是一些前期處理,都要推到雲上後做多路模型映射、多路實時轉碼、狀态檢測與容災系統以及視訊的存儲,最後推到播放端,并且不同的端有不同的播放能力。采集端支援多台錄影機的實時畫面采集系統、現場導播和多機位切換,全面支援傳統的2D直播信号、圖檔、三維模型嵌入VR視訊,并做了VR體驗的加法。并具有現場實時多元度的圖像處理增強能力,包含銳化、降噪、HDR等畫質增強技術,支援端到端全景聲解決方案,通過360度音頻體驗進一步加強沉浸感。

在雲端上支援基于異構計算的映射編碼系統,支援一路進多路出的高并發映射編碼,結合标準的非對稱映射編碼技術,最高可節省70%以上碼率,用3M的碼率即可看高清4K視訊,最高可支援8K的VR片源直播。将原始8K片源實時映射到多路4K的視角信号進行編碼,一鍵建立直播場次,支援基于OSS可靠存儲的有序VR内容管理,并能夠快速的直播轉點播能力。

在用戶端上實作了全面覆寫Android、IOS平台,針對主流VR頭顯适配優化,支援2D/3D、180/360度VR格式,以及豐富的映射模型終端渲染,結合非對稱映射編碼技術,根據使用者視角進⾏多方向動态流瞬切,比秒級切換更快,并且支援手機姿态和手勢的視角控制,即可手勢縮放視角。

阿裡雲VR視訊解決方案

VR視訊提供的開放服務能力可分為幾部分,首先從體驗角度來講,支援180°和360°兩種VR視訊,以及 2D和3D兩種播放格式,分辨率主推4K,但也支援8K。使用的技術包括VR國标提案采納的領先技術非對稱映射技術,以及多模型場景适配、動态切流等技術。依托着優酷的大量現場直播的經驗,支援專業級、消費級裝置的一鍵直播,并且全終端SDK內建适配驗證已達3億次。對于全球CDN節點、可視化監控 、營運、存儲安全以及防盜鍊加密等要求都與阿裡雲相配适。典型場景有live直播,包括演唱會、生日會以及LiveHouse等,外景直播包括體育賽事和新聞現場等,以及秀場直播和遊戲直播等場景。

繼續閱讀