占據安卓智能手機GPU市場近90%份額的ARM,要不斷優化他們的Mali,給使用者帶來最佳的VR體驗。

首先李陳魯分析了ARM的GPU在現階段手機市場的份額,然後相應的強調了他們的主要目标是移動VR市場。
談及現在的移動VR的内容,ARM認為在現有技術的限制下,娛樂視訊内容比遊戲體驗的發揮空間更大。不過他們的Mail GPU正在為更好的支援VR遊戲做一些背景工作。
ARM還從視差問題、圖像渲染以及分辨率上闡述了VR體驗中會産生眩暈感的原因,并且提出一個流暢的VR體驗需要滿足的最低标準:延時低于16ms、重新整理率大于60hz,螢幕分辨率大于2K。
最後李陳魯提到了谷歌的Daydream平台,ARM希望和業内的合作夥伴一起推動移動VR的标準化。
以下是李陳魯演講的實錄:
各位來賓各位合作夥伴以及各位友商大家下午好,非常榮幸今天在這裡與各位各位專家一起分享ARM在VR領域取得的小小成就,并且對未來做一個美好展望。
在座各位都是行業内專家,對ARM應該比較熟悉,就不多介紹。我們也和前面Imagination一樣是來自英國做IP晶片授權公司。我們的主要業務不隻是集中在GPU,它還包括CPU、手機、平闆電腦等智能移動裝置上很多關鍵東西。但是和英特爾不一樣,我們并沒有那樣去推動摩爾定律,今天ARM所取得的成就都是生态圈裡面的各位合作夥伴一起努力才能夠達到的。
我在ARM做的什麼呢,當然不是打醬油的,主要是照看中國地區的生态系統,包括開發者關系,線上線下的一些活動,同時與戰略合作夥伴能夠做一些深入的合作。比如聯合實驗室,在今年晚些時候會找一個合适的機會給大家介紹一些幹貨,具體取得的一些成果。
今天有20分鐘左右,長話短說,今天會花一定的篇幅介紹一下ARM的産品線,内容很多,希望大家記住兩個詞就夠了,一個是“量”,第二個“有料”。
Mali字面來看其實是一個地名,但實際上在這裡指ARM的一條關鍵産品線,後面會講一些關于VR的技術概念,希望大家把這個與我們産品聯系在一起。
然後VR有那些挑戰?任何好的産品之是以能夠被大家喜愛,是因為能夠解決你的痛點。在VR未來得發展,有哪些可能的痛點,有什麼解決手段,最後給大家做一個總結性概括,包括ARM給大家提供什麼服務,你可能會有問題。如果不是做晶片公司,我和ARM之間有什麼交集?後面會有答案。
因為我們每個人都有智能手機,你可能會花很多時間去上網,去玩APP玩遊戲。但事實上我們統計下來,相當大一塊使用者時間是用來觀看視訊,各種形式的視訊。
那麼如何讓大家既能更好的體驗安卓系統的UI特性,同時又能夠長時間的觀看一段高清視訊,ARM最後決定進一步在Mali GPU基礎上拓展。這樣我們具備了整個多媒體圖形處理流水線每個子產品的技術。最後會推出基于Mali多媒體解決方案,包括三個組成部分,目前已經有一些客戶正在生産基于這個多媒體方案的真正晶片,不久的将來會問世,會有一些獨到的地方。
VR玩家肯定很熟悉外國一些優秀的産品(PC VR),他和移動VR之間差別在于後面帶了一根線,這個線給他提供非常強大的計算能力,同時也是一個累贅。可以想像一下如果現在我很自由的在講台上給大家做交流,後面綁了根線是很尴尬的局面。另一方面這個線往往也代表着占據額外的空間,是以如果是在差旅過程中,比如在飛機上面肯定不會搬出PC接上線玩VR遊戲,如果有移動VR裝置就可以很好的解決這些問題。
這邊有一個圖表,來自英國第三方獨立的一家咨詢公司,它做了一個未來的預判,我們希望他能夠成真。簡單來說,2018年的時候整個VR硬體生态裡面能夠産生5680萬美元,針對各個年齡層次各種不同的使用者會有專門産品細分,加在一起提供一個非常多的選擇。
從軟體使用率來說,怎麼劃分呢?目前看起來中低端VR裝置基本上是視訊遊戲對半分,你有一半時間用來玩遊戲,一半是看視訊。低端裝置就比例更懸殊,甚至花90%的時間看視訊,包括普通視訊。其實也包括一些現在正在崛起為VR設計的特殊視訊,這一點将來還是有很大的發展空間。我們現在有些光場技術,慢慢成熟以後在VR裡面可以做的事情就更多,看到非常逼真的圖像變化,希望這一點能夠早日成真。
另外一方面關于遊戲,目前看起來遊戲還是VR裡面非常熱的,而且對于中高端VR裝置來說是非常關鍵的驅動力,在這一塊我們會講Mali GPU為了更好支援VR遊戲做了哪些背景工作?
這是我們傳統的渲染管線,首先還是會得到輸入輸出,然後重新計算場景,之後把他做渲染,說起來很簡單,其實要細分有很多很多步驟。
到了VR有什麼變化,其實就是多了一個視角,多了一個眼睛。這裡面可能很多人會反應過來,聯想到俗語“事倍功半”,如果你不做任何處理可能會掉進這個陷阱當中,看起來很流暢的場景變的非常卡。也許是無意中晃腦袋,就會發現這個場景跟我腦中計算的出現的情況不太一樣,會感覺到暈,這是最大的問題,所有人都在花很多精力攻克的難關。
為什麼會暈?除了場景渲染兩遍之外,其實還有很多其他的一些因素。因為現在對VR裝置投影方式基本上就是那幾種,最為廣泛流行的是通過光學鏡片,把圖像重新變換投到視網膜上。還有更先進更高端的用雷射的方式投到視網膜上,這個裝置成本還是比較高昂。
使用透鏡系統的時候,最大的特點是會産生光學的折射,是以如果不經任何處理,看到這個世界會是一個扭曲的世界。是以我們需要做很多工作,保證你能夠看到一個真實還原,并且非常流暢的圖像。
目前為止大體解決方案基本會在圖像被渲染呈現在你雙目之前做一個後處理,後處理其實對于非VR的應用場景也是非常常見,比如一些霧化效果。在VR裡面不管要不要這些效果,都必須要把這個光學變換的算法加進去,否則大家不能接受,至于這個算法怎麼實作,未來會有不同的解決方案,思路是一緻的。
這些數字是我們目前認為比較基礎的要求,小于16ms的延時,大于60Hz重新整理率,大于2K的分辨率。VR中有透鏡的存在,透鏡有放大的效果,是以你可以想像一下,貼近人的臉去看,可能就看到很多放大的細節。這個細節放大出來以後,一個2K的屏真正呈現在你眼中,實際效果低很多,再低的話可能大家就不太舒服了。2K以上4K、8K當然越高越好。
不過分辨率高的螢幕對移動VR還是有限制,大家可以了解,一方面首先是高端的供貨比較緊張,第二,如果是可插拔裝置,手機螢幕随着分辨率提高,耗電是非常厲害的。這樣對于在不使用VR場景之後怎麼保持電池壽命是非常挑戰的。大于60Hz重新整理率還是比較大的問題,60Hz已經可以成為一個行業标準,哪怕提到75Hz,那就是相當大的一步。
16ms延時跟前面兩個名額(重新整理率和分辨率)是有關的,我們整個VR渲染過程不僅僅渲染,還要采集輸入輸出資料,等等這樣一些工作加在一起,加上本身的掃描,他實際是一個很長的過程。我們把渲染本身盡可能壓縮,把整個過程縮短。
整個VR有很多階段,ARM來說也沒有辦法解決所有問題,需要和大家一起合作,做更好、更快、更省電的GPU和CPU。如果你使用了Mali GPU和CPU以及Video,它們之間會有内部壓縮算法,同樣效果之下節省很多帶寬,省很多電,同時性能會有更好的表現。
除了剛才說做最好的硬體,我們還有很多其他的事情可以做,特别是對于ARM企業來說。對于整個生态,這個生态不僅僅是硬體的合作夥伴,也包括在這個生态圈裡面很多做軟體的開發者,提供内容的甚至拍視訊的人,要在一起盡可能的把整個使用者體驗提升到新的等級上面。
為了達到這一點,ARM其實做了很多專有技術,針對Video這一塊,如果采用Mali GPU加上Video,可以避免一些不需要或者不必要資料傳輸,這樣至少帶來一倍以上的帶寬節省。理想的狀況是把一系列的Mali技術放在一起使用,那麼資料所在每一個階段都會是最優處理,整體上是既省電又快速。
最後講一下Daydream,其實它和我們還有一點點小小的距離,Daydream是未來針對高端的移動VR的解決方案,這樣的産品至少要等好幾個月的時間。谷歌從最上遊推廣,能夠起到非常大的作用,不至于每個廠商自己去做自己的實作方案,有很大的碎片。
大家應該知道Daydream是針對安卓7.0以及以後的系統,如果現在沒有辦法這麼快拿到最新系統,或者說要求非常高導緻成本也非常高,我隻能使用現有的硬體和軟體實來做VR解決方案。
本土的一些非常優秀的公司,給大家提供另外一種解決的思路,類似于你不需要Daydream也一樣可以做夢,有了之後對我們很多重要合作夥伴是非常好的事情,代表整個移動VR有了一個統一行業标準,萬衆一心往一個方向努力。同時對我們未來先進的硬體發展有一個很好的促進作用,預計在不久的将來幾個月以後或者是明年這些高端的針對VR軟硬體會有爆發式增長。
後面就是軟體方面,提供專門的擴充,不進行細節讨論,簡單來說一個是保證雙眼渲染盡可能複用,給大家多個視角觀察場景的擴充。
簡單來說左右可以同時處理,大家可能了解到我們人眼觀察事物的時候最中間的看的最清楚,周圍比較模糊,怎樣在VR渲染的時候對不太重要的區域能夠少花一點資源,其實可以疊加在一起的方式來做,我們在移動上面實作的手段不完全一樣,最後取得效果差不多。
如果有機會大家可以到我們的網站上面下載下傳SDK,同時如果你有任何的問題,可以跟我們郵件聯系。大家可能都了解,在VR無當中為了處理頭部快速晃動産生的暈眩,有時候需要插一些幀進來,提前做好渲染,防備你突然看向另外一個方向。通過這樣“欺騙式”的手段,能夠獲得一個比實際性能看起來更加流暢的感受。
我們有一個完整的VRSDK,如果你有興趣從頭做起或者深入做一些定制化優化,可以把這個SDK下載下傳下來,是完全免費的,了解一下如何在基于Mali讓硬體更好的發揮潛能。
我們看一下未來,這是我們最新的GPU Bifrost,我們為什麼會開發這樣一款GPU,因為要讓移動VR達到120hz的重新整理率,4K分辨率,4毫秒的延時。VR環境裡面所有東西被放大,是以打開反鋸齒變的非常重要,移動渲染架構上面反鋸齒是比較低的,也就是說大家可以放心大膽使用,并不用擔心很大的性能下降。這一方面準備更進一步的一些教程,同時希望能夠找機會和開發者做深入交流。
我的演講基本到這裡,非常感謝。
原文釋出時間:2016-09-07 16:36
本文作者:巫盼
本文來自雲栖社群合作夥伴鎂客網,了解相關資訊可以關注鎂客網。