英偉達最新公布的眼球追蹤技術

[轉] https://www.leiphone.com/news/201607/HaIUFO0MiSbjVE67.html

人眼能看到的範圍是有限的，如果你看着黑闆上方的挂鐘，那麼你的目光聚集的地方就是焦點，而鐘以外的物體将會自動變模糊。我們處于360度環繞的世界，但任何時人類隻能看到120度視度範圍内的事物，而且人的雙眼隻會聚焦在視野中不超過6度的小區域，周圍則是模糊的，這就是我們看世界的方式。

英偉達正在開發上述模拟人眼視覺效果的眼球追蹤技術應用在虛拟現實中，并在昨日公布了這項技術的最新進展，這将使得虛拟世界更具真實感。

VR硬體廠商的痛點

目前VR硬體廠商面對的問題便是玩家自己的計算機硬體滿足不了顯示裝置高清渲染的需求，Oculus Rift僅僅渲染1k的分辨率就需配備1000美金以上的計算機才能正常運作，要讓渲染的分辨率比對現實世界的分辨率，單眼渲染必須達到8K，僅硬體配置這一項，就夠廠商頭疼的了。

為了解決這一問題，目前最被認可的方式便是結合眼球追蹤的局部渲染技術。眼球追蹤技術将渲染重心放在使用者眼睛真正關注的畫面上，是以對GPU的要求大大降低。

過去9個月，英偉達的大衛·盧克（David Luebke）和研究員試圖在虛拟現實環境中模拟這種現象：對使用者視線焦點的區域，裝置将會進行全面渲染，但要降低焦外區域的分辨率。當玩家專注于畫面的某個小區域時，眼球追蹤系統就會不斷調整渲染焦點。為了以90FPS（最低可接受的幀率）充分渲染某一畫面，400萬像素的畫面必須每秒渲染近100次。隻專注于渲染使用者的視線聚焦處将大大減輕計算任務。

現有眼球追蹤技術的應用

眼球追蹤技術在虛拟現實研究中并不新鮮，眼球跟蹤常見的實作原理：

　　1、根據眼球和眼球周邊的特征變化進行跟蹤

　　2、根據虹膜角度變化進行跟蹤

　　3、主動投射紅外線等光束到虹膜來提取特征

目前在虛拟現實領域中，日本FOVE公司開發出第一台使用眼球追蹤技術的虛拟現實頭顯，FOVE在頭盔的眼睛位置嵌入了兩個紅外線攝像頭，攝像頭放置在眼鏡鏡片下，既不會對視線範圍産生影響，又能跟蹤玩家的瞳孔活動。

對眼球追蹤混合技術進行再深一步研究的公司還有Tobii，該公司與Starbreeze公司合作将眼球追蹤技術融入了擁有5K畫質和210度視場角的StarVR頭顯。

德國眼球跟蹤技術公司SensoMotoric Instruments（以下簡稱SMI）在去年的開發者大會上展示了與索尼Magic Lab合作的遠端眼球跟蹤系統。并與三星合作期間推出在虛拟環境中可定性實時觀察和錄制視覺行為的應用安裝包SMI Mobile Eye Tracking HMD Observation，和可提供注視行為的簡單分析和分析軟體包的SMI Mobile Eye Tracking HMD Analysis Pro。

HTC Vive，PlayStation VR目前尚未使用眼球追蹤技術，Oculus創始人帕爾默·拉奇在接受采訪時稱眼球追蹤技是未來VR技術的“最關鍵構成部分”，但接着說到目前上述眼球跟蹤技術解決方案都還處于較低端的水準。

如何解決畫面延時

正如Oculus創始人帕爾默·拉奇所說，雖然很多公司已經擁有這項技術，但眼球追蹤技術的速度往往跟不上人眼運動的速度，渲染速度也并不完美，這導緻畫面顯示總是存在時延，令使用者感到不适。

去年5月英偉達專門針對虛拟現實裝置中普遍存在的圖像延遲狀況， 推出了MRS（multi-resolution shading）以便加快渲染速度，該技術使得VR的渲染不再是将整個畫面以相同的分辨率進行渲染，而是分成了幾個不同的區域。焦點區域會以完整的高分辨率進行渲染；而畫面的邊緣則以更低品質進行渲染，再加上邊緣的像素經過變形後的損失，可節省25%-50%的像素，理論上可提升一倍的渲染速度。

近日，英偉達與SMI合作後推出最新眼球追蹤虛拟現實顯示屏已可以250Hz的幀率實作準确、低延遲時間的眼球追蹤。盧克稱這是他們的眼球追蹤裝置第一次能跟上眼睛的運動速度。

焦外分辨率協調

雖然延時問題得到一定的解決，但畫面效果還存在欠缺。英偉達團隊仍需要花很多時間去準确計算，将焦外畫面的分辨率降低至什麼樣的水準才算最佳，才避免被觀衆注意到。在降低分辨率的過程中，任何閃爍都将帶來幹擾，焦外視覺很容易察覺到閃爍。如果焦外畫面過于模糊，将會産生隧道視覺效應，感覺像是通過望遠鏡看畫面。

為了解決這一問題，英偉達的研究員在近期發現通過增加焦外畫面的對比度，同時降低分辨率，人眼就可以被“騙過”。

未來，英偉達希望這個發現能推動主流虛拟現實裝置廠商将眼球追蹤技術加入到産品當中。