雷鋒網報道，美國印第安納州的普渡大學西拉法葉分校的研究工作者，利用深度學習算法為虛拟增強現實技術提供了新型系統——“深度手控”（deephand）。
未來的人機互動系統，概念上應能夠滿足人類和虛拟環境間的交流互動。屆時，對計算機的要求也變得更高，計算機将需要擷取并計算人類手部複雜的運動狀态及龐雜關節角度，進而了解人類雙手無窮無盡的姿勢所要表達的含義。
在虛拟增強現實技術中，使用者需要佩戴頭盔，才能夠感覺虛拟環境為使用者所帶來的視聽盛宴。然而，增強現實技術能為使用者呈現虛實并存的世界，并且滿足使用者對虛拟場景及真實世界雙重互動。而虛拟現實技術為使用者提供一個純粹的人工環境，使用者可以完全的沉浸在虛拟現實世界。
圖檔展示了深度手控系統的使用過程。“深度手控”（deephand）是由普渡大學c設計實驗室的研究者所開發。該系統能夠應用深度學習算法了解人類手部靈活的關節和大量複雜的扭動。這将會讓我們向未來人機互動系統邁出一大步，更加深刻的滿足人類和虛拟環境間的交流互動。
“如果将虛拟現實和增強現實二者結合，這種新系統必須能夠看見并且了解使用者的雙手到底在做什麼”，“donald w. feddersen機械工程系”兼c設計實驗室主管，karthik ramani說道。“如果你的雙手不能和虛拟現實互相溝通，那麼你就沒辦法做任何事情。這就是為什麼說雙手在虛拟增強現實技術中是非常重要的。”
“深度手控”（deephand）是一種新的系統，它應用卷積神經網絡算法來模仿人類大腦，同時能夠運用“深度學習”算法去了解雙手狀态的多變性和扭轉的複雜度。“我們可以精确定位出手部和指頭的位置，并能實時估計雙手和指頭的運動狀态。”ramani 說道。
“深度手控”應用深度感覺照相機捕捉使用者的手掌，并且使用特定算法來了解手勢。“這種系統被稱作‘三維空間使用者界面‘，因為使用者與電腦是在空間中進行交流，而不是傳統的觸屏控制和鍵盤操作。”，ramani說道。“系統可以根據使用者所需來識别搭建在虛拟平台上的物體，例如使用者可以開虛拟汽車，或者做一個虛拟的陶藝。這樣的一雙會思考的虛拟雙手，顯然是一個至關重要的平台。”
根據一個擁有250萬個手勢和結構的大資料庫，研究工作者不斷地“訓練”深度手控系統。為了更快的提取有效資訊，手指連接配接處被設定為特定的“特征向量”。
“我們識别一些手部的關鍵角度。然後我們觀察這些角度是如何變化的。這些結構其實就是一些量化的數值。”sinha說道。
“這個想法類似于netflix上的推薦算法，根據先驗知識，比如使用者之前購買過的電影庫，然後針對這類特定客戶的偏好，選擇性地向他們推薦電影。”ramani說。“深度手控”傾向于選擇‘空間最近鄰’算法，這種算法能夠最佳的被攝像頭捕捉到手部具體位置。盡管訓練這個系統要求強大的計算能力，但是一旦這個系統被訓練好了，就可以在标準運算強度的計算機上運作。”
雷鋒網了解到，這項研究已經被國家自然基金和普渡大學機械工程系所支援。
深度手控是一種關于重建人類手勢使用深度學習算法的新理論。深度感覺鏡頭使得電腦可以處理不同的人類手勢。使用這些新的深度學習算法，電腦識别并重建手型的過程就像我們自身大腦做的那樣。這有着潛力去變化我們和電腦互動的方式同時改變我們身邊的事情。
深度學習模型能夠觀察手的不同部位，比如手掌或者指頭，并且可以計算出他們組合在一起是怎麼工作的，這和大腦的工作非常類似。考慮到自遮擋和自相似的手掌，甚至一些部分對于傳感器根本不可見，但是算法依舊可以重建這些部位通過深度學習算法。
雷鋒網(公衆号：雷鋒網)在此附上cvpr 2016該文章的論文摘要譯文：
《deephand：一種基于補完深度特征矩陣的魯棒手勢估計方法》 摘要： 本文提出一種使用商用傳感器的深度資料恢複3d手勢資訊的deephand算法。通過有差別的訓練卷積神經網絡，得到低維的具有深度映射性的手勢特征。這一手勢特征向量包含了手部運動中整體的和局部的典型關節角度資訊。算法通過高效地的識别空間上最近的指節建構出的手勢特征，将特征庫與合成的深度映射資訊結合，并融合前幾幀中的相鄰指節資訊來實作識别功能。 矩陣補完是通過時間-空間行為特征與已标記的手勢參數值共同估計未知的手勢參數。算法中手勢特征資料庫覆寫了多種視角下的特征資料，分層估計手勢參數進而保證了在遮擋情形下的魯棒性。文中展示了在标準配置的計算機上統一使用幀率為32的視訊流将deephand與最新的方法進行對比的結果。
本文作者：sunshine_lady