天天看點

隔空手勢互動,在現實世界上演“得心應手”

隔空手勢互動,在現實世界上演“得心應手”

【得心應手:心裡怎麼想,手就能怎麼做】

手,作為人體最靈活的器官,參與我們生活的方方面面;手,是除了眼睛之外能直接感受三維世界和物體的器官;手,作為無聲的互動工具,已經在計算機領域占了無比重要的地位。

在人機互動界面,手的互動是至關重要的,于是我們開始有了越來越多的“觸控互動”,但随着技術的發展,為了身體解放,越來越多的裝置引入了“手勢互動”技術。

“手勢互動”在于,人們在各種電子裝置的使用時,可以不再局限于通過接觸螢幕、滑鼠、鍵盤等進行操作,而是完全擺脫操作媒體。

阿裡雲視訊雲的“隔空手勢”,便是一項“未來式”互動方式技術。

隔空手勢互動,在現實世界上演“得心應手”

上班不用滑鼠,上演“隔空”操作

“上班忘帶滑鼠怎麼辦?阿裡雲程式員教你”

一則程式員的“隔空手勢”視訊,可以體感一場辦公場景下的隔空互動操作,這是阿裡雲視訊雲基于手勢識别技術研發的“智能手勢互動引擎”。

可以看到,短視訊中的程式員,無論是浏覽頁面、登入系統、還是精細的完成視訊剪輯,都不再是通過滑鼠、鍵盤按部就班的操作,而是以各種靜态和動态的手勢,順滑、實時、精準的實作隔空控制與操作,而這種精細的操控程度,在隔空手勢互動技術上,是突破現有瓶頸的。

對比“觸控互動”需要使用者和裝置進行接觸操控,“語音互動”需要進行聽、說以及高精度識别的過程,而“手勢互動”具備人類使用習慣的天然優勢,成為“觸控互動”及“語音互動”的不便利場景下的另一優解。

說到隔空手勢互動,其基礎便是“手勢識别”技術。

從手勢識别說起

在計算機科學中,手勢識别是通過數學算法來識别人類手勢的一個議題,即使用者可以通過手勢來控制或與裝置互動,讓計算機了解人類的行為。

手勢識别的關鍵技術包含,手勢分割、手勢分析,以及靜态和動态的手勢識别。無論是靜态還是動态的手勢,其識别順序首先需要對所獲圖像的手的檢測和手勢分割;再通過手勢分析,獲得手勢的形狀特征或者是運動軌迹;最後根據手勢分析中的重要特征,完成靜态或動态的手勢識别。

手勢識别的研究和發展影響着人機互動的自然性和靈活性。目前,業内大多數研究者将注意力集中在手勢的最終識别方面,通常會将手勢背景簡化,在單一背景下利用算法對手勢進行分割及分析。

但在現實應用中,人的手通常處于複雜的環境下,需要考慮如:光線過亮或過暗,手勢距采集裝置距離不同等複雜因素,進而做到精準的手勢識别。

阿裡雲視訊雲的“智能手勢互動引擎”, 如何使“隔空手勢”更具智能性和互動力?

高性能的智能手勢互動引擎

由于複雜的手指手掌結構和在運動時的高度靈活性,手勢關鍵點跟蹤十分具有挑戰性。阿裡雲視訊雲團隊研發的智能手勢互動引擎,通過對21個手部關鍵點的精準識别和跟蹤,支援25種基礎靜态手勢的識别。

隔空手勢互動,在現實世界上演“得心應手”

基于這25種基礎手勢,結合手掌姿态的資訊和場景,可以延伸出百餘種手勢。例如伸大拇指的手勢,我們可以根據大拇指和大拇指的方向精準識别出:點贊(拇指向上)、差評(拇指向下)、向左(拇指向左)、向右(拇指向右)等等。

隔空手勢互動,在現實世界上演“得心應手”

上圖中,Left_Prob表示左手的置信度, Gesture_ID表示識别到的手勢ID

除了靜态手勢之外,類似上下左右滑動、左右翻頁、縮小放大、拜拜等多種動态手勢也能被精準識别和跟蹤,進而實作上述視訊中“隔空”實作視訊剪輯的效果。

值得一提的是,阿裡雲視訊雲的“智能手勢互動引擎”的算法不僅能保證“高精度”和“高穩定性”, 更是做到了“超輕量” 。

“高精度”是指能夠準确的識别各種各樣的手部姿态及定位手部關鍵點的位置,即使在暗光、背光等挑戰性場景也有很好的表現;

“高穩定性”,是通過算法的深度打磨,能夠對手部關鍵點檢測輸出穩定的關鍵點位置, 做到手勢互動操作的超低延遲。

“超輕量”展現在普通裝置單線程運作中, 平均每幀耗時僅有6.5毫秒,處理性能可以達到150fps以上,模型大小僅為2.6MB,相容所有主流平台,非常适合在普通的移動端手機的部署和應用。

一切因手勢互動而卓然不同

新互動正在成為趨勢,而解放身體的更自然的互動也是互動演進的方向,可以想象,能夠為生活、工作、學習帶來全新的形态與體驗,而阿裡雲視訊雲的隔空手勢互動作為“互動黑科技”,已經可以逐漸運用到各類場景中。

在互動課堂場景,為了視力健康和豐富體驗,學生可以全程與螢幕保持距離,通過隔空手勢,學生可以完成課程選擇、問題回答、翻頁、舉手等多樣化的互動操作。

在疫情常态化和課堂線上化的今天,智能手勢互動引擎助力行業使用者重新定義了線上課堂的教學内容互動模式,使師生螢幕前的教學不再是單向的知識灌輸,而是以線上課堂的互動性與感覺度,高度豐滿教育智趣。

在電商與娛樂直播場景,主播一邊直播一邊操控手機螢幕會造成的極大不便,然而,利用手勢互動,主播可以通過手勢特效與直播觀衆實時互動,還可以用手勢來控制直播流程和畫面;在使用者端,可以結合使用者的手勢,如:點贊、比心等等,實時呈現相應的各種貼紙和特效,極大提升互動體驗。

Air Motion 手勢互動

繼續閱讀