天天看點

阿裡雲首推免費人臉識别SDK 讓每個APP輕松擁有短視訊AR特效你所知道的人臉識别行業阿裡雲聯合手淘 推出人臉識别免費SDK關鍵技術介紹及算法性能測速

早在今年五月,阿裡雲已經推出了短視訊解決方案。近日,阿裡雲再次率先颠覆行業,在業内首推免費的人臉識别SDK,結合其原有的短視訊能力,大大降低了人臉識别+AR特效+短視訊的入行門檻。

提到人臉識别,大家會聯想到商業支付、身份識别、廣告投放、人機互動、系統公安等等衆多生活場景。雖然這項技術的研究始于20世紀60年代,但是在近年這個課題才愈發活躍。以日常生活中比較常見的場景——社互動動為例,通過人臉識别、AR特效、動圖元素的支援,可以幫助使用者打破社交壁壘,更立體化、個性化、趣味化的表達自我和分享生活點滴。

市面上已經有的人臉識别SDK多數費用高昂,動辄幾十萬,而某些廠商号稱免費,其實也是基于網絡API的調用,并不适合在移動端錄制短視訊時使用,也就無法應用在社交場景之中。這讓很多想在APP中添加短視訊AR特效的團隊望塵莫及。

阿裡雲通過整合集團資源,将手淘團隊自研的人臉識别SDK和阿裡雲短視訊SDK深度融合,真正做到了不依賴于網絡API的實時檢測、識别、跟蹤。

目前,官網上的專業版短視訊SDK已經擁有了手淘自研的人臉識别功能,實作了人臉識别+AR動态貼紙的完整體驗,結合原有的短視訊采集、導入裁剪、編輯、合成、極速上傳、媒資管理、視訊轉碼、分發加速、播放等全鍊路能力,阿裡雲可以為創業者們提供一站式解決方案,讓每個APP輕松實作短視訊AR新玩法。

阿裡雲首推免費人臉識别SDK 讓每個APP輕松擁有短視訊AR特效你所知道的人臉識别行業阿裡雲聯合手淘 推出人臉識别免費SDK關鍵技術介紹及算法性能測速

我們來看看具體的應用場景和技術是怎樣的,使用者在用戶端進入拍攝畫面後,可以自行選擇搭配動态貼紙等個性化素材,實作AR特效,使短視訊打造出科幻、賣萌、惡搞等不同的效果。其中主要涉及到的是人臉檢測、關鍵點定位、追蹤等核心技術。

第一, 人臉的檢測是用于定位視訊中的人臉,同時檢測多張人臉和處理多角度、部分遮擋人臉等複雜情況也在這一步妥善處理,進而快速、準确的找到人臉。

第二, 人臉的關鍵點定位,則是用于已知人臉所在位置的基礎上,自動标注人臉的輪廓、五官位置,比如眼睛、鼻子、嘴巴、眉毛、耳朵等關鍵位置。阿裡雲提供人臉識别關鍵點個數多達68個,可以更準确的追蹤五官,保證使用者的體驗。

第三, AR特效美化,根據已知的關鍵點位置,搭配上使用者所選的動态貼紙,并根據捕捉不同的面部動作來變換AR特效,達到真實互動。

第四, 人臉追蹤,視訊是動态而非靜止的,當使用者臉部移動、轉動時,阿裡雲SDK可以實作對關鍵點的追蹤,可識别姿态範圍為yaw±60°,pitch±45°,roll±45°,精準的捕捉動作,持續追蹤動态貼紙和AR特效。

阿裡雲人臉識别SDK具有準确度高的特性,通過68個關鍵點檢測和以上技術,實作平均錯誤率低于 5%,出現“對不上”這種尴尬場面的機率極低。據悉,阿裡雲未來也會推出商業版人臉識别的進階功能,滿足更進階客戶的需求。

在性能方面,阿裡雲人臉識别算法和其它廠商算法在測速上的差別如下:

阿裡雲首推免費人臉識别SDK 讓每個APP輕松擁有短視訊AR特效你所知道的人臉識别行業阿裡雲聯合手淘 推出人臉識别免費SDK關鍵技術介紹及算法性能測速

注:以上測試480p的最小人臉尺寸為4848(px);720p的最小人臉尺寸為7272

從上表可以看出,本人臉識别算法在同樣機型、同等測試對象的條件下,測速表現大幅優于業内友商。經過阿裡雲集團手淘億級日活躍使用者産品的考驗,性能方面毋庸置疑。由于該算法也應用于手淘相關業務之中,是以後續的疊代、維護都會有強有力的保障。

阿裡雲人臉識别SDK的免費開放,給短視訊行業帶來了無限的可能性。基于阿裡雲,創業者和使用者們都有了更多新鮮的玩法,創新機遇随之而來,希望整個行業能産生更多元、更深入的探索。

掃碼體驗DEMO

阿裡雲首推免費人臉識别SDK 讓每個APP輕松擁有短視訊AR特效你所知道的人臉識别行業阿裡雲聯合手淘 推出人臉識别免費SDK關鍵技術介紹及算法性能測速

繼續閱讀