6 開源人體動作識别OpenPose的安裝與測試

6.1 市場需求

該技術的市場應用主要在安防監控、娛樂APP中，市場空間很大，有以下幾類應用：

1、 體育健身：根據人體關鍵點資訊，分析人體姿态、運動軌迹、動作角度等，輔助運動員進行體育訓練，分析健身鍛煉效果，提升教學效率；

2、 娛樂互動：視訊直播平台、線下互動螢幕等場景，可基于人體檢測和關鍵點分析，增加身體道具、體感遊戲等互動形式，豐富娛樂體驗；

3、 安防監控：實時監測定位人體，判斷特殊時段、核心區域是否有人員入侵；基于人體關鍵點資訊，進行二次開發，識别特定的異常行為，及時預警管控；

而且不僅僅應用在視訊安防中，該技術還可以檢測老年人是否摔倒等等。

6.2 應用與挑戰

人體骨骼關鍵點檢測是計算機視覺的基礎性算法之一，在計算機視覺的其他相關領域的研究中都起到了基礎性的作用，如行為識别、人物跟蹤、步态識别等相關領域。具體應用主要集中在智能視訊監控，病人監護系統，人機互動，虛拟現實，人體動畫，智能家居，智能安防，運動員輔助訓練等等。

由于人體具有相當的柔性，會出現各種姿态和形狀，人體任何一個部位的微小變化都會産生一種新的姿态，同時其關鍵點的可見性受穿着、姿态、視角等影響非常大，而且還面臨着遮擋、光照、霧等環境的影響，除此之外，2D人體關鍵點和3D人體關鍵點在視覺上會有明顯的差異，身體不同部位都會有視覺上縮短的效果（foreshortening），使得人體骨骼關鍵點檢測成為計算機視覺領域中一個極具挑戰性的課題。

6.3 相關資料集

LSP（Leeds Sports Pose Dataset）：單人人體關鍵點檢測資料集，關鍵點個數為14，樣本數2K，在目前的研究中基本上被棄用；

FLIC（Frames Labeled In Cinema）：單人人體關鍵點檢測資料集，關鍵點個數為9，樣本數2W，在目前的研究中基本上被棄用；

MPII（MPII Human Pose Dataset）：單人/多人人體關鍵點檢測資料集，關鍵點個數為16，樣本數25K；

MSCOCO：多人人體關鍵點檢測資料集，關鍵點個數為17，樣本數多于30W，目前的相關研究基本上還需要在該資料集上進行驗證；

AI Challenger：多人人體關鍵點檢測資料集，關鍵點個數為14，樣本數約38W，競賽資料集；

PoseTrack：最新的關于人體骨骼關鍵點的資料集，多人人體關鍵點跟蹤資料集，包含單幀關鍵點檢測、多幀關鍵點檢測、多人關鍵點跟蹤三個人物，多于500個視訊序列，幀數超過20K，關鍵點個數為15。

6.4 安裝與實踐

基于CMU開源的人體關鍵點檢測模型OpenPose，我們做了一些實驗。實驗的代碼是基于OpenPose實作的Pytorch版本。

openpose是基于CVPR 2016 Convolutional Pose Machine（CPM）和CVPR2017 realtime multi-person pose estimation以及CVPR2017 Hand Keypoint Detection in Single Images using Multiview Bootstrapping這3篇paper的模型做出來的。

實驗環境

項目 說明

處理器 Intel Core i7

記憶體 32GB

系統類型 Ubuntu 16.01

顯示卡 GTX 1081ti

硬碟 256GB SSD

開發工具 Pycharm

開發語言 Python

在實驗中，我們分别針對單人、多人進行了關鍵點檢測，實驗效果展示如圖所示。

單人檢測

圖 2 1 單人檢測

多人檢測

圖 2 2多人檢測