天天看點

“photo wake-up”創新項目實訓第二周總結

2019年3月23日

/馬曉穎

這周從已有的二維圖像姿态預測的算法出發,參考論文Convolutional pose machines的算法進行二維姿态預測,得出人體14個關節點的位置。

(S.-E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh. Convolutional pose machines. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4724–4732, 2016)

1.算法研究部分

cpm是CMU開源項目OpenPose的前身,目前在MPII競賽single person中排名第七。

Pose estimation任務屬于FCN的一種,輸入是一張人體姿勢圖,輸出n張熱力圖,代表n個關節的響應。

Pose estimation任務屬于FCN的一種,輸入是一張人體姿勢圖,輸出n張熱力圖,代表n個關節的響應。

“photo wake-up”創新項目實訓第二周總結

CPM網絡結構如下圖所示,X代表了經典的VGG結構,在每個stage末用1✖️1卷積輸出heatmap,與label計算loss(中間監督)。

“photo wake-up”創新項目實訓第二周總結

.Stage 1 input是原圖,經過全卷機網絡,輸出是一個P+1層的2Dmap

Stage 2 input是 StageOutput做處理,并且加上 原圖通過幾層網絡後的中層map。輸出同上。

Stage t>2 類似2

(這裡相加的話會有一些尺度問題,應該是ψ中操作了,但論文中沒有解釋ψ。)## 2.用

2.運作準備

環境:windows10+TensorFlow1.4.0+opencv+python3.5

(下載下傳TensorFlow庫費了不少勁)

下載下傳官方models放進models/weigh檔案夾下

修改幾個DEMO_TYPE,輸入圖檔

修改在cpu上運作

運作_cpm_body.py

“photo wake-up”創新項目實訓第二周總結

結果還不錯

“photo wake-up”創新項目實訓第二周總結