DeepCAMP: Deep Convolutional Action & Attribute Mid-Level Patterns
CVPR 2016
本文提出一種 分割圖像 patch 的方法，因為細粒度的分類問題，如：行人動作識别 和 行人屬性識别等等。
Appearance Overview
本文提出一種利用 mid-level 深度視覺模式 進行動作和屬性分類，這是屬于細粒度分類任務。我們的一個想法是：一個較好的 embedding 可以改善聚類算法的品質。我們設計了一種疊代算法，在每次疊代中，我們通過訓練一個新的 CNN 來對上一次疊代得到的 cluster labels 進行分類，以此來改善 embedding。此外，我們相信結合人物整體的資訊和 context 以及 圖像 patch 的特定動作和屬性标簽可以改善 mid-level elements 的clusters。是以，我們從 AlexNet 網絡結構上進行改進，以結合 patch 和 global image 的 feature。實驗表明，利用這種新的結構學到的 embedding 性能超過了僅僅使用 patch images 微調後的 AlexNet 網絡結構。
此外，在每次疊代過程中，我們通過移除 poorly scored patches 來改善 clusters。作者提到本文的兩個貢獻點為：
1). design an iterative algorithm contains an expert patch CNN to improve the embedding ;
2). proposing new patch CNN architecture training to use context in clustering the patches.
Pipeline Details
1. Initial feture extraction and clustering.
第一個子產品 利用 MDPM 對image patches 進行 聚類。
2. Train patch clusters CNN.
我們主要的意識認為 圖像 patches 的表示在聚類上扮演了重要的角色。假設初始的聚類是合理的，在這個子產品，我們訓練一個新的 CNN 來改善表示。訓練這個新的 CNN 的目的就是當給定圖像 patch的時候，可以預測 cluster 的 label。這裡就和之前的那個 CNN 差別開來，之前的那個是為了 classify bounding box images to different action categories. 我們相信利用判别性的 patch cluster CNN results 學習這個細粒度的分類可以得到一個更好的聚類表示。
Updating clusters
既然已經用新訓練的 CNN 學習了表示，那麼我們利用 MDPM算法再一次的更新 clusters 以得到一個更好的 clusters 的集合來比對新的表示。由于在 MDPM 中進行 mid-level clusters 的填充是非常耗時的，我們固定住 第一層的聚類，然後通過重複 re-clustering 和 利用新的表示融合來更新 clusters。這個可以得到更好的聚類，最後，我們訓練新的 LDA 分類器來檢測 clusters。為了進行 re-clustering而改進的 MDPM在 4.1節進行了描述。
Harvesting patches.
為了改善 clusters 的純度，我們通過移除不适合任何 cluster的patches來清理 clusters。我們通過門檻值化 LDA 分類器為每一個cluster産生的置信值來達到此效果。最終，we pass the new patches with associate cluster labels to learn a new CNN based representation.
3. Mid-level Deep Patterns Network
說實話，感覺看到這裡，感覺整個流程寫的挺混亂的。我哩個去。。。讓我先整理下思路。。。懵逼了。。。
Experience
我的感受：
夜深了，我要入睡了。。。
明天再 bb