Fast rcnn and Faster rcnn 算法原理 思想 特征提取網絡 網絡參數訓練 分類與位置調整 實驗與結論 思想 區域生成網絡：結構 區域生成網絡：訓練 共享特征 實驗
cls_score層用于分類，輸出K+1維數組 p ，表示屬于K類和背景的機率。
bbox_prdict層用于調整候選區域位置，輸出4*K維數組 t ，表示分别屬于K類時，應該平移縮放的參數。
代價函數
loss_cls層評估分類代價。由真實分類 u 對應的機率決定：
Lcls=−logpu
loss_bbox評估檢測框定位代價。比較真實分類對應的預測參數 tu 和真實平移縮放參數為 v 的差别：
Lloc=Σ4i=1g(tui−vi)
g為Smooth L1誤差，對outlier不敏感：
g(x)={0.5x2|x|−0.5|x|<1otherwise
總代價為兩者權重和，如果分類為背景則不考慮定位代價：
L={Lcls+λLlocLclsu為前景u為背景
源碼中bbox_loss_weights用于标記每一個bbox是否屬于某一個類
全連接配接層提速
分類和位置調整都是通過全連接配接層(fc)實作的，設前一級資料為 x 後一級為 y ，全連接配接層參數為 W ，尺寸 u×v 。一次前向傳播(forward)即為：
y=Wx
計算複雜度為 u×v 。
将 W 進行SVD分解，并用前t個特征值近似：
W=UΣVT≈U(:,1:t)⋅Σ(1:t,1:t)⋅V(:,1:t)T
原來的前向傳播分解成兩步：
y=Wx=U⋅(Σ⋅VT)⋅x=U⋅z
計算複雜度變為 u×t+v×t 。
在實作時，相當于把一個全連接配接層拆分成兩個，中間以一個低維資料相連。
Fast rcnn and Faster rcnn 算法原理 思想 特征提取網絡 網絡參數訓練 分類與位置調整 實驗與結論 思想 區域生成網絡：結構 區域生成網絡：訓練 共享特征 實驗
在github的源碼中，這部分似乎沒有實作。
實驗與結論
實驗過程不再詳述，隻記錄結論
- 網絡末端同步訓練的分類和位置調整，提升準确度
- 使用多尺度的圖像金字塔，性能幾乎沒有提高
- 倍增訓練資料，能夠有2%-3%的準确度提升
- 網絡直接輸出各類機率(softmax)，比SVM分類器性能略好
- 更多候選窗不能提升性能
同年作者團隊又推出了Faster RCNN，進一步把檢測速度提高到準實時，可以參看這篇部落格。
關于RCNN, Fast RCNN, Faster RCNN這一系列目标檢測算法，可以進一步參考作者在15年ICCV上的講座Training R-CNNs of various velocities。
Ren, Shaoqing, et al. “Faster R-CNN: Towards real-time object detection with region proposal networks.” Advances in Neural Information Processing Systems. 2015.
Fast rcnn and Faster rcnn 算法原理 思想 特征提取網絡 網絡參數訓練 分類與位置調整 實驗與結論 思想 區域生成網絡：結構 區域生成網絡：訓練 共享特征 實驗
Girshick, Ross, et al. “Rich feature hierarchies for accurate object detection and semantic segmentation.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2014. ↩
Girshick, Ross. “Fast r-cnn.” Proceedings of the IEEE International Conference on Computer Vision. 2015. ↩
M. D. Zeiler and R. Fergus, “Visualizing and understanding convolutional neural networks,” in European Conference on Computer Vision (ECCV), 2014. ↩
K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” in International Conference on Learning Representations (ICLR), 2015. ↩
