【人臉對齊-Landmarks】人臉關鍵點檢測方法及評測彙總

好東西往往都在最後面，請耐心向下滑

傳統方法：

1. SDM：Supervised descent method and its applications to face alignment. CVPR2013

速度：

CPU(i7) - 小于12ms
           

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
    common: (5.60), challenge: (15.40), Full: (7.52). 
           

評價：

1. 開源代碼完備
2. Shape跟蹤
3. 梯度下降

2. ERT：One millisecond face alignment with an ensemble of regression trees. CVPR2014

速度：

CPU(i7) - 小于6ms
           

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
    common: Full: (6.40). 
           

評價：

1. 回歸樹，速度快
2. 靜态圖檔處理效果好，可以處理光照變化較小的圖檔，可用于标定圖檔
3. 有成熟架構，dlib

3. LBF：Face alignment at 3000 fps via regressing local binary features， 2014

速度：

CPU(i5) - PC上至少300fps，最快3000fps
           

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
    common: (4.95), challenge: (11.98), Full: (6.32). 
    評測資料集2---IBUG: 11.98
    評測資料集3---LFPW: 3.35
    評測資料集4---HELEN: 5.41
           

評價：

1. 能夠比較好的處理簡單樣本

4. CFSS：Face Alignment by Coarse-to-Fine Shape Searching， 2015

速度：

CPU(i5) - 25fps
           

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
    common: (4.73), challenge: (9.98), Full: (5.76). 
           

評價：

1. 在300w資料集上，效果優于LBF和2013年之前的很多方法。在LFPW，Helen資料集上比較結果類似。

深度方法：

1. cascade CNN：Deep Convolutional Network Cascade for Facial Point Detection，2013

速度：

GTX1070 - 8ms
    CPU - 120ms
           

精度：

待補充
           

評價：

1. BioID、LFPW資料集上與2012年之前的方法做對比，沒有與最新方法比，測試效果一般。CNN級聯結構。

2. Face++：Extensive facial landmark localization with coarse-to-fine convolutional network cascade，2013

速度： 未知

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
    （Threshold=0.08）threshold=0.08時，51點error=5%，68點error=8%
           

評價：

沒有與其他方法對比，此方法效果稍微差點。
           

3. TCDCN：Learning and Transferring Multi-task Deep Representation for Face Alignment，2014

速度：

GTX760 - 1.5ms
    CPU(i5) - 17ms
           

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
    common: (4.80), challenge: (8.60), Full: (5.54). 
    評測資料集2---IBUG: 9.15
           

評價：

1. IBUG資料集優于LBF的11.98；
2. AFLW資料集上優于cascade CNN；
3. 300-W資料集上優于LBF，對難樣本效果更好。

4. MCSR：M3 CSR: Multi-view, multi-scale and multi-component cascade，2016

速度：

CPU(i7) - 50ms
           

精度：

評測資料集2---IBUG: 5.65
           

評價：

1. IBUG優于TCDCN的9.15，優于LBF的11.98

5. Approaching human level facial landmark localization by deep learning，2016

速度：

CPU(i7) - 500ms
           

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
    common: (3.43), challenge: (5.72), Full: (3.88). 
    評測資料集2---IBUG: 5.65
           

評價：

1. IBUG優于TCDCN的9.15，優于LBF的11.98
2. CNN級聯結構

6. MDM：Mnemonic Descent Method:A recurrent process applied for end-to-end face alignment， 2016

速度： 未知

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
    （LBA論文）common: (4.83), challenge: (10.14), Full: (5.88). 
    （Threshold=0.08） 51點error=4.2%，68點error=6.8%
    評測資料集2---IBUG: 5.65
           

評價：

1. CNN+RNN 深度學習方法
2. 效果優于Face++,yan et al,CFSS。

7. Unconstrained Face Alignment via Cascaded Compositional Learning，2016

速度：

CPU - 350FPS 
           

精度：

評測資料集3---AFLW ：  待補充
           

評價：

1. 使用決策樹;
2. AFLW上優于CFSS，LBF。

8. DRDA：Occlusion-free Face Alignment: Deep Regression Networks Coupled with De-corrupt AutoEncoders，2016

速度：

未知
           

精度：

評測資料集2---IBUG：  待補充
           

評價：

1. IBUG資料集上，和很多較差方法做對比，效果稍微優于LBF。

9. Stacked Hourglass Network for Robust Facial Landmark Localisation, CVPR 2017

速度：

未知
           

精度：

評測資料集1---300w (Inter-pupil Normalisation )：
	paper: common: 4.12,challenge: 7.00, Full: -. 
	 複現: common: 3.84,challenge: 7.37, Full:4.54. 
           

評價：

1. 添加一篇相關論文：SHN：Stacked Hourglass Networks for Human Pose Estimation，ECCV 2016

開源：

1. github[網友實作]：https://github.com/face-alignment-group-of-ahucs/SHN-based-2D-face-alignment
2. github[網友實作]：https://github.com/raymon-tian/hourglass-facekeypoints-detection
3. github[網友實作]：https://github.com/deepinx/deep-face-alignment

10. Style Aggregated Network for Facial Landmark Detection, CVPR 2018

速度：

未知
           

精度：

待補充
           

評價：

待補充

開源：

1. github[作者給出]：https://github.com/D-X-Y/landmark-detection

11. Wing Loss for RobustFacial Landmark Localisation with Convolutional Neural Networks. 2018

速度：

GTX1080 TITAN - 60ms
    CPU - 100/15/5 FPS 
           

精度：

評測資料集1---300w (Inter-pupil Normalisation )：
	common: 3.27,challenge: 7.18, Full: 4.04. 
           

評價：

1. Wing loss.
2. 資料均衡PDB

12. LAB：Look at Boundary: A Boundary-Aware Face Alignment Algorithm. CVPR2018.

速度：

GTX1080 TITAN - 60ms
    CPU - 未知
           

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
    common: (4.20, 3.42, 2.57), challenge: (7.41, 6.98, 4.72), Full: (4.92, 4.12, 2.99). 

    評測資料集1.2---300w (Inter-ocular Normalisation)：
    common: (2.98, 2.43, 1.85), challenge: (5.19, 4.85, 3.28), Full: (3.49, 2.93, 2.13). 
           

評價：

1. 結合輪廓
2. 目前已知精度最高

13. DCFE：A Deeply-initialized Coarse-to-fine Ensemble of Regression Trees for Face Alignment. 2018

速度：

環境：
	NVidia GeForce GTX 1080 (8GB) GPU 
	Intel Xeon E5-1650 at 3.50GHz (6 cores/12 threads, 32 GB of RAM)
	C++, Tensorflow , OpenCV libraries.
	訓練時間：48h
	預測速度：
    GTX 1080 (8GB) - 32 FPS，其中 CNN 25ms，ERT-6.25ms
    CPU - 未知
           

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
    common: (3.83), challenge: (7.54), Full: (4.55). 

    評測資料集1.3---300w (Inter-corners Normalisation)：
    common: (2.76), challenge: (5.22), Full: (3.24). 
           

評價：

比LAB低，但速度比LAB快

14. PFLD：A Practical Facial Landmark Detector. 2019

速度：

ARM 845 140fps
           

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
    common: (3.17), challenge: (6.33), Full: (3.76). 

    評測資料集1.3---300w (Inter-ocular Normalisation)：
    common: (2.96), challenge: (4.98), Full: (3.37). 
           

評價：

1. 打破以往的所有成績，速度最快，在ARM 高通845處理器上可以跑到140fps
2. 在300w上各項成績均能達到最佳
3. 模型非常小巧，模型僅有2.1M，便于移植
4. 基于L2設計了一個新的loss，該loss能夠針對資料的不均衡（姿态角度/類别）進行損失計算
5. 采用backbone（Mobilenet v2）+ auxiliary （Mobilenet v2），其中輔網Auxiliary僅在訓練使用
6. 唯一的不足是，作者隻給出了文章和一個APP，沒有開源代碼，隻能借鑒其思想
7. 題外話：這篇文章在很多地方描述的還是不到位，有些概念還是沒能夠搞清楚，此外本文列出CED圖也和LAB文章中給出的出入很大，不知道是作者的錯誤，還是我了解有誤。

開源：

1. paper：https://arxiv.org/pdf/1902.10859.pdf
2. github[網友複現]：https://github.com/guoqiangqi/PFLD

15. ODN：Robust Facial Landmark Detection via Occlusion-adaptive Deep Networks. CVPR 2019

速度：

待補
           

精度：

評測資料集1.3---300w (Inter-ocular Normalisation)：
    common: (3.56 ), challenge: (6.67), Full: (4.17). 
           

評價：

wing loss + LAB

開源：

16. AWing：Adaptive Wing Loss for Robust Face Alignment via Heatmap Regression

速度：

待補
           

精度：

評測資料集1---300w (Inter-pupil Normalisation)：  
   common: (3.77 ), challenge: (6.32), Full: (4.31). 

    評測資料集1.3---300w (Inter-ocular Normalisation)：
    common: (2.72), challenge: (4.52), Full: (3.07). 
           

評價：

待補

開源：

1. github: https://github.com/protossw512/AdaptiveWingLoss

17. LUVLi Face Alignment: Estimating Landmarks’ Location, Uncertainty, and Visibility Likel

速度：

精度：

評測資料集1.3---300w (Inter-ocular Normalisation)：
    common: (2.76), challenge: (5.16), Full: (3.23). 
           

評價：

開源：

18. ATF: Towards Robust Face Alignment via Leveraging Similarity and Diversity across Different Datasets

速度：

精度：

評測資料集1.3---300w (Inter-ocular Normalisation)：
    common: (2.76), challenge: (5.16), Full: (3.23). 
           

評價：

開源：

名額彙總：

1. 資料集 300w

2. 資料集 WFLW

To Do List：

1. ADD 論文對應連結
2. ADD 開源代碼及相關工具連結
3. ADD 個人評測名額和各個平台速度
4. ADD 博文解讀
5. 敬請關注

參考博文：

[1] https://blog.csdn.net/xzzppp/article/details/74939823

[2] https://blog.csdn.net/Taily_Duan/article/details/54376467

[3] https://blog.csdn.net/Mynameisyournamewuyu/article/details/85490059

[4] https://blog.csdn.net/wwwhp/article/details/88361422