人工智能名人檔案——李飛飛、楊立昆

1 Li Fei-Fei （李飛飛）

現為美國斯坦福大學計算機科學系教授、美國國家工程院院士、以人為本人工智能研究院（HAI）院長、AI4ALL聯合創始人及主席 、Twitter公司董事會獨立董事，主要研究方向為機器學習、計算機視覺、認知計算神經學，曾獲斯隆研究獎計算機科學獎、影響世界華人大獎，入選2015年“全球百大思想者”、“2017年度中國留學人員50人榜單”。2015年在TED的一段演講“李飛飛：如何教計算機了解圖檔”很火爆。

最突出的貢獻：建構了ImageNet資料集

李飛飛在資料方面的研究改變了人工智能研究的形态，從這個意義上講完全稱得上是「改變了世界」。

• ImageNet:

ImageNet項目由李飛飛教授于2007年發起，其團隊花費兩年半的時間才完成了一個含有1500萬張照片、涵蓋22000種物品的資料庫，在2009年發表了一篇名為《ImageNet: A Large-Scale Hierarchical Image Database》的論文并免費公開資料集，但當時并沒有激起很大的浪花甚至人們對更多的資料能改進算法這種簡單的概念還相當懷疑。

ImageNet的重大轉折點是ImageNet挑戰賽：李飛飛說服著名的圖像識别大賽 PASCAL VOC 舉辦方與 ImageNet 聯合舉辦賽事，雖然 PASCAL 大賽雖然備受矚目，資料集的品質很高，但類别卻很少，隻有 20 個，相比之下，ImageNet 的圖像類别高達 1000個。随着比賽不斷舉辦，ImageNet 與 PASAL 合作的這項賽事成為衡量圖像分類算法在當時最複雜圖像資料集上性能如何的一個基準。ImageNet挑戰賽從2010年開始，到2017年不再舉辦，而後ImageNet由Kaggle公司繼續維護。

“人們驚訝地發現經 ImageNet 訓練後的模型可以用作其它識别任務的啟動模型。你可以先用 ImageNet 訓練模型，然後再針對其它任務調試模型，這不僅僅是神經網絡領域的突破，也是識别領域的重大進展。”

ImageNet 真正改變了人工智能領域對「資料」的認知，它讓人們真正意識到資料集在 AI 研究中的核心地位，它和算法同等重要。

參考：https://www.zhihu.com/question/30990652

2 Jia Deng

李飛飛的博士生，大學是清華大學計算機科學專業，現任密歇根大學計算機科學與工程系的助理教授，是Yahoo ACE獎，ICCV Marr獎和ECCV最佳論文獎的獲得者。一直協助李飛飛運作ImageNet 項目，自2010年以來，協辦ImageNet大規模視覺識别挑戰賽（ILSVRC）直到2017年。是NIPS 2012和CVPR 2014 BigVision研讨會的主要組織者。

代表性論文：

3 Geoffrey Everest Hinton

加拿大認知心理學家和計算機科學家，被譽為“神經網絡之父”、“深度學習鼻祖”、”人工智能教父“。現任Google副總裁兼工程研究員、多倫多大學的特聘教授，也是Vector Institute首席科學顧問。2018年因作為“深度學習領域的三大先驅之一”獲得圖靈獎，被選為2017年改變全球商業格局的50人。

主要貢獻：率先将反向傳播(Backpropagation)用于多層神經網絡，發明了玻爾茲曼機(Boltzmann machine)，提出逐層初始化預訓練方法揭開了深度學習的序幕，提出了膠囊神經網絡(capsule network)。

代表性論文：

1. 反向傳播算法的使用
2. Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Cognitive modeling, 1988, 5(3): 1.
3. CNN語音識别開篇TDN網絡
4. Waibel A, Hanazawa T, Hinton G, et al. Phoneme recognition using time-delay neural networks[J]. Backpropagation: Theory, Architectures and Applications, 1995: 35-61.
5. DBN網絡的學習
6. Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554.
7. 深度學習的開篇
8. Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. science, 2006, 313(5786): 504-507.
9. 資料降維可視化方法t-SNE
10. Maaten L, Hinton G. Visualizing data using t-SNE[J]. Journal of machine learning research, 2008, 9(Nov): 2579-2605.
11. DBM模型
12. Salakhutdinov R, Hinton G. Deep boltzmann machines[C]//Artificial intelligence and statistics. 2009: 448-455.
13. ReLU激活函數的使用
14. Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines[C]//Proceedings of the 27th international conference on machine learning (ICML-10). 2010: 807-814.
15. RBM模型的訓練
16. Hinton G E. A practical guide to training restricted Boltzmann machines[M]//Neural networks: Tricks of the trade. Springer, Berlin, Heidelberg, 2012: 599-619.
17. 深度學習語音識别開篇
18. Hinton G, Deng L, Yu D, et al. Deep neural networks for acoustic modeling in speech recognition[J]. IEEE Signal processing magazine, 2012, 29.
19. 深度學習圖像識别開篇AlexNet
20. Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
21. 權重初始化和Momentum優化方法的研究
22. Sutskever I, Martens J, Dahl G, et al. On the importance of initialization and momentum in deep learning[C]//International conference on machine learning. 2013: 1139-1147.
23. Dropout方法提出
24. Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.
25. 三巨頭深度學習綜述
26. LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.
27. 蒸餾學習算法
28. Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015.
29. Capsule NetworkSabour S, Frosst N, Hinton G E.
30. Dynamic routing between capsules[C]//Advances in neural information processing systems. 2017: 3856-3866.

參考：https://www.sohu.com/a/328382912_120233360

4 Alex Krizhevsky

AlexNet論文的第一作者，Hinton的博士生。

（從左到右依次為：Ilya Sutskever、Alex Krizhevsky、Geoffrey Hinton）

代表性論文：

5 Yann LeCun

Hinton的博士後，CNN之父，紐約大學終身教授，前Facebook人工智能研究院負責人，IJCV、PAMI和IEEE Trans 的審稿人，建立了ICLR(International Conference on Learning Representations)會議并且跟Yoshua Bengio共同擔任主席。2014年獲得了IEEE神經網絡領軍人物獎，2018榮獲圖靈獎。

主要貢獻：1998年開發了LeNet5，并制作了被Hinton稱為“機器學習界的果蠅”的經典資料集MNIST。

代表性論文：

1. 使用反向傳播和神經網絡識别手寫數字
2. LeCun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural computation, 1989, 1(4): 541-551.
3. 早期權值剪枝的研究
4. LeCun Y, Denker J S, Solla S A. Optimal brain damage[C]//Advances in neural information processing systems. 1990: 598-605.
5. 将siamese網絡用于簽名驗證
6. Bromley J, Guyon I, LeCun Y, et al. Signature verification using a" siamese" time delay neural network[C]//Advances in neural information processing systems. 1994: 737-744.
7. LeNet5卷積神經網絡提出
8. LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
9. 對max pooling和average pooling的理論分析
10. Boureau Y L, Ponce J, LeCun Y. A theoretical analysis of feature pooling in visual recognition[C]//Proceedings of the 27th international conference on machine learning (ICML-10). 2010: 111-118.
11. DropConnect方法
12. Wan L, Zeiler M, Zhang S, et al. Regularization of neural networks using dropconnect[C]//International conference on machine learning. 2013: 1058-1066.
13. OverFeat檢測架構
14. Sermanet P, Eigen D, Zhang X, et al. Overfeat: Integrated recognition, localization and detection using convolutional networks[J]. arXiv preprint arXiv:1312.6229, 2013.
15. CNN用于立體比對
16. Zbontar J, LeCun Y. Computing the stereo matching cost with a convolutional neural network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1592-1599.
17. 三巨頭深度學習綜述
18. LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.
19. EBGAN
20. Zhao J, Mathieu M, LeCun Y. Energy-based generative adversarial network[J]. arXiv preprint arXiv:1609.03126, 2016.

參考：https://www.sohu.com/a/328598636_120233360