人工智能名人档案——李飞飞、杨立昆

1 Li Fei-Fei （李飞飞）

现为美国斯坦福大学计算机科学系教授、美国国家工程院院士、以人为本人工智能研究院（HAI）院长、AI4ALL联合创始人及主席 、Twitter公司董事会独立董事，主要研究方向为机器学习、计算机视觉、认知计算神经学，曾获斯隆研究奖计算机科学奖、影响世界华人大奖，入选2015年“全球百大思想者”、“2017年度中国留学人员50人榜单”。2015年在TED的一段演讲“李飞飞：如何教计算机理解图片”很火爆。

最突出的贡献：构建了ImageNet数据集

李飞飞在数据方面的研究改变了人工智能研究的形态，从这个意义上讲完全称得上是「改变了世界」。

• ImageNet:

ImageNet项目由李飞飞教授于2007年发起，其团队花费两年半的时间才完成了一个含有1500万张照片、涵盖22000种物品的数据库，在2009年发表了一篇名为《ImageNet: A Large-Scale Hierarchical Image Database》的论文并免费公开数据集，但当时并没有激起很大的浪花甚至人们对更多的数据能改进算法这种简单的概念还相当怀疑。

ImageNet的重大转折点是ImageNet挑战赛：李飞飞说服著名的图像识别大赛 PASCAL VOC 举办方与 ImageNet 联合举办赛事，虽然 PASCAL 大赛虽然备受瞩目，数据集的质量很高，但类别却很少，只有 20 个，相比之下，ImageNet 的图像类别高达 1000个。随着比赛不断举办，ImageNet 与 PASAL 合作的这项赛事成为衡量图像分类算法在当时最复杂图像数据集上性能如何的一个基准。ImageNet挑战赛从2010年开始，到2017年不再举办，而后ImageNet由Kaggle公司继续维护。

“人们惊讶地发现经 ImageNet 训练后的模型可以用作其它识别任务的启动模型。你可以先用 ImageNet 训练模型，然后再针对其它任务调试模型，这不仅仅是神经网络领域的突破，也是识别领域的重大进展。”

ImageNet 真正改变了人工智能领域对「数据」的认知，它让人们真正意识到数据集在 AI 研究中的核心地位，它和算法同等重要。

参考：https://www.zhihu.com/question/30990652

2 Jia Deng

李飞飞的博士生，本科是清华大学计算机科学专业，现任密歇根大学计算机科学与工程系的助理教授，是Yahoo ACE奖，ICCV Marr奖和ECCV最佳论文奖的获得者。一直协助李飞飞运行ImageNet 项目，自2010年以来，协办ImageNet大规模视觉识别挑战赛（ILSVRC）直到2017年。是NIPS 2012和CVPR 2014 BigVision研讨会的主要组织者。

代表性论文：

3 Geoffrey Everest Hinton

加拿大认知心理学家和计算机科学家，被誉为“神经网络之父”、“深度学习鼻祖”、”人工智能教父“。现任Google副总裁兼工程研究员、多伦多大学的特聘教授，也是Vector Institute首席科学顾问。2018年因作为“深度学习领域的三大先驱之一”获得图灵奖，被选为2017年改变全球商业格局的50人。

主要贡献：率先将反向传播(Backpropagation)用于多层神经网络，发明了玻尔兹曼机(Boltzmann machine)，提出逐层初始化预训练方法揭开了深度学习的序幕，提出了胶囊神经网络(capsule network)。

代表性论文：

1. 反向传播算法的使用
2. Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Cognitive modeling, 1988, 5(3): 1.
3. CNN语音识别开篇TDN网络
4. Waibel A, Hanazawa T, Hinton G, et al. Phoneme recognition using time-delay neural networks[J]. Backpropagation: Theory, Architectures and Applications, 1995: 35-61.
5. DBN网络的学习
6. Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554.
7. 深度学习的开篇
8. Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. science, 2006, 313(5786): 504-507.
9. 数据降维可视化方法t-SNE
10. Maaten L, Hinton G. Visualizing data using t-SNE[J]. Journal of machine learning research, 2008, 9(Nov): 2579-2605.
11. DBM模型
12. Salakhutdinov R, Hinton G. Deep boltzmann machines[C]//Artificial intelligence and statistics. 2009: 448-455.
13. ReLU激活函数的使用
14. Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines[C]//Proceedings of the 27th international conference on machine learning (ICML-10). 2010: 807-814.
15. RBM模型的训练
16. Hinton G E. A practical guide to training restricted Boltzmann machines[M]//Neural networks: Tricks of the trade. Springer, Berlin, Heidelberg, 2012: 599-619.
17. 深度学习语音识别开篇
18. Hinton G, Deng L, Yu D, et al. Deep neural networks for acoustic modeling in speech recognition[J]. IEEE Signal processing magazine, 2012, 29.
19. 深度学习图像识别开篇AlexNet
20. Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
21. 权重初始化和Momentum优化方法的研究
22. Sutskever I, Martens J, Dahl G, et al. On the importance of initialization and momentum in deep learning[C]//International conference on machine learning. 2013: 1139-1147.
23. Dropout方法提出
24. Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.
25. 三巨头深度学习综述
26. LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.
27. 蒸馏学习算法
28. Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015.
29. Capsule NetworkSabour S, Frosst N, Hinton G E.
30. Dynamic routing between capsules[C]//Advances in neural information processing systems. 2017: 3856-3866.

参考：https://www.sohu.com/a/328382912_120233360

4 Alex Krizhevsky

AlexNet论文的第一作者，Hinton的博士生。

（从左到右依次为：Ilya Sutskever、Alex Krizhevsky、Geoffrey Hinton）

代表性论文：

5 Yann LeCun

Hinton的博士后，CNN之父，纽约大学终身教授，前Facebook人工智能研究院负责人，IJCV、PAMI和IEEE Trans 的审稿人，创建了ICLR(International Conference on Learning Representations)会议并且跟Yoshua Bengio共同担任主席。2014年获得了IEEE神经网络领军人物奖，2018荣获图灵奖。

主要贡献：1998年开发了LeNet5，并制作了被Hinton称为“机器学习界的果蝇”的经典数据集MNIST。

代表性论文：

1. 使用反向传播和神经网络识别手写数字
2. LeCun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural computation, 1989, 1(4): 541-551.
3. 早期权值剪枝的研究
4. LeCun Y, Denker J S, Solla S A. Optimal brain damage[C]//Advances in neural information processing systems. 1990: 598-605.
5. 将siamese网络用于签名验证
6. Bromley J, Guyon I, LeCun Y, et al. Signature verification using a" siamese" time delay neural network[C]//Advances in neural information processing systems. 1994: 737-744.
7. LeNet5卷积神经网络提出
8. LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
9. 对max pooling和average pooling的理论分析
10. Boureau Y L, Ponce J, LeCun Y. A theoretical analysis of feature pooling in visual recognition[C]//Proceedings of the 27th international conference on machine learning (ICML-10). 2010: 111-118.
11. DropConnect方法
12. Wan L, Zeiler M, Zhang S, et al. Regularization of neural networks using dropconnect[C]//International conference on machine learning. 2013: 1058-1066.
13. OverFeat检测框架
14. Sermanet P, Eigen D, Zhang X, et al. Overfeat: Integrated recognition, localization and detection using convolutional networks[J]. arXiv preprint arXiv:1312.6229, 2013.
15. CNN用于立体匹配
16. Zbontar J, LeCun Y. Computing the stereo matching cost with a convolutional neural network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1592-1599.
17. 三巨头深度学习综述
18. LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.
19. EBGAN
20. Zhao J, Mathieu M, LeCun Y. Energy-based generative adversarial network[J]. arXiv preprint arXiv:1609.03126, 2016.

参考：https://www.sohu.com/a/328598636_120233360