吳恩達教授訪談Hinton教授摘要

視訊源位址：https://mooc.study.163.com/course/2001281002#/info

AI屆的兩位大牛的對話。總結如下：

1. Hinton的論文讓人們真正意義上地了解了反向傳播(BP)算法，1986年被Nature收錄。

最近在讀Hinton與1985年寫的一篇關于BP算法中Delta-Rule的文章，文章名字叫

LearningInternal Representations By Error Propagation

2.現代AI的觀點，也就是正式的結構主義觀點，任何一個概念都有許多其他概念與其相關，為了了解一個概念，可能需要一個圖形結構或者一個語義網絡。

3. Hinton認為他發現的那些算法或者網絡結構中，到目前他還很有興趣的是:

(1) Boltzmann機，用很簡單的學習算法去應用到密度很高的網絡結構中，但是運作速度很慢，于是提出了受限Boltzmann機，取得了很好的效果。

(2) 受限Boltzmann機的訓練，僅學習一層的隐藏特征，然後重複地把這些特征當成資料，一直重複，直到你想要的次數。

(3) 變分法，使得EM過程更有效。

4.ReLU激活函數等同于一疊Logistic神經元。

5.雖然未來無監督學習會變得很重要，但是目前主要的研究還是針對監督學習。

6.生成對抗網絡是深度學習中最新、最重要的想法。

7.入門深度學習的方法：

（1）多讀論文，但别讀太多（适合于比較有創新想法的童鞋）

（2）重制發表論文中的算法

（3）不要停止程式設計

（4）要相信自己的直覺，不要因為大家都反對這個idea，就否定了自己的想法。

8.對于找導師的意見，一定要找個和自己認知相同的老師，你做的東西，導師也要贊同。

9.吳恩達和Hinton教授都認為，深度學習雖然不像是第二次工業革命，但是規模相當，因為人類和計算機的關系改變了，不再隻是程式設計，而是教會計算機去學習。