roseblatt在五十年代就提出了感覺機, 又過了将近30年, 多層神經網絡的bp算法才得以普及。
而事實上這不過是微積分中鍊式法則的簡單應用而已, 為什麼要花這麼久呢？
bengio在quora上這樣回答道：
很多看似顯而易見的想法隻有在事後才變得顯而易見。
在控制論中, 很早就開始應用鍊式反則來解決多層非線性系統。
但在80年代早期, 神經網絡的輸出是離散的, 這樣就無法用基于梯度的方法來優化了。
這時rumelhart和hinton想到, 隻要把輸出做成平滑的(sigmoid), 就可以用鍊式法則來訓練多層神經網絡了。
是以這不僅僅是鍊式法則的問題, 而是要跳出離散輸出的框框, 這種理念上變革并不容易。
本文作者：佚名
來源：51cto