天天看點

胡言亂語找節奏 —— 什麼才是機器學習的未來

模闆比對

什麼才是描述像不像的最直白簡單的算法——KNN

什麼才是學習出最貼近人的認知的模闆比對算法——KMEAN?KMEDOID?or other clustering methods?

                    —— 也有可能是被簡單的卷積核編碼化後

什麼樣的結構最貼近人的認知

生成模型進化 -> 生成+判别模型

判别模型應該隻是一種認知的一種,不是認知的全部,認知的全部應該是有概念的,但是判别模型卻沒法展現這一點

但是并不是說有了概念的模型就能很好的幫助判别模型做分類

                    —— 上述問題的關鍵還是判别模型對于資料特性的依賴性

                    —— 判别模型依賴資料的豐富度,這種豐富度應該是類内散度盡量的小,每個子類量要大

梯度下降的學習算法或者說整個DNN的模型挺像黑箱的,根本不知道權值的變化規律,或者說根本就不是梯度下降的算法來調整權值的——這一點由MNIST的softmax_loss_layer的輸入可以看出,全連接配接把CNN提取的特征好像是給打亂了,必須要用softmax來“歸一化”才能讓資料看起來像是編碼化的結果

不要認為近幾年就可以大舉攻破人工智能,人工智能還有非常多的路要走,即便是解決了人腦的認知,視覺的特性,其他器官的特性都是值得研究的方向,there is a long long long way to go 

機器學習的發展曆史:

缺資料,缺理論 -> 有理論,缺資料(淺層模型的興起) -> 不缺資料,不缺理論,缺加速(DNN前夕) -> 不缺資料,不缺理論,不缺加速(DEEP LEARNING) -> 少量label資料,大量unlabel資料,缺合理的“認知結構” -> 從腦認知到各個器官認知的研究

半監督模型

超分類的idea還是不漂亮,有點像是解決眼下的問題的應對方案,不過也不一定

感覺生成模型不但要跟判别模型并行用,也要串行用

繼續閱讀