胡言亂語找節奏 —— 什麼才是機器學習的未來

模闆比對

什麼才是描述像不像的最直白簡單的算法——KNN

什麼才是學習出最貼近人的認知的模闆比對算法——KMEAN？KMEDOID？or other clustering methods？

                    —— 也有可能是被簡單的卷積核編碼化後

什麼樣的結構最貼近人的認知

生成模型進化 -> 生成+判别模型

判别模型應該隻是一種認知的一種，不是認知的全部，認知的全部應該是有概念的，但是判别模型卻沒法展現這一點

但是并不是說有了概念的模型就能很好的幫助判别模型做分類

                    —— 上述問題的關鍵還是判别模型對于資料特性的依賴性

                    —— 判别模型依賴資料的豐富度，這種豐富度應該是類内散度盡量的小，每個子類量要大

梯度下降的學習算法或者說整個DNN的模型挺像黑箱的，根本不知道權值的變化規律，或者說根本就不是梯度下降的算法來調整權值的——這一點由MNIST的softmax_loss_layer的輸入可以看出，全連接配接把CNN提取的特征好像是給打亂了，必須要用softmax來“歸一化”才能讓資料看起來像是編碼化的結果

不要認為近幾年就可以大舉攻破人工智能，人工智能還有非常多的路要走，即便是解決了人腦的認知，視覺的特性，其他器官的特性都是值得研究的方向，there is a long long long way to go 

機器學習的發展曆史：

缺資料，缺理論 -> 有理論，缺資料(淺層模型的興起) -> 不缺資料，不缺理論，缺加速(DNN前夕) -> 不缺資料，不缺理論，不缺加速(DEEP LEARNING) -> 少量label資料，大量unlabel資料，缺合理的“認知結構” -> 從腦認知到各個器官認知的研究

半監督模型

超分類的idea還是不漂亮，有點像是解決眼下的問題的應對方案，不過也不一定

感覺生成模型不但要跟判别模型并行用，也要串行用