機器學習之“監督學習”
1936 年 Fisher 提出線性判别分析（Linear Discriminant Analysis），是一種有監督的資料降維與分類算法。
1950 年左右，樸素貝葉斯分類器（NaiveBayes Classifier），基于最基本的貝葉斯理論，假設特征互相獨立，根據貝葉斯公式利用先驗資訊去計算樣本被分類到每一個類别的機率。
1958 年感覺機（Perceptron），神經網絡的前身，結合了當時對腦細胞的研究以及機器學習的成果，首次被提出并用于圖像識别。
同年，邏輯回歸（Logistic Regression），用廣義線性模型去預測樣本被分類到每個類别的機率。
1967 年 K 近鄰算法（KNN），本質上根據現有的帶标簽的資料集，去确定最優的 K 值，使得新樣本的類别由與它最近的 K 個樣本的類别所決定。
1986 年反向傳播算法（Backpropagation），一種數值計算方法論，通過鍊式法則來計算損失函數對于模型中參數的偏導數。
1995 年AdaBoost ，增強學習（Boosting）的一個重要算法，一種自适應的增強分類器，逐漸選擇分類效果好的弱分類器并計算權重，同時調整各資料的權重使無法被弱分類器分類的資料權重更大。
同年，支援向量機（SVM）算法。SVM 希望線上性可分的資料集上尋找最優的超平面使得距離兩個類别最近的樣本（支援向量）與超平面的距離之和最大，通過凸優化的方法求解最優超平面。
2001年，将內建學習的Bagging 與決策樹相結合而誕生的随機森林（Random Forest），增強了決策樹的分類效果。
2009 年距離度量學習出現，例如去學習距離度量而非直接使用歐式距離，在 KNN 中這種方法提升了模型的準确度。
#監督學習##模型##政策##量化投資#
