Machine Learning Basics

1.Modeling

最常見的分類問題，從帶有标簽的Data中訓練Model然後對Future Data 進行預測。

1.1 Linear Models

一個常見的LInear Models，一個維的特征向量x，乘上對應的系數矩陣得到預測結果。

根據訓練的資料，我們用預測值和真實值的平方差之和的平均值，作為Loss

Function，然後使用Least squares regression(最小二乘法)更新

然後Linear Regression 對于比如圖檔預測年齡效果十分糟糕。

1.2 CNN

傳統的方法是通過一些特征提取算法提取Feature vector，然後通過Linear Model 預測。

使用CNN可以不斷提取進階别的Feature 然後通過可訓練的分類器進行分類。

CNN更适合圖像資料。

1.3 CNN‘s applications

1.4.RNN循環神經網絡

1.5 Application

機器翻譯

語音識别

1.6 DFL(深度強化學習)

如圍棋、機器人控制。

1.7 總結

2.Computations

解決這些模型，通常使用數值計算方法：如梯度下降和随機梯度下降。

2.1 Gradient Descent

2.2 Computational Challenges

計算量大+模型參數大導緻訓練很慢。

2.3 Machine Learning in Practice

找到合适資料和問題的模型，然後缺點網絡結構、激活函數、損失函數等。

不斷改進預測準确率(通過ML model經驗和對問題資料的了解)