之前就學習了機器學習的相關知識，最近再次進行學習并進行梳理，希望能有所收獲。
（1）模型
線性回歸假設輸出與各個輸入之間是線性的關系
（2）損失函數
在模型訓練中，我們需要衡量預測值與真實值之間的誤差。通常我們會選取一個非負數作為誤差，且數值越小表示誤差越小。一個常用的選擇是平方函數。 它在評估索引為 i 的樣本誤差的表達式為
（3）優化函數
當模型和損失函數形式較為簡單時，上面的誤差最小化問題的解可以直接用公式表達出來。這類解叫作解析解（analytical solution）。線性回歸和平方誤差剛好屬于這個範疇。
然而，大多數深度學習模型并沒有解析解，隻能通過優化算法有限次疊代模型參數來盡可能降低損失函數的值。這類解叫作數值解（numerical solution）。
在求數值解的優化算法中，小批量随機梯度下降（mini-batch stochastic gradient descent）在深度學習中被廣泛使用。它的算法很簡單：先選取一組模型參數的初始值，如随機選取；接下來對參數進行多次疊代，使每次疊代都可能降低損失函數的值。在每次疊代中，先随機均勻采樣一個由固定數目訓練資料樣本所組成的小批量（mini-batch） B ，然後求小批量中資料樣本的平均損失有關模型參數的導數（梯度），最後用此結果與預先設定的一個正數的乘積作為模型參數在本次疊代的減小量。
學習率: η 代表在每次優化中，能夠學習的步長的大小
批量大小: B 是小批量計算中的批量大小batch size