【學習筆記2】Regression-Case Study

回歸分析：輸出是一個數值

（The output of the function is a scalar）

第一步：建立函數模型

第二步：判斷函數好壞

y hat：表示training data中正确的值（已知），實際觀察到function的output

函數的函數——泛函

損失函數Loss Function實際上是衡量一組參數（w，b）的好壞

平方損失函數：最小二乘法（平方是為了取正值）本質上是找到一條線 使得所有的點到它的距離和最小

本質上，應該畫一個三維圖像，w，b為自變量，損失函數為應變量，在此用顔色代表

第三步：找最好的函數

arg指傳回變量的值，這裡傳回w，b的值

梯度下降

（一個參數）：求微分

步長因子：學習率 + 斜率**（越陡 斜率絕對值越大 步長就越大*）*

local optimal：局部最優

not global optimal：非全局最優

（兩個參數）：求偏微分

倒三角就是梯度算子（在空間各方向上的全微分），也就是Hamilton哈密頓算子

圖示公式表示矢量L的梯度

局部最優：即随機梯度下降

線上性回歸中，損失函數L是凸面的

凸函數的局部最優解，就是全局最優解（線性回歸無局部極值）

求偏微分具體過程

最終是得到的y與直線上的y的值的差距（相當于同一個x，兩個y點的內插補點）

generalization：一般化

在一堆function model裡找出最比對的model

yield：産生

一個更複雜的model會在訓練資料集上産生更小誤差

overfitting：過拟合

（一個更複雜的model并不總導緻在測試資料集上更好的表現）

當收集更多資料時，會出現一些在之前的function model中沒被考慮到的隐藏因素

回到第一步：重建函數模型

它同樣屬于線性模型

藍色框框裡的是feature

以下将寶可夢的重量、高度、健康值全部考慮在内

得到的training error非常可觀，但是testing error 過拟合

回到第二步：Regularization正則化

正則化解決過拟合問題：也就是在L函數中加入一個正則化項

我們需要更平滑的function：也就是輸出對輸入不那麼sensitive

在做regularization時，不需要考慮b這一項（因為我們要做的是找一個平滑的function，調整b與一個函數的平滑程度無關，隻是将函數上下偏移）

λ \lambda λ值越大，考慮smooth的正則化那一項就越大，function就越平滑，但訓練資料的誤差就越大（ λ \lambda λ值越大，越傾向于考慮w本來的值，而減少考慮error）