（2020李宏毅）机器学习-Regression

文章目录

• ​​Regression: Output a scalar(标量)​​
• ​​Example Application​​

• ​​Step 1: Model​​
• ​​Step 2: Goodness of Function​​
• ​​Step 3: Best Function​​

Regression: Output a scalar(标量)

• Stock Market Forecast(股票市场预测)



• Self-driving Car



• Recommendation(推荐)

Example Application

预测宝可梦的CP值

Step 1: Model

Step 2: Goodness of Function

Training Data: 10 pokemons

Loss function 𝐿:==>

Step 3: Best Function

• Gradient Descent

上述梯度求出来是个负值，代表左高右低，说明L取最小值要往w增大（也就是负梯度的方向移动），所以,同理梯度是正值时，也是这个公式

梯度下降中的梯度（gradient）：

两个变量时的计算：

公式推导见：​​javascript:void(0)中的2.7 梯度下降的线性回归​​

如果选用更复杂的模型，数据如下：

会产生过拟合问题（overfitting）

过拟合解决方案：Regulation

Smaller means smoother

input:

output:

If w is smaller,output 对 input越不sensitive