天天看点

吴恩达【机器学习】(1) 梯度下降

Supervised learning: 人主导的机器学习。

Unsupervised learning: 机器自主的学习。

Notation

m: Number of training examples

x: “intput” / features

y: “output” variable / “target” variable

(x, y): one training example

(y(i), y(i)): ith training example

Hypothesis: maps from x to y.

吴恩达【机器学习】(1) 梯度下降

Cost Function

如何衡量问题的最优解?通过样本点偏移的平方和,最小值为最优。

吴恩达【机器学习】(1) 梯度下降

Simplified(一个参数的问题)

吴恩达【机器学习】(1) 梯度下降

hθ(x) VS j(θ1)

问题解函数,偏移差函数

吴恩达【机器学习】(1) 梯度下降
吴恩达【机器学习】(1) 梯度下降

多参数偏移差函数

吴恩达【机器学习】(1) 梯度下降

Gradient Descent(梯度下降)

使用梯度下降求最优解。

吴恩达【机器学习】(1) 梯度下降

使用微分(斜率),不断靠近最优解。

吴恩达【机器学习】(1) 梯度下降

系数α选取,不可太大,也不可太小。

吴恩达【机器学习】(1) 梯度下降

梯度下降与线性方程的结合

吴恩达【机器学习】(1) 梯度下降
吴恩达【机器学习】(1) 梯度下降

总结:

根据样本数据,以及θ0、θ1参数的变化,可以得到一个曲面(bowl-shape) j(θ0、θ1),得到曲面后,再【反向求解】根据梯度下降得到最优解。

吴恩达【机器学习】(1) 梯度下降

Reference

  • machine-learning

继续阅读