机器学习系列——坐标下降法

坐标下降法，是沿着坐标轴的方向去下降。

坐标下降法的数学依据是：

，其中是的向量，即有个维度。如果在某一点，使得在每一个坐标轴上都是最小值，那么就是一个全局最小值

于是，我们的优化目标是：在的个坐标轴上，对损失函数做迭代的下降，当所有的坐标轴上的都收敛，此时损失函数最小，此时的即为我们要求的结果。

具体算法流程：

1、首先，初始化向量，随机取值即可，即为，上面的括号里的数字表示当前迭代的轮数。

2、对于第轮的迭代，我们从开始，到为止，依次求。的表达式如下：

向量的个维度的迭代式如下：

也就是说是使得最小化的的值。此时只有是变量，其余都是常量，所以这就是一个关于的一元函数，很容易通过求导求得最小值。

如果上面这个式子不好理解，我们具体一点，在第轮，向量的个维度的迭代式如下：