对于逻辑回归代价函数的优化，我们前面也讲过两种办法：（1）比较通用的梯度下降法；（2）一类比较高级的方法，就是想办法计算出代价函数的导数，类似于线性回归中的正规方程的方法。
本小节介绍如何使用正则化解决逻辑回归的问题。
如上上小节所述，逻辑回归分类的过拟合问题，会使得决策边界非常的扭曲。
类似的，加入正则化项后的代价函数是：
与线性回归类似，梯度下降的算法是：
与上一小节类似，只需要在theta_j这一边加上一个正则项即可：
同样的，alpha后面中括号里面的部分，也是对新的代价函数（加入了正则化项）求偏导后的结果。
如果是使用Octave来定义这个costFunction的话，我们需要这样写：
然后参考前面文章：
爱编程的高老师：Octave实现逻辑回归代价函数优化的一个例子zhuanlan.zhihu.com
中介绍的方法就可以了。当然上面的伪代码，中每一个语句的实现都有不同，就是要加上正则化项。
小结
到此，我们把前面三周的内容都学完了。这个时候，如果你掌握了线性回归、逻辑回归、梯度下降、正则化，那你就已经比大多数的人更了解机器学习了。按照吴老师的说法，你对机器学习的了解已经超过了很多硅谷中机器学习工程师了 。
当然，这还远远不够，接下来几周我们会学习神经网络等等一些更高级的非线性分类器。