對于邏輯回歸代價函數的優化，我們前面也講過兩種辦法：（1）比較通用的梯度下降法；（2）一類比較進階的方法，就是想辦法計算出代價函數的導數，類似于線性回歸中的正規方程的方法。
本小節介紹如何使用正則化解決邏輯回歸的問題。
如上上小節所述，邏輯回歸分類的過拟合問題，會使得決策邊界非常的扭曲。
類似的，加入正則化項後的代價函數是：
與線性回歸類似，梯度下降的算法是：
與上一小節類似，隻需要在theta_j這一邊加上一個正則項即可：
同樣的，alpha後面中括号裡面的部分，也是對新的代價函數（加入了正則化項）求偏導後的結果。
如果是使用Octave來定義這個costFunction的話，我們需要這樣寫：
然後參考前面文章：
愛程式設計的高老師：Octave實作邏輯回歸代價函數優化的一個例子zhuanlan.zhihu.com
中介紹的方法就可以了。當然上面的僞代碼，中每一個語句的實作都有不同，就是要加上正則化項。
小結
到此，我們把前面三周的内容都學完了。這個時候，如果你掌握了線性回歸、邏輯回歸、梯度下降、正則化，那你就已經比大多數的人更了解機器學習了。按照吳老師的說法，你對機器學習的了解已經超過了很多矽谷中機器學習工程師了 。
當然，這還遠遠不夠，接下來幾周我們會學習神經網絡等等一些更進階的非線性分類器。