MachineLearning之Logistic回歸

　假設現在有一些資料點，我們用一條直線對這些點進行拟合（該線稱為最佳拟合直線），這個拟合過程就稱為回歸；

　利用Logistic回歸進行分類的主要思想是：　根據現有資料對分類邊界線建立回歸公式， 以此進行分類。 這裡的“回歸”一詞源于最佳拟合， 表示要找到最佳拟合參數集， 其背後的數學分析将在下一部分介紹。 訓練分類器時的做法就是尋找最佳拟合參數， 使用的是最優化算法。

　　機關階躍函數也稱海維賽德階躍函數（Heaviside step function）

　　Sigmoid函數：

　　　　

　　為了實作Logistic回歸分類器， 我們可以在每個特征上乘以一個回歸系數， 然後把所有的結果值相加， 将這個總和代入Sigmoid函數中， 進而得到一個範圍在0~1之間的數值。 最後， 結果大于0.5的資料被歸入1類， 小于0.5的即被歸入0

類。 是以， Logistic回歸也可以被看成是一種機率估計。

　　那麼現在問題來了？ 在确定了分類器的函數形式之後，如何确定最佳回歸系數【不同于 權重線性回歸中的“權重”】呢？

　　　梯度上升法