邏輯回歸原理與公式手推
- 邏輯回歸(Logistic Regression)
邏輯回歸(Logistic Regression)
邏輯回歸算法實際上是一種分類算法，它适用于标簽 𝑦 取值離散的情況，預測的變量 𝑦 是離散的值，如:1 0 0 1。
要搞清楚邏輯回歸的原理必須要從機率和似然性說起。
我們常常用機率描述一個事件發生的可能性。而似然性正好反過來，意思是一個事件實際已經發生了，反推在什麼參數條件下，這個事件發生的機率最大。
即：
已知參數 β 前提下，預測某事件 x 發生的機率是 P（x | β );
已知某個已發生的事件 x，未知參數 β 的似然函數為 L(β | x)；
上面兩個值相等，即:P（x | β ) = L(β | x)
一個參數 β 對應一個似然函數的值，當 β 發生變化， L(β | x)也會随之變化。當我們在取得某個參數的時候，似然函數的值到達了最大值，說明在這個參數下最有可能發生x事件，即這個參數最合理。
是以，最優β，就是使目前觀察到的資料出現的可能性最大的β。
