目錄
背景介紹
邏輯回歸
邏輯回歸屬于線性分類器？
神經網絡
交叉熵與KL散度
激活函數
自然邏輯
背景介紹
比如，當已知y的區間為[0, 1] 時，線性回歸就保證不了預測值屬于這個區間。
Selva Prabhakaran blog
邏輯回歸
Logistic Regression：二分類線性分類器。
NG cs229
邏輯回歸屬于線性分類器？
邏輯回歸是個二分類器(binary classification)。
雖說邏輯函數是"S"形曲線，但其分類邊界還是一條直線，是以歸為線性分類器。
由于S形曲線，輸入很大或很小時，輸出并不敏感，能有效處理一些異常資料。
神經網絡
邏輯回歸可以看作沒有隐藏層的多層感覺機(MLP)：
其深度學習實作如下：
PaddlePaddle
交叉熵與KL散度
邏輯歸回最大化log似然，等價于最小化交叉熵。
KL散度用于衡量兩個分布距離，當兩個分布相同時，KL散度為0。
如下定義可知，KL散度是兩個分布的相對熵，即兩分布的交叉熵與真實分布熵的差，而真實分布P的熵是固定不變的，是以二者是一緻的。
koller pgm
激活函數
在深度神經網絡中，sigmoid是常見的激活函數，主要讓映射關系變得非線性，增加網絡近似能力。
如果MLP中使用的都是sigmoid激活函數，整個神經網絡可以看作是邏輯回歸的多層遞歸。
由于sigmoid激活函數在x很大或很小時，out的值基本不變，進入飽和區，此時梯度很小趨于0，這樣在反向傳播梯度學習時，學習會變得很慢。
自然邏輯
0、1邏輯，中間接近線性、過大過小趨于穩定，直覺上，這是很自然的一種平滑。
這種看似簡易的非線性，經過多層遞歸，卻能表達任意函數。