什麼是回歸？
用一條線對資料進行拟合，這個過程叫做回歸。
logistic回歸與sigmoid函數
sigmoid範圍是0~1，對線的結果進行計算
引入梯度上升
Logistic回歸的一般過程
（1）收集資料：采用任意方法收集資料。
（2）準備資料：由于需要進行距離計算，是以要求資料類型為數值型。（有限）另外，結構化資料格式則最佳。
（3）分析資料： 采用任意方法對資料進行分析。
（4）訓練算法：大部分時間将用于訓練，訓練的目的是為了找到最佳的分類回歸系數
（5）測試算法：一旦訓練完成，分類将會很快。
（6）使用算法：首先，我們需要輸入一些資料，并将起轉化成對應的結構化數值。接着，基于訓練好的回歸系數既可以 對這些數值進行簡單的回歸計算，在這之後，我們就可以在輸出的類别上做一些其他分析工作。
4.1 基于Logistic回歸和Sigmoid函數分類
優點：計算代價不高，易于了解和實作。
缺點：容易欠拟合，分類精度可能不高。
使用資料類型：數值型和标稱型資料。
4-1 Logistic回歸梯度上升優化方法
from numpy import *
def loadDataSet(): # 加載資料集
dataMat = [] # 建立資料清單
labelMat = [] # 建立标簽清單
fr = open('testSet.txt') # 打開測試資料檔案
for line in fr.readlines(): # 讀取檔案每一行
lineArr = line.strip().split() # 除去每一行的空格後拆分成清單， 例如 ['0.317029', '14.739025', '0']
dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])]) # 增加子清單，[1.0,lineArr第一個元素（float）,lineArr第二個元素（float）]
labelMat.append(int(lineArr[2])) # 添加元素，元素來源于 lineArr清單的第三個元素（transform str to int first）
return dataMat, labelMat # 傳回資料清單，标簽清單
# 注：[1.0, float(lineArr[0]), float(lineArr[1])] 中的1.0 表示的是特征X0 的值，一般預設X0 = 1.0（or 1）
def sigmoid(inX): # 定義sigmoid函數， 同書P74
return 1.0/(1+exp(-inX))
def gradAscent(dataMatIn, classLabels): # 定義梯度上升函數
dataMatrix = mat(dataMatIn) # 把資料清單轉化成矩陣形式（清單和矩陣的簡單差别：清單一般是一行，以逗号分隔，而矩陣是多行，沒逗号）
labelMat = mat(classLabels).transpose() # 把标簽清單轉化成矩陣形式，然後轉置 （行向量 -> 列向量）
m,n = shape(dataMatrix) # 取 資料矩陣的行和列 第一個是 行數m=100， 第二個是 列數n=3
alpha = 0.001 # 學習率初始化 = 0.001，步長
maxCycles = 500 # 最大循環次數 = 500 疊代次數
weights = ones((n,1)) # 權重初始化為 = 0.0 列向量（形式為n行1列）
for k in range(maxCycles):
h = sigmoid(dataMatrix * weights) # 1.0/(1+exp(-Z) f[x,y] = Z = dataMatrix * weights
error = (labelMat - h)
weights = weights + alpha * dataMatrix.transpose() * error # 更新權重 梯度上升疊代公式
return weights # 傳回 權重
dataArr, labelMat = loadDataSet()
dataMatrix = mat(dataArr)
#print(dataMatrix)
res = gradAscent(dataArr,labelMat)
print(res)
結果：
[[ 4.12414349]
[ 0.48007329]
[-0.6168482 ]]
4-2 畫出資料集和Logistic回歸最佳你和直線的函數
def plotBestFit(weights):
import matplotlib.pyplot as plt
dataMat, labelMat = loadDataSet() # 指派資料清單， 标簽清單（元素隻有1 和 0）
dataArr = array(dataMat) # array(dataMat) 不等于 mat(dataMat),但是形式上好像一樣
n = shape(dataArr)[0] # n=100 數組的行n=100，（數組的列m=3）
xcord1 = []
ycord1 = []
xcord2 = []
ycord2 = []
for i in range(n): # 周遊 （0->100-1）
if int(labelMat[i]) == 1: # 如果第i個元素的标簽值是 1
xcord1.append(dataArr[i,1]) # 把對應資料數組（形似矩陣）的第i行的第2個元素 增加到 xcord1
ycord1.append(dataArr[i,2]) # 把對應資料數組（形似矩陣）的第i行的第3個元素 增加到 ycord1
else: # 如果标簽清單（labelMat）中第i個元素的标簽是 0
xcord2.append(dataArr[i,1]) # 同上
ycord2.append(dataArr[i,2]) # 同上
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
ax.scatter(xcord2, ycord2, s=30, c='green')
# 繪制拟合直線
x = arange(-3.0,3.0,0.1) # x取值範圍 起點-3.0， 終點3.0 步長0.1
y = (-weights[0]-weights[1]*x)/weights[2] # weight[1]是1*1的矩陣
ax.plot(x,y)
plt.xlabel('X1')
plt.ylabel('X2')
plt.show()
from numpy import * ### why do in this way ???
# import numpy
dataArr, LabelMat = loadDataSet()
weights = gradAscent(dataArr,LabelMat)
plotBestFit(weights.getA()) # #将numpy矩陣轉換為數組
4-3 随機梯度上升算法
注：和梯度上升法的差別：第一，後者的變量h和error都是向量，而前者則全是數值；第二，前者沒有矩陣的轉化過程，所有變量的資料類型都是Numpy數組
def stocGradAscent0(dataMatrix, classLabels):
m,n = shape(dataMatrix) # 取數組的行m， 列n
alpha = 0.01 # 學習率初始化
weights = ones(n) # 建立 含有 n 個元素的 數組
for i in range(m): # 循環每一行的元素
h = sigmoid(sum(dataMatrix[i]*weights)) # 1.0/(1+exp(-Z) # h 是向量
error = classLabels[i] - h
weights = weights + alpha * error * dataMatrix[i] # 更新權重
return weights # 傳回權重
from numpy import *
dataArr,labelMat = loadDataSet()
weights = stocGradAscent0(array(dataArr), labelMat)
plotBestFit(weights)
4-4 改進的随機梯度上升算法
def stocGradAscent1(dataMatrix, classLabels, numIter = 150):
m,n = shape(dataMatrix) # 取數組（narray）的行，列 m=100， n=3 （narray 和 matrix 長的一樣）
weights = ones(n) # [1. 1. 1.]
for j in range(numIter): # 循環到 最大循環次數numIter = 150：
# dataIndex = range(m) ### 書中需要更改的地方 tip: TypeError: 'range' object doesn't support item deletion
dataIndex = list(range(m)) # 建立一個0到99， 步長為1 的清單
for i in range(m): # 循環listIndex
alpha = 4/(1.0+j+i)+0.01
randIndex = int(random.uniform(0, len(dataIndex))) # 随機整數值，傳回 0 到 m - 1（這裡是99）
h = sigmoid(sum(dataMatrix[randIndex]*weights)) # 1.0/(1+exp(-Z)) Z = dataMatrix * weights
error = classLabels[randIndex] - h
weights = weights + alpha * error * dataMatrix[randIndex] # 更新權重
del(dataIndex[randIndex]) # 删除用過的 随機數 （避免重複）
return weights # 傳回權重
from numpy import *
dataArr,labelMat = loadDataSet()
weights = stocGradAscent1(array(dataArr), labelMat)
plotBestFit(weights)
示例：從疝氣病症預測病嗎的死亡率
4-5 Logistic回歸分類函數
def classifyVector(inX, weights):
prob = sigmoid(sum(inX*weights)) # 輸入Z=inX*weights（特征向量*回歸系數） 計算Sigmoid值
if prob > 0.5:
return 1.0
else:
return 0.0
def colicTest():
frTrain = open('horseColicTraining.txt') # 打開訓練集
frTest = open('horseColicTest.txt') # 打開測試集
trainingSet = [] # 訓練集清單
trainingLabels = [] # 訓練标簽清單
for line in frTrain.readlines(): # 讀取訓練文本的 每一行
currLine = line.strip().split('\t') # 除去空格，然後用split方法 轉化 成list
lineArr = [] # 定義行數組（處理每行資料）
for i in range(21): #資料有22列，前21個為特征，最後一個是分類标簽
lineArr.append(float(currLine[i])) # 添加currLine的第i個元素到lineArr
trainingSet.append(lineArr) # 把 lineArr 作為 子清單 添加到 訓練集清單trainingSet
trainingLabels.append(float(currLine[21])) # 把 currLine 最後一個元素（是标簽） 添加到訓練标簽trainingLabels
trainWeights = stocGradAscent1(array(trainingSet),trainingLabels,500) # 疊達500次 求 訓練權重
errorCount = 0
numTestVec = 0.0
for line in frTest.readlines(): # 讀取測試文本的每一行
numTestVec += 1.0 # numTestVec == 1.0
currLine = line.strip().split('\t') # 除去空格，然後用split方法 轉化 成list
lineArr = [] # 定義行數組（處理每行資料）
for i in range(21): # 資料有22列，前21個為特征，最後一個是分類标簽
lineArr.append(float(currLine[i])) # 添加currLine的第i個元素到lineArr
if int(classifyVector(array(lineArr), trainWeights)) != int(currLine[21]): # 如果分類有錯誤
errorCount += 1
errorRate = (float(errorCount)/numTestVec) # 計算錯誤率
print("the error rate of this test is: %f" % errorRate)
return errorRate
# errorCount,numTestVec 各變量結果 25, 67.0
def multiTest(): # 調用colicTest（）函數10次并求平均值
numTests = 10
errorSum = 0.0
for k in range(numTests):
errorSum += colicTest()
print("after %d iterations the average error rate is: %f" % (numTests, errorSum/float(numTests)))
print(colicTest())
multiTest()
結果：
the error rate of this test is: 0.313433
0.31343283582089554
the error rate of this test is: 0.343284
the error rate of this test is: 0.432836
the error rate of this test is: 0.343284
the error rate of this test is: 0.388060
the error rate of this test is: 0.283582
the error rate of this test is: 0.432836
the error rate of this test is: 0.358209
the error rate of this test is: 0.373134
the error rate of this test is: 0.373134
the error rate of this test is: 0.358209
after 10 iterations the average error rate is: 0.368657