說到關聯分析，首先想到的就是“啤酒和尿布”的案例，那麼如何發現“啤酒”和“尿布”之間的關聯關系呢，就是尋找頻繁項集。先來學習兩個概念。
1、支援度和可信度
支援度（support）——資料集中包含該項集的記錄所占的比例。
可信度（confidence）——針對一條關聯規則定義，如{尿布}--->{啤酒}的可信度為“支援度（{尿布，啤酒}/支援度（{尿布}））”。
例如：支援度（{尿布，啤酒} = 3/5，支援度（{尿布}）=4/5，那麼可信度（{尿布}--->{啤酒}）=0.75，說明購買“尿布”的訂單中有75%的購買了“啤酒”。
支援度和可信度是量化關系分析是否成功的方法。假設想找到支援度大于0.8的所有項集，一個辦法就是生成所有可能組合的清單，然後對每一種組合統計出其頻繁程度，但如果物品多時，速度會非常慢。Apriori原理則可以減少關聯規則學習時的計算量。
2、Apriori原理
假設有4種商品，這些商品的組合可能隻有1種，也可能是2種、3種或4種，那麼所有可能的組合數為
對于有N種物品的資料集，共有
種項集組合。即使隻出售100種商品，也會有
種可能的項集組合，計算量非常大，更何況100種商品并不算多。
Apriori原理是指如果某個項集是頻繁的，那麼它的所有子集也是頻繁的。反過來看，如果一個項集是非頻繁的，那麼它的所有超級也是非頻繁的。
例如，項集{2,3}是非頻繁的，那麼{0,2,3}，{1,2,3}，{0,1,2,3}也是非頻繁的，就不用計算他們的支援度了。這樣就可以降低計算量。
關聯分析的包括兩項：發現頻繁項集和發現關聯關系，首先要找到頻繁項集，然後從中獲得關聯關系。
3、使用Apriori算法發現頻繁集
Apriori算法有兩個輸入參數，分别是最小支援度和資料集。
（1）首先會生成單個物品的項集清單。
（2）接着掃描交易記錄，檢視哪些項集滿足最小支援度，把不滿足的集合去掉。
（3）然後對剩下的集合進行組合，生成包含兩個元素的集合。
（4）再掃描交易記錄，去掉不滿足最小支援度的項集。
（5）重複以上過程，直到所有項集都被去掉。
先建立幾個輔助函數：
# 加載資料集
def loadDataSet():
return [[1, 3, 4], [2, 3, 5], [1, 2, 3, 5], [2, 5]]
# 建構大小為1的所有候選集的集合
def createC1(dataSet):
C1 = []
for transaction in dataSet:
for item in transaction:
if not [item] in C1:
C1.append(([item]))
C1.sort()
return map(frozenset, C1)
# 傳回滿足最小支援度的項集，同時傳回一個包含支援度值的字典。D資料集，Ck候選項集，minSupport最小支援度
def scanD(D, Ck, minSupport):
ssCnt = {}
DD = copy.deepcopy(D) # python3.6中，map類型周遊後會變為“空”，是以為了能夠再次周遊，需要深度複制一份
CkCk = copy.deepcopy(Ck)
for tid in D:
for can in Ck:
if can.issubset(tid):
if can not in ssCnt:
ssCnt[can] = 1
else:
ssCnt[can] += 1
Ck = copy.deepcopy(CkCk)
numItems = float(len(list(DD)))
retList = []
supportData = {}
for key in ssCnt:
support = ssCnt[key] / numItems
if support >= minSupport:
retList.insert(0, key)
supportData[key] = support
return retList, supportData
測試一下函數：
下面繼續建構完整的Apriori算法。
# 建構候選集Ck
def aprioriGen(Lk, k):
retList = []
lenLk = len(Lk)
for i in range(lenLk):
for j in range(i + 1, lenLk):
L1 = list(Lk[i])[:k - 2]
L2 = list(Lk[j])[:k - 2]
L1.sort()
L2.sort()
if L1 == L2:
retList.append(Lk[i] | Lk[j])
return retList
# 傳回所有頻繁項集，及其支援度
def apriori(dataSet, minSupport=0.5):
C1 = createC1(dataSet)
D = map(set, dataSet)
D1 = copy.deepcopy(D)
L1, supportData = scanD(D, C1, minSupport)
D = copy.deepcopy(D1) # D周遊後就變成空了，需要再次指派，用于下一次周遊
L = [L1]
k = 2
while len(L[k - 2]) > 0:
Ck = aprioriGen(L[k - 2], k)
Lk, supK = scanD(D, Ck, minSupport)
supportData.update(supK)
L.append(Lk)
k += 1
D = copy.deepcopy(D1) # D周遊後就變成空了，需要再次指派，用于下一次周遊
return L, supportData
apriori()是主函數，傳回符合最小支援度的頻繁項集，它通過調用aprioriGen()來建立候選項集Ck。測試一下運作結果。
4、從頻繁項集中挖掘關聯關系
類似于頻繁項集生成，可以為每個頻繁項集生成多個關聯規則，例如對頻繁項集{0,1,2,3}，可以生成如下關聯規則。
如果關聯規則{0,1,2}--->{3}不滿足最小可信度要求，那麼任何左部為{0,1,2}的子集的規則也不會滿足最小可信度，原因如下：
可信度（{0,1,2}--->{3}）=支援度（{0,1,2,3}）/ 支援度（{0,1,2}）
可信度（{0,1}--->{2,3}）=支援度（{0,1,2,3}）/ 支援度（{0,1}）
支援度（{0,1}）一定大于等于支援度（{0,1,2}），是以 可信度（{0,1}--->{2,3}）一定小于等于可信度（{0,1,2}--->{3}）
# 關聯規則，參數：頻繁項集、頻繁項集支援度、最小可信度門檻值，傳回一個包含可信度的規則清單
def generateRules(L, supportData, minConf=0.7):
bigRuleList = []
for i in range(1, len(L)): # 隻取兩個及以上元素的項集
for freqSet in L[i]:
H1 = [frozenset([item]) for item in freqSet]
if (i > 1): # 大于2個元素的項集，做進一步合并
rulesFromConseq(freqSet, H1, supportData, bigRuleList, minConf)
else: # 2個元素的項集，計算可信度
calcConf(freqSet, H1, supportData, bigRuleList, minConf)
return bigRuleList
# 計算可信度，參數：頻繁項、頻繁項集字典、頻繁項集支援度、關聯規則清單、最小可信度門檻值，傳回滿足最小可信度的規則清單
def calcConf(freqSet, H, supportData, brl, minConf=0.7):
prunedH = []
for conseq in H:
conf = supportData[freqSet] / supportData[freqSet - conseq]
if conf >= minConf:
print (freqSet - conseq, '--->', conseq, '可信度：', conf)
brl.append((freqSet - conseq, conseq, conf))
prunedH.append(conseq)
return prunedH
# 合并函數，對于多于2個元素的項集，做遞歸挖掘關聯關系
def rulesFromConseq(freqSet, H, supportData, brl, minConf=0.7):
m = len(H[0])
if (len(freqSet) > (m + 1)):
Hmp1 = aprioriGen(H, m + 1)
Hmp1 = calcConf(freqSet, Hmp1, supportData, brl, minConf) # 傳回滿足最小可信度的關聯關系
if (len(Hmp1) > 1): # 如果滿足最小可信度，再繼續挖掘，否則子集也不會滿足
rulesFromConseq(freqSet, Hmp1, supportData, brl, minConf)
代碼建構完成了，可以寫個主函數來測試一下：
if __name__ == '__main__':
dataSet = loadDataSet()
L, suppData = apriori(dataSet, 0.5)
rules = generateRules(L, suppData, 0.5)
結果如下，如果把最小可信度改為0.7，則最後隻傳回3條可信度為1.0的規則。
5、總結
學習關聯分析，首先了解支援度和可信度兩個概念，挖掘關聯關系，就是在“較高”支援度的頻繁項集中，發現“較高”可信度的關聯關系。為了提高計算效率，利用Apriori原理，通過過濾非頻繁項集及其超級來減少發現頻繁項集的計算量，通過過濾不滿足最小可信度的關聯規則及其所有子集的關聯規則，來減少發現關聯關系的計算量。盡管如此，在資料集合較大時，Apriori算法的計算速度仍然會比較慢。
代碼資源下載下傳位址：
https://download.csdn.net/download/leaf_zizi/12084772
參考：
Peter Harrington 《機器學習實戰》