組合方法

裝袋

1. 采取自助法抽樣抽取樣本
2. 根據樣本建立一顆樹
3. 循環步驟1和2 k次，得到k顆決策樹，不必剪枝
4. 對分類問題，k個結果中出現類最多的那個類作為最後的分類；對回歸問題，取k個結果的均值

提升

1. 對D中每個樣本初始化權值為w=1n

   w

   =

   1

   n

2. for i = 1 to k do:
3. 根據權重和D得到模型Mi，計算其錯誤率e=所有訓練錯誤的樣本的權重之和
4. 如果Mi的錯誤率>50% –> return 步驟3
5. 計算該分類器的權重：alpha = 1/2log((1-e)/e)
6. 更新樣本權值：正确分類了的樣本：權重=權重*exp(-alpha)；錯誤分類的樣本：權重=權重*exp(alpha)
7. 将這些權重再歸一化（使得所有樣本權重之和=1）
8. end for
9. 最後的H(x)=sign(每個弱分類器*其對應權重之和)

随機森林

1. 自助法抽樣抽取n個樣本

2. 對這n個樣本，抽取m個特征（一般取m=n−−√

   m

   =

   n

   ），根據樣本建立一顆樹

3. 循環步驟1和2 k次，得到k顆決策樹，不必剪枝
4. 對分類問題，k個結果中出現類最多的那個類作為最後的分類；對回歸問題，取k個結果的均值