天天看点

随机森林总结随机森林总结

随机森林总结

流程

  1. 用N来表示训练用例(样本)的个数,M表示特征数目
  2. 对于每棵树的构建,通过有放回的抽样,取样N次,

    形成一个训练集(即bootstrap取样),并用未抽到的用例(样本)作预测,评估其误差。

  3. 对于所有树中的每个节点的构建,从M个特征中随机选择m个(m应远小于M,根据Leo Breiman的建议,假设总的特征数量为M,这个比例可以是sqrt(M),1/2sqrt(M),2sqrt(M))用于确定决策树上一个节点的决策结果
  4. 树不需要进行剪枝
  5. 按上述的方法构建多个树。
  6. 将生成的多棵决策树组成随机森林。对于分类问题,按多棵树分类器投票决定最终分类结果;对于回归问题,由多棵树预测值的均值决定最终预测结果

小结:

  1. 每棵树的训练集通过有放回的抽样N个组成
  2. 每个节点的候选属性从特征集中无放回的取m个组成

继续阅读