集成（模型）融合方法总结

本文为本人另两篇博客机器学习/计算机视觉(cv)实习面试资料整理（附字节、阿里、腾讯、美团面经）、机器学习知识点整理以及集成树知识点概括下的子内容，有需要的朋友按需自取~

另：本文只是知识点的整理概括，更为详细的可以参考我每个部分给出的链接~

目录

• 分类
• 线性加权融合法
• 交叉融合法(blending)
• 瀑布融合法
• 特征融合法
• 预测融合法
• 分类器 Boosting 思想
• 分类器 Bagging 思想
• Stacking

详细介绍参考模型的几种常见融合方法和【机器学习】模型融合方法概述

分类

集成树知识点概括

• 线性加权融合法；
• 交叉融合法(blending)；
• 瀑布融合法；
• 特征融合法；
• 预测融合法；
• 分类器 Boosting 思想 ；
• 分类器 Bagging 思想；
• Stacking；

线性加权融合法

汇总单一模型的结果，然后按不同算法赋予不同的权重，将多个推荐算法的结果进行加权；

交叉融合法(blending)

利用不同的训练集，在推荐结果中穿插不同推荐模型的结果，以确保结果的多样性；

瀑布融合法

将多个模型串联的方法。每个推荐算法被视为一个过滤器，通过将不同粒度的过滤器前后衔接的方法来进行；

特征融合法

• 通过使用不同的数据来源，抽取不同的特征，输入到推荐模型中进行训练，然后将结果合并；
• 能解决现实中经常遇到的数据缺失的问题；

预测融合法

• 推荐算法也可以被视为一种 “预测算法”，即我们为每个用户来预测他接下来最有可能喜欢的商品；
• 而预测融合法的思想是，我们可以对每个预测算法再进行一次预测，即不同的算法的预测结果，我们可以训练第二层的预测算法去再次进行预测，并生成最终的预测结果；

  

分类器 Boosting 思想

• 每轮训练后对预测错误的样本赋以较大的权重，加入后续训练集合；
• 最终的预测函数 H 对分类问题采用有权重的投票方式，对回归问题采用加权平均的方法对新示例进行判别；

分类器 Bagging 思想

• Bagging就是采用有放回的方式进行抽样，用抽样的样本建立子模型,对子模型进行训练，这个过程重复多次，最后进行融合；
• 分类问题：voting；
• 回归问题：average；

Stacking

Kaggle机器学习之模型融合（stacking）心得

• 类似交叉验证？
• stacking：将训练好的所有基模型对训练基进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过所有基模型的预测形成新的测试集，最后再对测试集进行预测：

  

  本人关于树的其他文章：
• 集成树知识点概括
• 决策树、随机森林知识点概括
• AdaBoost算法概述
• GBDT（梯度提升树）算法概述
• XGBoost算法概述
• LightGBM算法概述