生成式模型与判别式模型的理解与对比

      在机器学习中，我们常常利用数据来对模型建模，不同的建模方式产生了两种不同的模型：生成式模型、判别式模型。

• 判别式模型

       由数据学习决策函数Y=f(X)或者条件概率P(Y|X)作为预测模型。判别式模型学习的是不同类别数据的差异性，最终得到最佳分类面

• 生成式模型

       由数据学习联合概率P(Y,X)作为预测模型，生成式模型学习的是不同类别数据的相似性，得到一个相似度概率分布，相似度最高的类别即为预测类别

• 对比

对比	判别式模型	生成式模型
特点	寻找不同类别之间的最优分类面，反映异类数据之间的差异	以统计的角度表示数据的分布情况，能够反映同类数据本身的相似度
区别（假如输入特征x,类别标签y）	估计的是条件概率分布：P(y|x)	估计的是联合概率分布 P(x,y)
联系	由判别式模型不能得到生成式模型	由生成式模型可以得到判别式模型（贝叶斯公式）
优势	(1)能清晰地分辨出多类或某一类与其他类之间的差异特征；（2）适用于较多类别的识别；（3）模型更简单	（1）研究单类问题比判别式模型更灵活；（2）模型可以通过增强学习得到；（3）能用于数据不完整的情况。
缺点	不能反映训练数据本身的特性；	学习和计算过程比较复杂
性能	较好（因为利用了训练数据的类别标识信息）	较差
常见模型举例	KNN，SVM，决策树，线性回归，LR，boosting，线性判别分析（LDA），条件随机场，感知机，传统神经网络	朴素贝叶斯，隐马尔科夫模型，高斯混合模型，限制玻尔兹曼机
主要应用场景	图像文本分类，时间序列预测	NLP，医疗诊断