生成式模型与判别式模型

生成式模型(generative model)会对x和y的联合分布p(x,y)进行建模,然后通过贝叶斯公式来求得p(y|x), 最后选取使得p(y|x)最大的yi. 具体地,

判别式模型(discriminative model)则会直接对p(y|x)进行建模.

监督学习模型可分为生成模型与判别模型

判别模型直接学习决策函数(Y=f(X))或者条件概率分布对p(Y|X) 直观来说，判别模型学习的是类别之间的最优分隔面，反映的是不同类数据之间的差异 生成模型学习的是联合概率分布P(X,Y)，然后根据条件概率公式计算 P(Y|X): P(Y|X) = P(X,Y)/P(X) 常见模型 判别模型 K 近邻、感知机（神经网络）、决策树、逻辑斯蒂回归、最大熵模型、SVM、提升方法、条件随机场、CART 生成模型 朴素贝叶斯、隐马尔可夫模型、混合高斯模型、贝叶斯网络、马尔可夫随机场、DBN

学习资料：https://github.com/imhuay/Algorithm_Interview_Notes-Chinese/blob/master/A-机器学习/A-机器学习基础.md#生成模型与判别模型