【简博士统计学习方法】第1章：7. 生成模型与判别模型

7. 生成模型与判别模型

利用所得到的模型对输入的变量进行预测，通过学习数据得到模型的方法又可以分为生成方法和判别方法。

7.1 生成模型和判别模型

7.1.1 生成模型

由训练数据集学习得到联合分布概率$P(X,Y)$，然后求出条件分布$P(Y|X)$作为预测模型，即生成模型（Generative Model）：
$$P(Y\mid X)=\frac{P(X,Y)}{P(X)}$$
典型的生成模型：朴素贝叶斯法、隐马尔科夫模型（时间序列，不太懂，没接触）。
注：输入和输出变量要求为随机变量。

7.1.2 判别模型

由数据直接学习决策函数$f(X)$或者条件概率分布$P(Y|X)$作为预测模型，即判别模型（Discriminative Model）
典型的判别模型：k近邻法、感知机、决策树等。
注：不需要输入和输出变量均为随机变量。

7.1.3 对比两种模型

生成模型需要从大量的数据中寻找规律；
判别模型侧重点利用差别取分类。

【注】生成模型需要数据量大才能还原联合概率分布。生成模型能很好地处理隐变量的情况。判别模型不能反映数据本身的特性。

【注】隐变量：在生成模型中，隐变量（latent variable）是指那些我们无法直接观察到的变量。它们是模型中用于生成观测数据的潜在因素，通常可以理解为数据的潜在结构或潜在原因。隐变量的存在帮助生成模型解释数据的生成过程，而这些隐变量本身并不直接出现在我们收集的数据中。