贝叶斯分类器是一类基于贝叶斯定理的概率分类方法。它从概率视角出发，通过先验知识和观测数据推断后验概率，进而做出最优分类决策。本章从贝叶斯决策论出发，逐步引出朴素贝叶斯、半朴素贝叶斯、贝叶斯网和EM算法。

贝叶斯分类器

贝叶斯决策论

贝叶斯决策论是概率框架下实施决策的基本方法。在所有相关概率都已知的理想情况下，它考虑如何基于这些概率和误判损失来选择最优的类别标记。

假设有N种可能的类别标记 $c_1, c_2, \dots, c_N$，$\lambda_{ij}$ 是将真实标记为 $c_j$ 的样本误分类为 $c_i$ 所产生的损失。则样本 $\mathbf{x}$ 分类为 $c_i$ 的条件风险为：

$$R(c_i | \mathbf{x}) = \sum_{j=1}^N \lambda_{ij} P(c_j | \mathbf{x})$$

贝叶斯判定准则：最小化总体风险等价于对每个样本选择条件风险最小的类别：

$$h^*(\mathbf{x}) = \arg \min_{c \in \mathcal{Y}} R(c | \mathbf{x})$$

$h^$ 称为贝叶斯最优分类器，对应的 $R(h^)$ 为贝叶斯风险——这是分类器性能的理论上限。

若目标是最小化分类错误率，则 $\lambda_{ij} = 0\ (i=j)$，否则 $\lambda_{ij} = 1$。此时 $R(c|\mathbf{x}) = 1-P(c|\mathbf{x})$，贝叶斯最优分类器简化为：$h^*(\mathbf{x}) = \arg \max_c P(c | \mathbf{x})$ —— 选择后验概率最大的类别。

贝叶斯公式与两种模型范式

后验概率由贝叶斯定理给出：

$$P(c | \mathbf{x}) = \frac{P(c) P(\mathbf{x} | c)}{P(\mathbf{x})}$$

• 先验概率 $P(c)$：各类样本在空间中的比例，直接通过频率估算
• 似然 $P(\mathbf{x} | c)$：类条件概率——真正的难点。假设d个二值属性，样本空间大小为 $2^d$，直接估计不可行

由此引出两种建模路线：

• 判别式模型：直接建模后验 $P(c|\mathbf{x})$（逻辑回归、SVM、决策树）
• 生成式模型：先建模联合分布 $P(\mathbf{x},c)$，再推出 $P(c|\mathbf{x})$（朴素贝叶斯）

极大似然估计 (MLE)

估计 $P(\mathbf{x}|c)$ 的常用策略：先假定概率分布形式（如正态分布），再估计参数 $\boldsymbol{\theta}_c$。令 $D_c$ 为第c类样本集，对数似然为：

$$\ell(\boldsymbol{\theta}_c) = \sum_{\mathbf{x} \in D_c} \log P(\mathbf{x} | \boldsymbol{\theta}_c)$$

极大似然估计：$\hat{\boldsymbol{\theta}}_c = \arg \max \ell(\boldsymbol{\theta}_c)$ —— 选择使观测数据”最可能发生”的参数。

频率主义 vs 贝叶斯主义：频率主义认为参数是未知常量，通过优化似然估计；贝叶斯主义认为参数是随机变量，有自己的先验分布，需要计算参数的后验。MLE是频率主义的代表方法。

朴素贝叶斯分类器

属性条件独立性假设（最核心、最大胆的假设）：

$$P(\mathbf{x} | c) = \prod_{i=1}^d P(x_i | c)$$

代入贝叶斯公式得到朴素贝叶斯分类器：

$$h_{nb}(\mathbf{x}) = \arg \max_c P(c) \prod_{i=1}^d P(x_i | c)$$

概率估计

• 先验：$P(c) = |D_c| / |D|$
• 离散属性：$P(x_i | c) = |D_{c, x_i}| / |D_c|$
• 连续属性（假设正态）：$P(x_i|c) \sim \mathcal{N}(\mu_{c,i}, \sigma_{c,i}^2)$

拉普拉斯修正

若某属性值从未在训练集中出现 → 概率估为0 → 连乘归零。拉普拉斯修正为每个取值”预置”一个虚拟样本，从根本上解决零概率问题：

$$\hat{P}(c) = \frac{|D_c| + 1}{|D| + N}, \quad \hat{P}(x_i | c) = \frac{|D_{c, x_i}| + 1}{|D_c| + N_i}$$

朴素却有效的原因：分类决策只关心后验概率的相对排序，而非绝对值。即使 $P(\mathbf{x}|c)$ 不精确，只要各类别的相对排序正确，分类结果就不受影响。在高维场景（如文本分类）中，独立性假设的偏差会被”高维稀释”。

半朴素贝叶斯分类器

适当放松独立性假设——独依赖估计 (ODE)：每个属性最多依赖一个父属性 $pa_i$：

$$P(c | \mathbf{x}) \propto P(c) \prod_{i=1}^d P(x_i | c, pa_i)$$

三种典型策略：

• SPODE：所有属性依赖同一个”超父”属性，通过交叉验证选择
• TAN：基于条件互信息 $I(x_i, x_j | y)$ 构建最大带权生成树作为依赖结构
• AODE：尝试所有可能的超父，对多个SPODE取平均（集成思路）

贝叶斯网

贝叶斯网用有向无环图 (DAG) 刻画属性依赖关系。结构 $G$ + 条件概率表 $\Theta$ 共同定义联合分布：

$$P_B(x_1, \dots, x_d) = \prod_{i=1}^d P_B(x_i | \pi_i)$$

其中 $\pi_i$ 为节点 $x_i$ 的父节点集合。

三种典型依赖结构（理解推断的关键）：

结构	名称	条件独立关系
$x_1 \leftarrow c \rightarrow x_2$	同父结构	c已知 → $x_1 \perp x_2 \mid c$
$x_1 \rightarrow c \leftarrow x_2$	V型结构	c已知 → $x_1 \not\perp x_2 \mid c$（解释消除）
$x_1 \rightarrow m \rightarrow x_2$	顺序结构	m已知 → $x_1 \perp x_2 \mid m$

符号解释：

$\perp \quad$:垂直，正交符号

$X \perp Y$

读作”X 与 Y 独立”——X 和 Y 没有统计依赖关系。

$X \perp Y \mid Z$

读作”给定 Z 的条件下，X 与 Y 条件独立”——一旦知道了 Z，X 和 Y 之间就没有额外的关联了。

带否定：$X \not\perp Y \mid Z$

读作”给定 Z 时，X 与 Y 不条件独立”——知道了 Z 反而让 X 和 Y 产生了关联。

V型结构最反直觉：两个独立原因，一旦知道了共同结果，反而变得相关。例如：堵车（c）可能由交通事故（x1）或暴雨（x2）引起。如果已知”堵车了”，而你又听说”没有交通事故”，那么暴雨的可能性就急剧上升——这就是”解释消除”效应。

贝叶斯网学习：结构已知时参数学习简单；结构未知（NP难）需评分搜索（BIC/AIC）或约束方法（独立性检验）。

EM算法

处理含有隐变量 $Z$ 的不完整数据，迭代执行：

• E步 (Expectation)：基于当前参数 $\Theta^t$，计算隐变量的期望 $Q(\Theta | \Theta^t) = \mathbb{E}_{Z|X,\Theta^t}[\log P(X,Z|\Theta)]$
• M步 (Maximization)：最大化Q函数更新参数 $\Theta^{t+1} = \arg \max Q(\Theta | \Theta^t)$

EM算法的精髓是”以退为进”：不直接优化复杂的边际似然，而是构造一个辅助Q函数逐步逼近。可以严格证明每次迭代边际似然不降——但不能保证收敛到全局最优。K-means也可以用EM视角来理解：E步分配簇，M步更新中心。