全联合分布下概率计算

考虑 3 个布尔变量组成的完全联合分布 $\mathbf{P}(Cavity, Toothache, Catch)$，得到 $cavity$ 的无条件概率为边缘概率，这个过程称为边缘化或求和消元，通用的边缘化规则：

$\mathbf{P}(\mathbf{Y})=\mathbf{\sum_{z\in Z}}\mathbf{P}(\mathbf{Y}, \mathbf{z}) = \mathbf{\sum_{z}}\mathbf{P}(\mathbf{Y}, \mathbf{z})$

根据乘法规则，还可以写为：

$\mathbf{P}(\mathbf{Y})=\mathbf{\sum_{z}}\mathbf{P}(\mathbf{Y}| \mathbf{z})\mathbf{P}(\mathbf{z})$

上式称为条件化规则。

条件概率下的条件化规则：

$\mathbf{P}(\mathbf{Y|\mathbf{e}}) = \mathbf{\sum_{z}}\mathbf{P}(\mathbf{Y},\mathbf{z}|\mathbf{e}) = \mathbf{\sum_{z}}\mathbf{P}(\mathbf{Y}| \mathbf{z}, \mathbf{e})\mathbf{P}(\mathbf{z} | \mathbf{e})$

通用的推理过程如下，假设查询证据变量值为 $\mathbf{e}$ 时的 $X$ 的概率，则有

$\mathbf{P}(X|\mathbf{e})=\alpha\mathbf{P}(X,\mathbf{e})=\alpha\mathbf{\sum_y}\mathbf{P}(X,\mathbf{e},\mathbf{y})$

其中 $\alpha$ 为归一化系数，$\mathbf{E}$ 为证据变量集合 $\mathbf{e}$ 为其观察值，$\mathbf{Y}$ 为其余未观测的变量。$\mathbf{y}$ 为 $\mathbf{Y}$ 的不同取值。此处需要注意条件为观察值而非变量

独立性

如果变量 $X$ 和变量 $Y$ 之间独立：

$\begin{array}{l} \mathbf{P}(X|Y)=\mathbf{P}(X)=\mathbf{P}(Y) \\ \mathbf{P}(X,Y)=\mathbf{P}(Y)\mathbf{P}(X) \\ \end{array}$

贝叶斯规则

对于多值随机变量的情况：

$\mathbf{P}(Y,X)=\mathbf{P}(Y|X)\mathbf{P}(X)$

$\mathbf{P}(Y|X)= \frac {\mathbf{P}(X|Y)\mathbf{P}(Y)} {\mathbf{P}(X)}$

使用归一化：

$\mathbf{P}(Y|X)=\alpha{\mathbf{P}(X|Y)\mathbf{P}(Y)}$

包含背景证据的情况：

$\mathbf{P}(Y|X,\mathbf{e})=\frac {\mathbf{P}(X|Y,\mathbf{e})\mathbf{P}(Y|\mathbf{e})} {\mathbf{P}(X|\mathbf{e})}$

条件独立性：

$\begin{array}{l} \mathbf{P}(X,Y|Z)=\mathbf{P}(X|Z)\mathbf{P}(Y|Z) \\ \mathbf{P}(X|Y,Z)=\mathbf{P}(X|Z) \\ \end{array}$

单一原因影响许多结果的完全联合分布为朴素贝叶斯模型：

$\mathbf{P}(Cause,Effect_1,...,Effect_n)=\mathbf{P}(Cause)\prod_i\mathbf{P}(Effect_i|Cause)$

---

• ← Previous Post
• Next Post →