理工酷

《人工智能——原理与技术》（叶佩军）一书给了一个例子很适合解释这个问题

在一个考虑多变量的不确定性系统中, 推理问题的本质是给出某一些变量的取值, 计算另一些变量的取值概率。 给定取值的变量称为证据变量, 取值称为证据; 需要计算概率的变量称为查询变量, 结果称为查询概率。 一般而言, 在观测到证据之前, 我们对系统变量有一个经验分布, 这在贝叶斯网中称为先验概率(Priori) 。 给定证据之后计算某变量的分布称为后验概率(Posterior) 。 系统变量在先验分布下取得观测到的证据的概率称为似然(Likelihood) 。 如果能够知道所有变量的联合分布函数(或联合概率质量/密度函数) , 那么推理问题就迎刃而解。 然而, 求取精确的联合分布往往并不容易。 因此我们退而求其次, 通过附加一些限制来相对容易地求得近似联合分布。 贝叶斯网络就是一种表示变量联合分布的特殊方式。 它附加了某些变量独立性的假设, 使得概率计算变得容易。 贝叶斯网络的例子很 多, 这里选取一个简单的讲述。

(粮食产量问题) 在某地区, 因为市场供求和竞争关系, 当粮食作物 A 的产量降低时, 有40%的可能性引起物价上涨, 并且有30% 的可能性导致蔬菜的消费量增加。 若作物 A 的产量保持平稳, 则引起物价上涨和蔬菜销量增加的可能性均只有10% 。 若降雨足够且不出现病虫害时, 作物 A 有80%的可能性保证产量足够。 若降雨偏少或出现病虫害时,作物 A 有60%的可能性保证产量足够。 而当降雨偏少同时又出现病虫害时, 只有20% 的可能性保证作物 A 产量足够。 根据历史统计数据, 该地区降雨偏多的可能性是50% 。 另外, 有10%的可能性出现病虫害。

将上述问题中各变量的依赖关系及概率取值表示成图如下。

可见贝叶斯网络是一个有向无环图, 结点代表考察变量, 有向边代表变量间的依赖关系。 在这个实例中,5个结点分别对应5个变量。 每条有向边连接的两个结点中, 起始点称为终止点的父结点, 终止点称为起始点的子结点或后继结点。 例如连接结点 A 和 U 的边,A 是 U 的父结点, U 是A 的子结点。 每个结点的概率取值以表格的形式给出, 称为条件概率表。 条件概率表给出了在父结点变量的不同取值下, 子结点的条件分布 P (X| Parents (X ) ) 。 注意图中的变量都是二值的, 取值t 时分别代表“降雨足够”“发生了病虫害”“作物 A 产量降低”“物价上涨” 和“蔬菜销量增加”。t, f 分别代表 true, false。

前面提到, 贝叶斯网络实质上是一种联合分布的特殊表现形式。 这一点在本例中体现如下(约定以大写字母代表变量, 小写字母代表变量的某个取值) :

P ( M, N, A, U, V) =P (U, V| A, M, N)P(A, M, N)
=P (U,V| A)P (A, M,N)
=P (U,V| A)P (A| M,N)P (M,N)
=P (U| A)P (V| A)P (A| M,N)P (M)P (N)

第一个等号是条件概率公式。 第二个等号成立是因为 U 和 V 不依赖于 M 和 N。 事实上,我们有以下结论: 给定某结点的父结点取值, 则该结点变量条件独立于其他非后继结点。 第三个等号仍然是条件概率公式。 最后一个等号仍然是变量的独立性, 即 U 和 V 的条件独立性, 以及 M 和 N 的先验假设独立性。 可以看出, 贝叶斯网络正是假设了部分变量之间存在先验独立性和条件性, 才能用简洁的形式表示联合分布概率。 上式采用多个条件概率乘积计算联合概率的方法称为链式法则。 每一个贝叶斯网都对应了一套链式法则计算联合概率。 反过来, 每一套链式法则在忽略较弱的依赖关系时, 也可以构造出一个贝叶斯网络。 另外, 贝叶斯网络的结点变量可以是连续的或离散的, 也可以二者均有, 称为混合贝叶斯网络。

考虑推理问题: 假设观察到蔬菜的销量增加, 问该结果是由降雨偏少引起的概率是多少。 这相当于给观测变量 V(称为证据变量) 赋值, 求查询变量 M 的条件概率, 即P ( ┐m|v ) 。