图论模型笔记.docx

Graphical Model贝叶斯网络联合概率可以写成：那么用图形就可以表示成图01所示，这是一个有向图，指向的箭头代表着条件概率。图01表示式的有向图图论模型表示概率的普通形式为式。其中为的父节点这一类图称为有向无环图（Directed Acyclic Graphs，简称DAG）。线性回归的图论模型线性回归的概率模型中的随机变量为参数W以及观察数据。另外模型还包含了输入数据，噪声方差以及W的高斯概率先验中的超参数（precision），这些都只是模型的参数而非随机变量。随机变量W和t的联合概率分布为其图论模型对应为：图02其中重复的用如图的方框表示。另外，我们可以将模型的参数加进来：得到的模型为图03，其中是被观察得到的节点，我们给它染上颜色并称之为observed variables。W是未被观察到的，称之为隐藏变量（hidden variables）。图03在通常情况下，我们的最终目的是当给定一个新的输入，以及在给定一组观察数据的时候得到的概率。首先有联合概率：用图论模型表示为：图04要得到在输入以及已有模型下的概率，将式的积分出来即可：条件独立多变量概率分布的一个重要概念就是条件独立（conditional independence）。如果在给定变量c的情况下，a和b是相互独立的，那么我们就说给定c，a和b是条件独立的，因为它们相互独立是以给定c为条件的，记着：条件独立在模式识别的概率模型中起着重要的作用，它可以简化模型的结构以及减少推断与学习的计算量。三种情况现在给出三个情况。1，第一种情况，见图05，a,b,c都是未被观测到的，这种情况下，a,b不是条件独立的。图05假定我们以c作为条件，有公式：所以a,b是条件独立的，这种情况我们说c是tail-to-tail的。2，第二种情况见图06，这个情况下有概率公式：显然不是条件独立的。图06当以c作为条件时，有公式：可见这种情况下a,b是条件独立的（以c为条件）。且称节点是head-to-tail的。3，第三种情况见图07，不以c为条件时a和b自身是独立的：图07但是当我们限定以c为条件时，有公式：此式通常是不能写成和的乘积的，所以这种情况a,b不是以c做为条件独立的。我们说这节点c是head-to-head的。现在来总结一下。一个节点是tail-to-tail以及head-to-tail的情况下，这个节点是不会阻塞路径的（阻塞路径意味着将节点分开独立），除非其被观测到了。而head-to-head型节点在未被观测的情况下就能阻塞路径，被观测时反而不会阻塞。D-separation假定A,B,C组成一个有向图，其中A,B,C是互不相交的节点集合。我们想要知道在这个有向图中是否蕴含了特定的条件独立如。为了达到目的，考虑所有从A中的节点到B中的节点的路径。我们说任何一个路径，只要其包含满足如下条件的节点，这条路径就是阻塞的。①这个节点是head-to-tail或tail-to-tail的，且在条件集合C中。②节点是head-to-head的，且其自身及子节点都不在条件集合C中。如A到B的所有路径都是阻塞的，那么我们说：A is D-separated from B by C。作为例子，考虑图08。在图08(a)中，a到b的路径未被f阻塞，因为f是tail-to-tail但没有被观测（不在条件集中），不满足条件①。节点e与不能阻塞a到b的路径，尽管它是head-to-head的，但它有一个子节点被观测了（在条件集中），不满足条件②在图08(a)中，a到b的路径是被f阻塞的，因为f是tail-to-tail的且在条件集中。节点e也能阻塞a到b的路径，因为e是head-to-head的，且e及其子节点c都不是条件集中。图08马尔可夫随机场马尔可夫随机场是一个无向图模型，条件独立属性在有向图中，由于节点之间的非对称性，我们考查条件独立时根据箭头的方向分为了三种情况来考虑。但在无向图中，节点之间是对称的，这样就简化了条件独立的判别。假定无向图由A,B,C三个节点集合相互连接构成。任我们以C为条件集，现在考虑A到B之间的所有路径。若A到B之间的所有路径都有至少一个节点在C中，那么C就阻塞了A到B之间的路径，得到：图09因子分解属性我们现在基于上一小节的条件独立测试来为无向图寻求一个因子分解规则。如果考虑有两个节点和，它们之间没有直接的连接，那么当其它所有的节点都是被观察的时候，与之间的路径是被阻塞的，可以表示为：这让我们引出了图论的概念clique，将它定义为图中的一个节点集，这个集中任意两节点间都是有连接的（即全连接的）。而max clique是指的这样一个clique，向其中再添加任意一个节点都会使其不再是clique。在图010中，clique分别有，，，，，，。其中是max