马尔科夫链模型及其应用.ppt

马尔可夫模型及其应用 汇报人：吕昌伟2015 年 12 月 1 日 马尔可夫随机场 3 目录 马尔可夫链 1 隐马尔可夫模型 2 马尔科夫链：介绍 ? 马尔可夫链，因安德烈 · 马尔可夫（ A.A.Markov ， 1856 － 1922 ）得名， 是数学 领域 中具有马尔可夫性质的离散 时间 随机过程。 ? 马尔可夫在 1906 年首先做出了这类过程。而将此一般化到可数无限状态 空间是由柯尔莫果洛夫在 1936 年给出的。 ? 安德烈 · 马尔可夫，俄罗斯人，物理 - 数学博 士，圣彼得堡科学院院士，彼得堡数学学派 的代表人物，以数论和概率论方面的工作著 称，他的主要著作有 《 概率演算 》 等。 1878 年，荣获金质奖章， 1905 年被授予功勋教授 称号。 马尔科夫链：定义及表示 随机过程 是随机变量的集合，指标 t 通常表示时间， 此时，过程 X 是随时间而变化的随机变量 X 的取值模型。 X(t) 是过程在时刻 t 的状态，用 X t 代替 X(t) 。 这里我们着重于特殊类型的离散时间、离散空间随机过程 X 0 ,X 1 ,X 2 ,… ， 其中 X t 的值依赖于 X t-1 的值，但不依赖于导致系统取那个值得状态序列。 定义 ：一个离散时间随机过程 X0 ， X1 ， X2 ， … 是马尔可夫链，如果 Τ} {X(t):t X ? ? t 1 t a , a 1 t 1 t t t 0 0 2 t 2 t 1 t 1 t t t P ) a X | a X Pr( ) a X , , a X , a X | a X Pr( ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 马尔可夫性 无记忆性 马尔科夫链：一般性 假定马尔可夫链的离散状态空间为 {0,1,2 ， … ， n}( 或 {0,1,2 ， …} ，如果可数 无穷 ) 。转移概率 是过程 i 经一步转移到 j 的概率。 马儿可夫性蕴涵马尔可夫链由一步转移矩阵唯一确定。 ) i X | j X Pr( P 1 t t i j ? ? ? ? ] P P P P P P P P P [ P j , i 1 , i 0 , i j , 1 1 , 1 0 , 1 j , 0 1 , 0 0 , 0 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 归一化：对所有 i, ? ? ? 0 j j , i 1 P 马尔科夫链： m 步转移概率 ? 对任意 m ≥0, 我们将 m 步转移概率 定义为链从状态 i 经恰好 m 步到达状态 j 的概率。 ) i X | j X Pr( P t m t m j , i ? ? ? ? ? 在从 i 出发经 1 次转移的条件下，我们有 ? ? ? ? 0 k 1 m j , k k , i m j , i P P P ? 设 P(m) 是一个矩阵，其元素为 m 步转移概率，使得第 i 行第 j 列元素为 由上式可得 经关于 m 的归纳 m j , i P ) 1 m ( ) m ( P P P ? ? ? m ) m ( P P ? ? 设 p i (t) 表示过程在 t 时刻处于状态 i 的概率 是在 t 时刻给出链的状态分布的向量 我们将概率分布表示成一个行向量 ) ), t ( p ), t ( p ), t ( p ( ) t ( p 2 1 0 ? ? P ) 1 t ( p ) t ( p ? ? ? ? ? ? 0 j i , j j i P ) 1 t ( p ) t ( p 马尔科夫链：加权图表示 马尔可夫链的另一种有用的表示是用一个有向加权图 D=(V,E,w). 图的顶点集合是链的状态集 存在一条有向边 , 当且仅当 P i,j >0, 此时边 (i,j) 的权 w(i,j) 由 w(i,j)=P i,j 给出 自圈（一条边开始和结束在同一顶点）是允许的。 对每一个 i ，我们仍要求 一个由过程逗留过的状态序列表示为图上的一条有向路径。过程沿着这条路径 的概率是路径表的权的乘积。 E ) j , i ( ? 1 ) j , i ( w E ) j , i ( : j ? ? ? 3 P 3,1 P 1,3 P 3,2 1 2 P 1,2 P 2,2 0 P 0,1 P 1,0 P 0,3 P 3,3 马尔科夫链：例子 计算恰好经过三步从状态 0 到状态 3 的概率。 3 1/2 1/6 1/4 1 2 1/3 1 0 1/4 1/2 3/4 1/4 路径： 概率 0-1-0-3 3/32 0-1-3-3 1/96 0-3-1-3 1/16 0-3-3-3 3/64 总概