第五章(1)--应用随机过程.ppt

第五章马尔可夫链定义5.1.1随机过程过程称作Markov链，若它只有有限或可列个值（若不另外说明，以非负整数集｛0，1，2，…｝来表示），并且对任意的n≥0，及任意状态，有（5.1.1）称｛0，1，2，…｝为该过程的状态空间，记为S。式5.1.1称为Markov性。定义5.1.2转移概率称式（5.1.1）中的条件概率为Markov链的一步转移概率，简称转移概率，记为pij，它代表处于状态i的过程下一步转移到状态j的概率。一般情况下，转移概率与状态i，j和时刻n有关。定义5.1.3时齐Markov链当Markov链的转移概率只与状态i，j有关，而与时刻n无关时，称之为时齐Markov链；否则，就称之为非时齐的。有限链、无限链。状态转移矩阵称为转移概率矩阵，具有性质（随机矩阵）：（1）（2）例5.1.1Fix-Neyman模型包含有两个健康状态S1，S2和两个死亡状态S3，S4的模型。例5.1.2（赌徒破产模型）系统的状态是0～n，反映赌徒在赌博期间拥有的钱数，当他输光或拥有钱数n时赌博停止，否则他将继续赌博。每次以概率p赢得1，以概率q=1-p输掉1。就像一个点在直线上作随机游动，两端有两个吸收壁一样。0123…n-1nqp转移概率矩阵0123…n-1n例5.1.3（带反射壁的随机游动）在上例中若赌徒输光时有人给他1以让他继续赌下去，就像在在左端有一个反射壁一样。0123…n-1nqp转移概率矩阵0123…n-1n例5.1.4自由随机游动.…-2-10123…例5.1.5图上的简单随机游动123456状态转移矩阵例5.1.6遗传模型染色体、基因。等位基因、显性与隐性基因（A，a）。基因频率（p，1-p）。设总体中个体数为2N，每个个体的基因按A型基因的基因频率的大小，在下一代中转移成为A型基因。若第n代中A型基因出现了i次，则下一代出现A型基因的概率为：记Xn为第n代中携带A型基因的个体数，则易知｛Xn｝为一个状态空间为S=｛0，1，…，2N｝的时齐Markov链，其状态转移矩阵为P=（pij），其中：嵌入Markov链例5.1.7（M/G/1）系统。设顾客流服从P（λ），服务时间服从G。若以X(t)表示时刻t系统中的人数，则｛X(t)，t≥0｝不具备Markov性。令Xn表示第n位顾客走后剩下的顾客数，n≥1，再令Yn记第n+1位顾客接受服务期间到来的顾客数，则有：且Yn相互独立同分布。从而｛Xn，n=1,2,…｝是Markov链，转移概率为：例5.1.8订货问题（s，S）订货策略：设每天的需求量Yn独立同分布，P{Yn=j}=aj(j=0,1,2,…)令Xn为第n天结束时的存货量，则有：因此{Xn，n≥1}是Markov过程，转移概率为：例5.1.9保险公司盈余问题以Sn表示保险公司在时刻n的盈余，初始盈余S0=x为