随机过程作业和答案第三章.doc

马尔科夫过程 1、将一颗筛子扔多次。记Xn 为第n次扔正面出现的点数，问{X(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。又记Yn为前n次扔出正面出现点数的总和，问{Y(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。 解：1)由已知可得，每次扔筛子正面出现的点数与以前的状态无关。 故X(n)是马尔科夫链。 E={1,2,3,4,5,6} ,其一步转移概率为: Pij= Pij=P{X(n+1)=j∣X(n)=i}=1/6 (i=1,2,…,6,j=1,2,…,6) ∴转移矩阵为 2)由已知可得，每前n次扔正面出现点数的总和是相互独立的。即每次n次扔正面出现点数的总和与以前状态无关，故Y(n)为马尔科夫链。 其一步转移概率为 其中 2、一个质点在直线上做随机游动，一步向右的概率为p , (0p1)，一步向左的概率为 q , q =1-p 。 在x = 0 和x = a 出放置吸收壁。记X(n)为第n步质点的位置，它的可能值是0,1,2,···,a。试写出一步转移概率矩阵。 解：由已知可得, 其一步转移概率如下： 故一步转移概率为 3、做一系列独立的贝努里试验，其中每一次出现“成功”的概率为p ( 0p1 ) ,出现“失败”的概率为q , q = 1-p。如果第n次试验出现“失败”认为 X(n) 取得数值为零；如果第n次试验出现“成功”，且接连着前面k次试验都出现“成功”，而第 n-k次试验出现“失败”，认为X(n)取值k ，问{X(n) , n =1,2,···}是马尔科夫链吗？试写出其一步转移概率。 解：由已知得： 故为马尔科夫链，其一步转移概率为 4、在一个罐子中放入50个红球和50个蓝球。每随机地取出一球后，再放入一个新球进去，新球为红球和兰球的概率各为1/2。第n次取出一球后，又放入一个新球，留下的红球数记为X(n)。问{X(n) , n =1,2,···}是马尔科夫链吗？试写出一步转移概率矩阵（当 n≥50）。 解：由已知得，将来状态X(n)只与当前状态X(n-k)有关，故X(n)为马尔科夫链 5、随机地扔两枚分币，每枚分币的面有“国徽”和“分值”之分。X(n) 表示两枚分币分扔 n 次后面正面出现“国徽”的总个数。试问X(n)是否是马尔科夫链？写出一步转移概率。 解：由已知得，将来状态X(n)只与当前状态X(n-k)有关。故X(n)是马尔科夫链。 6、扔一颗筛子，如果前n次扔出现点数的最大值为j，就说X(n)的值等于。试问{X(n) , n =1,2,···}是不是马尔科夫链？并写出一步转移概率矩阵。 解：由已知得，将来状态X(n)只与当前状态X(n-k)有关。故X(n)是马尔科夫链。 其一步转移概率矩阵为 7、假定随机变量X0的概率分布为 P{X0=1}=p , P{X0= -1}=1-p，0p1，对n = 0,1,2,3,…, 定义 1）画出{X(n) , n = 0,1,2,3,…}的所有样本函数。 2）说明{X(n) , n = 0,1,2,3,…}不具有马尔科夫性（既无后效性。 解：1） 2)当n取值时，X(2n+1)的值先于当n-1时的X(2n)的值 ∴{X(n) , n = 0,1,2,…}不具有马尔科夫性，即不具有无后效性。 8、将适当的数字填入下面空白处，使矩阵 是一步转移概率矩阵。 解： 9、设马尔科夫链的一步转移概率矩阵为 试求二步转移概率 解： 10、设马尔科夫链的一步转移概率为 ，其中p0,q0,p+q=1。试求二步转移概率矩阵和 三步转移概率矩阵，并用数学归纳法证明一般n步转移概率矩阵为 解：1） 2）证明：a)当n=1时， 等式成立 b)假设当n=k时，等式成立 即： 则当n=k+1时， 即当n=k+1时，等式成立。 综合a),b)得，一般n步转移概率矩阵位 11、设马尔科夫链具有状态空间E={1,2,3}，初始概率分布为 和一步转移概率矩阵为 计算P{X(0)=1,X(1)=2,X(2)=2}; 试证P{X(1)=2,X(2)=2 | X(0)=1}=p12p22 计算p12(2)。 解：1） 2） 3） 12、设马尔科夫链具有状态空间E={1,2 }，初始概率分布为 和一步转移概率矩阵为 计算P{X(0)=1,X(1)=2,X(2)=2}; 计算P{X(n)=1,X(n+1)=2,X(n+2)=2}，n=1,2,3; 计算P{X(n)=1, X(n+2)=2}，n=1,2,3; 计算P{ X(n+2)=2}，n=1,2,3; 在（1），（2），（3），（4）中哪些依赖于n，哪些不依赖于n。 解：1) 2) 13、在12题中，初始概率分布为 试对n=1,2,3计算其绝对概率