强化学习-课件第8章 基于模型的强化学习基础.pptx

第八章基于模型的强化学习

;目录;model-based概述

;无模型（model-free）的强化学习;基于模型（model-based）的强化学习;什么是模型;什么是模型;基于模型和无模型;基于模型和无模型;模型的数学表示;训练模型的方式;基于模型的强化学习方法;如何利用模型？;model-based算法

;训练模型的方法一;方法一的缺点;训练模型的方法二;方法二的缺点;训练模型的方法三;模型预测控制（ModelPredictiveControl，MPC）;Backpropagatetopolicy;训练模型的方法四Backpropagatetopolicy;前面四个方法的总结：;基于模型和无模型的结合—Dyna算法框架;Dyna算法框架流程;蒙特卡洛树搜索

;

2016年，AlphaGovs李世乭，4:1

2017年，AlphaGovs柯洁，3:0;围棋的所有状态和落子决策在计算机中可以通过树的形式来表示

树的节点表示棋局的状态，边表示落子决策

MCTS是一种搜索算法，通过多次模拟，基于模拟结果给出最佳落子决策，是常见的model-based方法

;选择（selection）

扩展（expend）

仿真（simulation）

回传（backpropagation)）

;?;由上一步选择的节点上随机扩展一个或者多个0/0节点

;利用一个相对简单的策略快速执行双方的招式，每一时刻只从策略中随机选取一个招式并执行，不断模拟直至游戏结束，并记录最终结果;将最后得到的胜负结果回传给所有的父节点，更新父节点的值;;;;;;;;;;;扫描二维码发现更多