自助建网站软件平台,wordpress get_usermeta,服务器怎样建设网站,设计公司怎么找你好#xff0c;我是zhenguo(郭震) 今天总结强化学习第五篇#xff1a;马尔科夫决策过程 基础 马尔科夫决策过程#xff08;MDP#xff09;是强化学习的基础之一。下面统一称为#xff1a;MDP MDP提供了描述序贯决策问题的数学框架。 它将决策问题建模为#xff1a; 状态… 你好我是zhenguo(郭震) 今天总结强化学习第五篇马尔科夫决策过程 基础 马尔科夫决策过程MDP是强化学习的基础之一。下面统一称为MDP MDP提供了描述序贯决策问题的数学框架。 它将决策问题建模为 状态、动作、转移概率和奖励的组合并通过优化累积奖励的目标来找到最优的决策策略。 详细来说MDP包含以下要素 状态State系统或环境可能处于的不同状态。动作Action在每个状态下可选的决策或行动。转移概率Transition Probability在执行某个动作后系统从一个状态转移到另一个状态的概率分布。奖励Reward在每个状态执行某个动作后获得的即时奖励。策略Policy根据当前状态选择动作的策略。 再看迷宫游戏 之前文章我已经拿着迷宫例子详细阐述过一遍上面的这些概念。 迷宫问题是MDP的经典案例。下面我们拿着此案例再深入理解下这些基础概念。 假设我们有一个迷宫智能体要在迷宫中找到一个宝藏。 迷宫可以表示为一个二维网格每个格子可以是墙壁不可通过或空地可通过。智能体可以采取四个动作向上、向下、向左和向右移动。目标是找到宝藏同时避免碰到墙壁。 现在逐一解释下MDP的这些要素。 状态State 在这个例子中状态是智能体所处的位置坐标即迷宫中的某个格子。 例如可以使用(x, y)坐标来表示状态其中x和y是迷宫中某个格子的行和列索引。 动作Action 动作是智能体在某个状态下可以采取的行动即向上、向下、向左或向右移动。 可以使用符号UDLR来表示相应的动作。 转移概率Transition Probability 转移概率描述在某个状态下执行某个动作后智能体转移到下一个状态的概率分布。 在迷宫游戏中转移概率是确定性的因为智能体在执行一个动作后会准确地移动到下一个状态。 例如如果智能体在状态(x, y)执行向上的动作那么下一个状态将是(x, y-1)转移概率为1。 奖励Reward 奖励是智能体在执行某个动作后所获得的即时反馈。 在迷宫游戏中可以设置以下奖励机制 当智能体移动到宝藏位置时获得正奖励例如10。 当智能体移动到墙壁位置时获得负奖励例如-5。 在其他情况下获得较小的负奖励例如-1以鼓励尽快找到宝藏。 公式化表达 下面我们尝试将这个例子使用公式化表达。 状态State 状态可以表示为一个二维坐标 (x, y)其中 x 表示迷宫的行索引y 表示迷宫的列索引。 假设迷宫的大小为 N × M则状态集合为 动作Action 动作集合为 分别代表向上、向下、向左和向右移动。 转移概率Transition Probability 由于在迷宫中移动是确定性的转移概率可以表示为函数 其中 表示在状态 s 下执行动作 a 后转移到状态 s 的概率。 根据迷宫规则如果智能体在状态 执行动作 a那么下一个状态 s 可以根据动作 a 来计算例如 如果 则如果 则如果 则如果 则 注意在边界情况下如果智能体试图移动到迷宫之外的位置或者移动到墙壁位置转移概率为0。 奖励Reward 奖励函数可以表示为函数 其中 表示在状态 s 下执行动作 a 后转移到状态 s 的即时奖励。 根据迷宫的设定定义如下奖励 如果 是宝藏位置则如果 是墙壁位置则否则 这篇文章我想重点阐述清楚MDP的这些核心要素它们是强化学习的根基这些你一定要理解。 下一篇介绍MDP的决策方法 你的点赞和转发给我更新增加更大动力感谢你的支持。
