江苏广泽建设公司网站,制作一个app的完整流程,个人免费设计网站,自己怎样成为电商1、Q值与V值
1.1 Q值和V值的定义
Q值#xff1a;也称为动作价值函数#xff0c;评估动作的价值#xff0c;它代表了智能体选择这个动作后#xff0c;一直到最终状态奖励总和的期望#xff0c;表示为Q(s, a)#xff0c;其中 s是状态#xff0c;a是动作。
V值#xff…1、Q值与V值
1.1 Q值和V值的定义
Q值也称为动作价值函数评估动作的价值它代表了智能体选择这个动作后一直到最终状态奖励总和的期望表示为Q(s, a)其中 s是状态a是动作。
V值评估状态的价值也称为状态价值函数表示为V(s)其中s是状态。它代表了智能体在这个状态下一直到最终状态的奖励总和的期望。V值与动作无关只与状态有关。
Q值和V值的概念是一致的都是衡量在马可洛夫树上某一个节点的价值。只不过V值衡量的是状态节点的价值而Q值衡量的是动作节点的价值。
1.2 Q值和V值的计算
某状态S的V值可以这样计算
我们从S点出发并影分身出若干个自己;每个分身按照当前的策略 选择行为;每个分身一直走到最终状态并计算一路上获得的所有奖励总和;我们计算每个影分身获得的平均值,这个平均值就是我们要求的V值。
总结就是从某个状态按照策略 走到最终状态很多很多次最终获得奖励总和的平均值就是V值。
计算某个状态S0下的一个动作A的Q值 我们就可以从A这个节点出发使用影分身之术每个影分身走到最终状态,并记录所获得的奖励求取所有影分身获得奖励的平均值这个平均值就是我们需要求的Q值。
总结就是从某个状态选取动作A走到最终状态很多很多次最终获得奖励总和的平均值就是Q值。与V值不同Q值和策略并没有直接相关而与环境的状态转移概率相关而环境的状态转移概率是不变的。
1.3 Q值和V值的关系
一个状态的V值就是这个状态下的所有动作的Q值在策略下的期望。
【知乎】如何理解强化学习中的Q值和V值
