建设企业网站需要哪些东西,招聘网站如何做推广,网站的死链,seo推广的全称是绪论
强化学习就是一个智能体在一个不确定的环境中最大化它的奖励。智能体在一个环境中获取某个状态后#xff0c;做一个动作#xff0c;也称为决策#xff0c;在环境中执行这个决策以后#xff0c;会有一个奖励。尽可能多地获得更多的奖励。
强化学习概述
强化学习与监…绪论
强化学习就是一个智能体在一个不确定的环境中最大化它的奖励。智能体在一个环境中获取某个状态后做一个动作也称为决策在环境中执行这个决策以后会有一个奖励。尽可能多地获得更多的奖励。
强化学习概述
强化学习与监督学习
比如对于分类问题就是有监督的学习。假设样本都是独立同分布的假设我们已经知道了正确的标签是什么。
强化学习和监督学习的区别如下。
强化学习输入的样本是序列数据而不像监督学习里面样本都是独立的。学习器并没有告诉我们每一步正确的动作应该是什么学习器需要自己去发现哪些动作可以带来最多的奖励只能通过不停地尝试来发现最有利的动作。智能体获得自己能力的过程其实是不断地试错探索trial-and-error exploration的过程。探索exploration和利用exploitation是强化学习里面非常核心的问题。其中探索指尝试一些新的动作这些新的动作有可能会使我们得到更多的奖励也有可能使我们“一无所有”利用指采取已知的可以获得最多奖励的动作重复执行这个动作因为我们知道这样做可以获得一定的奖励。因此我们需要在探索和利用之间进行权衡这也是在监督学习里面没有的情况。在强化学习过程中没有非常强的监督者supervisor只有奖励信号reward signal 并且奖励信号是延迟的即环境会在很久以后告诉我们之前我们采取的动作到底是不是有效的。因为我们没有得到即时反馈所以智能体使用强化学习来学习就非常困难。当我们采取一个动作后如果我们使用监督学习我们就可以立刻获得一个指导比如我们现在采取了一个错误的动作正确的动作应该是什么。而在强化学习里面环境可能会告诉我们这个动作是错误的但是它并没有告诉我们正确的动作是什么。而且更困难的是它可能是在一两分钟过后告诉我们这个动作是错误的。所以这也是强化学习和监督学习不同的地方。
强化学习的例子
在自然界中羚羊其实也在做强化学习。它刚刚出生的时候可能都不知道怎么站立然后它通过试错一段时间后就可以跑得很快可以适应环境。我们也可以把股票交易看成强化学习的过程。我们可以不断地买卖股票然后根据市场给出的反馈来学会怎么去买卖可以让我们的奖励最大化。玩雅达利游戏或者其他电脑游戏也是一个强化学习的过程我们可以通过不断试错来知道怎么玩才可以通关。
强化学习的历史
强化学习是有一定的历史的早期的强化学习我们称其为标准强化学习。最近业界把强化学习与深度学习结合起来就形成了深度强化学习deep reinforcemet learning 因此深度强化学习 深度学习 强化学习。
强化学习的应用
为什么强化学习在这几年有很多的应用比如玩游戏以及机器人的一些应用并且可以击败人类的顶尖棋手呢这有如下几点原因。首先我们有了更多的算力computation power有了更多的GPU可以更快地做更多的试错尝试。其次通过不同尝试智能体在环境里面获得了很多信息然后可以在环境里面取得很大的奖励。最后我们通过端到端训练把特征提取和价值估计或者决策一起优化这样就可以得到一个更强的决策网络。
序列决策sequential decision making
状态是对世界的完整描述不会隐藏世界的信息。观测是对状态的部分描述可能会遗漏一些信息。
环境有自己的函数 s t e f e ( H t ) s_t^{e} f^e (H_t) stefe(Ht) 来更新状态在智能体的内部也有一个函数 s t a f a ( H t ) s_t^{a} f^a (H_t) stafa(Ht) 来更新状态。当智能体的状态与环境的状态等价的时候即当智能体能够观察到环境的所有状态时我们称这个环境是完全可观测的fully observed。在这种情况下面强化学习通常被建模成一个马尔可夫决策过程Markov decision processMDP的问题。在马尔可夫决策过程中$o_t s_t^e s_t^{a} $。
但是有一种情况是智能体得到的观测并不能包含环境运作的所有状态因为在强化学习的设定里面环境的状态才是真正的所有状态。比如智能体在玩black jack 游戏它能看到的其实是牌面上的牌。或者在玩雅达利游戏的时候观测到的只是当前电视上面这一帧的信息我们并没有得到游戏内部里面所有的运作状态。也就是当智能体只能看到部分的观测我们就称这个环境是部分可观测的partially observed。在这种情况下强化学习通常被建模成部分可观测马尔可夫决策过程partially observable Markovdecision process, POMDP的问题。部分可观测马尔可夫决策过程是马尔可夫决策过程的一种泛化。部分可观测马尔可夫决策过程依然具有马尔可夫性质但是假设智能体无法感知环境的状态只能知道部分观测值。比如在自动驾驶中智能体只能感知传感器采集的有限的环境信息。
马尔可夫决策过程
本章将介绍马尔可夫决策过程。在介绍马尔可夫决策过程之前我们先介绍它的简化版本马尔可夫过程Markov processMP以及马尔可夫奖励过程Markov reward processMRP。通过与这两种过程的比较我们可以更容易理解马尔可夫决策过程。
马尔可夫过程
马尔可夫性质
马尔可夫性质也可以描述为给定当前状态时将来的状态与过去状态是条件独立的[1]。如果某一个过程满足马尔可夫性质那么未来的转移与过去的是独立的它只取决于现在。马尔可夫性质是所有马尔可夫过程的基础。
马尔可夫链
马尔可夫过程是一组具有马尔可夫性质的随机变量序列 s 1 , … , s t s_1,\dots, s_t s1,…,st其中下一个时刻的状态 s t 1 s_{t1} st1 只取决于当前状态 s t s_t st。我们设状态的历史为 h t { s 1 , s 2 , s 3 , … , s t } h_t \{s_1, s_2, s_3,\dots , s_t\} ht{s1,s2,s3,…,st} h t h_t ht 包含了之前的所有状态则马尔可夫过程满足条件 p ( s t 1 ∣ h t ) p ( s t 1 ∣ s t ) p(s_{t1}\mid h_t)p(s_{t1}\mid s_t) p(st1∣ht)p(st1∣st).
离散时间的马尔可夫过程也称为马尔可夫链Markov chain.
马尔可夫决策过程
相对于马尔可夫奖励过程马尔可夫决策过程多了决策决策是指动作其他的定义与马尔可夫奖励过程的是类似的。此外状态转移也多了一个条件变成了 p ( s t 1 s ′ ∣ s t s , a t a ) p (s_{t1} s^{} \mid s_t s, a_t a) p(st1s′∣sts,ata)。未来的状态不 仅依赖于当前的状态也依赖于在当前状态智能体采取的动作。马尔可夫决策过程满足条件 p ( s t 1 ∣ h t , a t a ) p ( s t 1 ∣ s t , a t a ) p(s_{t1}\mid h_t,a_t a)p(s_{t1}\mid s_t,a_t a) p(st1∣ht,ata)p(st1∣st,ata).
