绍兴网站建设方案,如何用wp做企业网站,建设信息网的网站或平台登陆,wordpress用户数据表在七月算法上报了《无人驾驶实战》课程#xff0c;老师讲的真好。好记性不如烂笔头#xff0c;记录一下学习内容。 课程入口#xff0c;感兴趣的也可以跟着学一下。 ————————————————————————————————————————— 强化学习#xff… 在七月算法上报了《无人驾驶实战》课程老师讲的真好。好记性不如烂笔头记录一下学习内容。 课程入口感兴趣的也可以跟着学一下。 ————————————————————————————————————————— 强化学习通过和环境交互学习到如何在相应环境中采取最优策略的行为。特点是不需要标注具有鲁棒性对行为(Action)的学习更友好。 Environment整体任务的工作环境 Reward激励、奖励对行为好坏的一个评价Value Function不同环境可以有不同的奖励 奖励的设计对RL来说至关重要。 Agent智能体一般是RL的作用对象 Action智能体可以采取的所有可能的行动 Sensors环境返回的当前情况 MDP模型马尔科夫决策过程 逆强化学习能够找到一种能够高效可靠的Reward的方法专家在完成某项任务时其决策往往是最优或接近最优的。当所有的策略所产生的累积回报期望都不比专家策略所产生的累积回报期望大时 对应的回报函数就是根据示例学到的回报函数。 常用的逆强化学习方法学徒学习方法、最大边际规划算法MMP、基于最大熵的逆向强化学习 模仿学习 从专家提供的范例中学习一般提供人类专家的决策数据 每个决策包含状态和动作序列 把状态作为特征动作作为标记进行分类或回归的学习从而得到最优策略模型。目标是使模型生成的状态-动作轨迹分布和输入的轨迹分布相匹配算是一种监督学习方法 行为克隆 。特点是泛化性很差依赖于大量数据 数据增广 深度学习感知能力缺乏一定的决策能力 强化学习决策能力非常适合做无人车决策规划 强化学习中的一些分类On-Policy vs Off-Policy、Model Based vs Model Free、Q-Learning vs SARSA、 DQNDeep Q Network 端到端的学习方式、 深度卷积神经网络和Q学习、 经验回放技术 DDPGDeep Deterministic Policy Gradient actor-critic 算法、 深度神经网络作为逼近器 强化学习主要方法的对比 无人车如何使用强化学习模仿学习 传感器感知输入Radar、Lidar、GPS、Camera … 从原始数据抽取高阶特征机器学习将特征转化成知识知识处理后进行推理做出合理的动作决策。 Q-Learning Q-Table为每一个 state 上进行的每一个 action 计算出最大的未来 reward 的期望每个状态允许四种可能的操作左移、右移、上移、下移 Table 里的参数式给定最佳策略的状态下采取相应动作获得的最大未来奖励期望 如何计算 Q-table 中每个元素的值 Q-Learning、学习动作值函数Q值、Bellman 方程 更新Q值的策略 选取一个动作在基于当前的 Q 值估计得出的状态 state 下选择一个动作 action。采用动作 action 并且观察输出的状态 s 和奖励 reward。 DQN 4个Action上下左右每走一步有rewardMaximum 未来的 Reward总和 Q-Learning 使用最佳策略使得最大化未来的Reward值Q值Off-policy持续迭代更新每步(s, a) 。 Exploration vs Exploitation探索和使用 局部最优贪心初始的时候对信息一无所知 持续更新(S, A) 是Q-Learning的最大问题因为低效泛化能力差对复杂问题维数爆炸所以后面使用Deep Learning代替Q-Table DeepMind在这方面发表了文章在Nature上 如何训练DQN 1.给定状态转移方式 2.在状态s用前向推理计算所有Action的预测Q值3.前向推理下一步s’及其最大Q’值4.并用Loss function进行梯度更新 经验回放提高数据利用率遗忘数据流顺序加入随机性 课程总结 自动驾驶工程师技能图谱
