重庆高端网站设计公司,网站建设资源平台,网站建设模块有哪些,惠州淡水网站建设公司前言
本文一开始是属于此文《GRAPE——RLAIF微调VLA模型#xff1a;通过偏好对齐提升机器人策略的泛化能力》的前言内容之一(该文发布于23年12月底)#xff0c;但考虑到其重要性#xff0c;加之那么大一张表格 看下来 阅读体验较差#xff0c;故抽出取来独立成文且拆分之 …前言
本文一开始是属于此文《GRAPE——RLAIF微调VLA模型通过偏好对齐提升机器人策略的泛化能力》的前言内容之一(该文发布于23年12月底)但考虑到其重要性加之那么大一张表格 看下来 阅读体验较差故抽出取来独立成文且拆分之
当时的前言是 具身的论文解读过很多之后便会发现整个今24年的具身模型/策略大概如下所示——目前全网独一份「(建议按照从下至上的顺序看且所有点我都做了详尽而细致的解读点击下表中对应的文字即可阅读我后续也会不断完善之——毕竟还有很多并未囊括于下表中如转载请于文章开头标明作者July及本文链接」 有意思的是其中的RDT、π0都通过聚合各大机器人数据集先做预训练然后微调且它两的参数规模也分别达到了1B、3B 大有类似大语言模型的发展路线比如 17-20年以BERT、GPT为代表的预训练-微调模式 且从GPT3起模型的参数规模越来越大慢慢的不再需要针对下游特定任务做微调——一个模型搞定所有任务途中经历过GPT3.5的RLHF微调及至到GPT4之后模型在各方面的能力逼近人类甚至超越人类 你说是不是有趣 第一部分 从训练数据来源、动作预测策略、模型训练方法
1.1 训练数据来源
2024年具身前沿模型/策略大汇总说明补充备注典型代表第一大块 训练数据来源人类行为视频数据相当于互联网上大规模的视频数据比如YouTube上的比如DexMV、MimicPlay、字节GR2开源数据需要一定的整合比如Open X-Embodiment等仿真数据毕竟仿真环境中训练base model最后真实环境中微调是常见训练方式1 英伟达的Isaac Sim整合了物理引擎PhysX、图像渲染引擎RTX、动画/电影描述格式USD2 Google的MuJoCo人工收集手持夹爪收集方便umi/fastumi动作捕捉精度较高dexcap遥操精度很高主从机械臂遥操数据ALOHAVR遥操Open-television 1.2 动作预测策略
2024年具身前沿模型/策略大汇总说明补充备注典型代表第二大块 动作预测策略iDP3(改进的3D diffusion policy)可落地在人形机器人上斯坦福iDP33D diffusion policy将3D视觉表示与扩散策略3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D RepresentationsDiffusion Policy(还可基于点云)diffusion policy基于扩散模型UMI/dexcapDiffusion Transformer(DiT)基于Diffusion Transformer(DiT)改造 清华RDT 预测与动作扩散器PAD通过联合去噪同时预测未来图像和动作Prediction with Action: Visual Policy Learning via Joint Denoising Process ACT ACT基于Transformer Mobile ALOHA 基于下一个token预测技术预测动作token基于类似下个token预测策略伯克利Digit
1.3 模型训练方法
1.3.1 非Robotics VLM与VLA的训练方法
2024年具身前沿模型/策略大汇总说明补充备注典型代表 第三大块 模型训练方法 直接真实环境中RL开训摒弃仿真真实环境中得到的RL数据微调VLM 机器人动作微调RL训练运行创建的数据集可以用于二次训练代替人类提供的例子(效果如何 待验证)UC伯克利的Sergey Levine于24年年底在DAI 2024上的演讲RLDG——Reinforcement Learning Distilled Generalist结合视觉和人类示教与纠正的RL方法目前暂时还是小众赛道UC伯克利的HIL-SERLRL仿真 VR遥操估计人类动作 人类动作到人形机器人的重定向「凡是人形必涉及到基于AMASS数据集(包括SMPL-X做参数化建模)做人形运动目标的重新定位」 sim to real(师生学习/策略蒸馏) VR遥操OmniH2ORL仿真训本体 RGB遥操部署Retargeting、Sim-to-Real、RGB Real-time遥控H2O通过重定向清除不可行的动作然后仿真训练最后RGB实时遥操作部署(使用训练好的Sim-to-Real模仿策略进行模仿)仿真中训小脑HST(仿真中训练好之后RGB遥操部署) 且其真实中训大脑HITHumanPlusRL仿真训本体 人类示教(模仿学习/行为克隆)训大脑静态数据训练 人类示教比如通过示范数据做行为克隆更结合前身ALOHA的静态数据做协同训练Mobile ALOHA
1.3.2 Robotics VLM与VLA的训练方法
2024年具身前沿模型/策略大汇总说明补充备注典型代表 第三大块 模型训练方法 预训练的VLA先对VLM基于机器人数据(开源OXE 自采或只开源OXE)做二次预训练(模仿人类)变成VLA再真实环境中微调VLA1 π0先在高度多样化的开源 自采机器人数据上进行预训练——变成了相比不二次预训练情况下更强大的VLA然后针对所需任务进行微调2 RT2和OpenVLA只在开源OXE上做的预训练不用预训练的VLA其考虑到预训练成本较高TinyVLA预训练的Robotics VLM针对VLM的二次预训练通过开源OXE训练VLM变成Robotics VLMOcto在Open X-Embodiment数据集上进行预训练不预训练的Robotics VLM没有针对VLM的二次预训练而是直接机器人数据微调VLM变成Robotics VLM字节RoboFlamingo使用简单、少量的微调就可以把 VLM 变成 Robotics VLM 第二部分 Robotics VLM和VLA中的动作预测
2.1 Robotics VLM和VLA中的动作预测
2024年具身前沿模型/策略大汇总说明补充备注典型代表第四大块 Robotics VLM和VLA中的动作预测专门的action head 基于LSTM Robotics VLM字节RoboFlamingo基于diffusion modelRobotics VLMOctoVLATinyVLA(diffusion-based head)基于流匹配VLAπ0 (流匹配微调VLM)基于Diffusion Transformer(DiT)VLACogACT(相比Octo的头 更大)基于下一个token预测技术预测动作token对于离散化token动作表示即指将机器人的每个动作维度分别离散化为 256 个箱子中的一个VLART-2、OpenVLA(相当于RT-2开源版) 第三部分 借鉴大语言模型的发展之路
3.1 借鉴大语言模型的发展之路
2024年具身前沿模型/策略大汇总说明补充备注典型代表第五大块 借鉴大语言模型的发展之路预训练-微调模式中把模型搞大需要架构、数据双双具备RDT、π0把RLHF引入近具身通过偏好对齐提升机器人策略的泛化能力GRAPE把CoT引入具身让具身模型学会逐步推理ECoT让VLM充当机器人大脑做顶层任务规划机器人基础模型(相当于大脑)用于整体任务规划 机器人操控模型(相当于小脑)用于精确控制Figure 01、清华ViLA、CoPa让大模型来打辅助推理、规划样样行基于VLM模型GPT-4o和关系关键点约束ReKepVLM解释人类演示视频并为机器人生成任务计划、代码纽约大学VLM See, Robot Do结合「GPT4V的open-world vision能力」和重定向OKAMI 更多可以查看此文《RoboVLM——通用机器人策略的VLA设计哲学如何选择骨干网络、如何构建VLA架构、何时添加跨本体数据》
