大神做的动漫网站,如何构建企业网站,0基础学做网站,wordpress打开首页很慢#x1f517;论文地址#xff1a;https://www.arxiv.org/abs/2504.19854
#x1f680; 立即体验:https://declare-lab.github.io/nora
背景#xff1a; 计算成本高#xff1a;模型通常超过 7B 参数#xff0c;部署门槛极高。 实时性差#xff1a;在机器人系统中难以满…
论文地址https://www.arxiv.org/abs/2504.19854 立即体验:https://declare-lab.github.io/nora
背景 计算成本高模型通常超过 7B 参数部署门槛极高。 实时性差在机器人系统中难以满足低延迟、高响应需求。 迁移困难现有模型在新环境或新任务中的泛化能力有限常需额外 fine-tuning。
因此研究者们迫切需要一个参数更小、响应更快、却仍具泛化能力的解决方案。
主要方法
NORA是一个拥有3B参数通用VLA模型专为机器人任务优化 1. 模型架构
NORA采用了一个30亿参数的多模态模型Qwen-2.5-VL-3B作为其骨干网络。这个骨干网络因其在视觉语义理解方面的卓越性能而被选中能够增强视觉推理和行动定位。NORA的架构如下
输入包括自然语言任务指令和视觉观察单帧图像。输出通过FAST分词器将连续的行动标记离散化生成离散的行动序列。行动块预测NORA预测从时间 tt 到 tNtN 的行动块表示为 at:tNat:tN。这些行动块通过FAST分词器编码为离散标记 RR然后通过自回归方式生成。
2. 预训练
NORA在Open X-Embodiment数据集上进行预训练该数据集包含来自不同机器人执行各种任务的轨迹。预训练的目标是使NORA具备广泛的机器人能力和强大的泛化能力能够根据自然语言指令执行任务。
数据集包括BridgeData V2和DROID等子集涵盖了多种机器人任务。训练细节使用8个H100 GPU训练了大约三周总共约4000个H100 GPU小时。使用AdamW优化器批量大小为256进行了110万次梯度更新。训练过程中使用了线性预热和余弦衰减的学习率调度。
3. 行动块预测Action Chunking
为了提高行动预测的效率论文提出了NORA-LONG变体该变体预测更长的行动块5个行动。这种策略在模拟环境中表现出色尤其是在长视域任务中。然而在实际机器人环境中NORA-LONG的表现不如NORA稳定尤其是在多目标抓取任务中。
多目标抓取任务 NORA的成功率为30%至40%显著高于基线模型RT-10%和SpatialVLA0%。 零样本对象抓取任务 NORA的成功率高达90%显著优于OpenVLA40%至80%和SpatialVLA0%至20%。 空间推理任务 NORA的成功率为60%至80%优于OpenVLA30%至60%和SpatialVLA0%至30%。
整体架构
模型架构
骨干网络NORA采用Qwen-2.5-VL-3B多模态模型作为其骨干网络因其在视觉语义理解方面的卓越性能。行动标记化使用FAST分词器将连续的行动标记离散化提高行动序列生成的效率。行动块预测NORA预测从时间 tt 到 tNtN 的行动块通过自回归方式生成离散的行动标记。
多模态骨干Qwen-2.5-VL-3B 继承 Qwen 模型在 视觉-语言理解 方面的强大能力 在处理图像、指令与动作规划之间的复杂推理任务中表现出色。
高效动作生成FAST Tokenizer 将连续的动作序列离散化为离散符号action chunking 大幅加速生成过程提高编码/解码效率 适用于高频控制需求下的机器人场景。
大规模示范学习训练 在 97 万条真实机器人 demonstrations 上训练 涵盖物体抓取、空间推理、多物体操控等典型 embodied tasks 模型学到了丰富的多样化策略与动作模式。 进一步探索点
1. 提高行动块预测的稳定性
虽然NORA-LONG在模拟环境中表现出色但在真实世界环境中行动块预测可能导致机器人与环境发生碰撞。可以进一步研究如何提高行动块预测在真实世界环境中的稳定性和适应性。例如
动态调整行动块大小根据任务的复杂性和环境的动态性动态调整行动块的大小。引入中间反馈机制在执行行动块的过程中引入中间反馈机制实时调整后续行动。
2. 增强对小物体的抓取能力
NORA在抓取小物体时表现不如大物体这可能是由于抓取点估计不准确。可以探索以下改进方法
改进抓取点估计算法研究更精确的抓取点估计方法特别是在小物体上。多模态融合进一步融合触觉和深度信息以提高对小物体的感知和抓取能力。
3. 提高在复杂环境中的鲁棒性
在引入干扰对象的实验中NORA和基线模型的成功率都有显著下降。可以进一步研究如何提高模型在复杂环境中的鲁棒性
注意力机制引入注意力机制使模型能够更好地关注任务相关的关键信息忽略干扰。环境感知增强模型对环境的感知能力使其能够更好地适应动态变化的环境。
4. 长视域任务的实时性
虽然NORA-LONG在长视域任务中表现出色但在真实世界环境中长视域任务的实时性仍然是一个挑战。可以探索以下改进方法
高效的行动规划算法研究更高效的行动规划算法以减少计算时间。分层规划采用分层规划方法将长视域任务分解为多个短视域子任务逐步执行。
5. 多机器人协作
NORA目前主要关注单机器人任务可以进一步探索多机器人协作场景
分布式学习研究分布式学习方法使多个机器人能够协同学习和执行任务。通信机制设计有效的通信机制使机器人之间能够共享信息和协调行动。
6. 跨领域任务的泛化能力
虽然NORA在多种任务中表现出色但其泛化能力仍有提升空间。可以探索以下改进方法
元学习采用元学习方法使模型能够快速适应新任务和新环境。多任务学习在训练过程中引入更多样化的任务提高模型的泛化能力。
7. 模型压缩和优化
尽管NORA已经减少了计算开销但进一步的模型压缩和优化仍然是一个重要的研究方向
知识蒸馏使用知识蒸馏技术将大型模型的知识转移到更小的模型中。稀疏训练采用稀疏训练方法减少模型的参数量和计算需求。
8. 人机交互
NORA目前主要通过自然语言指令进行任务指导可以进一步探索人机交互的其他方式
手势识别引入手势识别技术使人类可以通过手势指导机器人执行任务。混合交互结合自然语言、手势和视觉信号实现更自然和高效的人机交互。
9. 长期学习和适应
NORA目前主要关注短期任务执行可以进一步研究长期学习和适应能力
终身学习研究终身学习方法使模型能够持续学习和适应新的任务和环境。自适应学习设计自适应学习机制使模型能够根据任务的反馈自动调整学习策略。
这些方向不仅可以进一步提升NORA模型的性能还可以为未来机器人控制和人工智能的研究提供新的思路和方法。
