黄石网络推广,江门seo代理计费,wordpress手游,深圳公司网站建设案例原创 | 文 BFT机器人 你的日常待办清单或许只是些稀松平常的小事#xff1a;清洗堆积如山的碗盘、采购琳琅满目的食品杂货等。在执行这些任务时#xff0c;你无需逐一写下“捧起那只满是油污的盘子”或“用湿润的海绵仔细擦洗这个盘子”这样的琐碎步骤#xff0c;因为在你的… 原创 | 文 BFT机器人 你的日常待办清单或许只是些稀松平常的小事清洗堆积如山的碗盘、采购琳琅满目的食品杂货等。在执行这些任务时你无需逐一写下“捧起那只满是油污的盘子”或“用湿润的海绵仔细擦洗这个盘子”这样的琐碎步骤因为在你的脑海中这些步骤早已如同呼吸般自然而流畅。然而对于机器人而言要完成这些看似简单的动作却需要一份详尽无遗、错综复杂的行动计划。 在麻省理工学院的Improbable AI实验室里隶属于CSAIL计算机科学与人工智能实验室的一个精英团队正致力于为这些机器赋予更为智能的多模态框架。他们的最新研究成果——Hierarchical PlanningHiP组合基础模型正是这一努力的结晶。HiP模型巧妙地融合了三种不同基础模型的专业知识从而制定出既详细又切实可行的行动计划。与OpenAI引以为傲的GPT-4相似ChatGPT和Bing Chat等先进应用也都是基于这一强大的基础模型构建而成的。这些基础模型经过精心训练已广泛应用于图像生成、文本翻译、机器人技术等多个领域。 与RT2等多模态模型相比HiP展现出了独特的优势。传统的多模态模型通常依赖于配对的视觉、语言和动作数据进行训练而HiP则采用了三个独立的基础模型每个模型都专注于处理特定类型的数据模态。这种分工明确的架构使得每个基础模型都能够更好地捕捉决策过程中的不同环节并在需要时协同工作以做出明智的决策。更为重要的是HiP彻底消除了对配对数据的需求此外HiP还让推理过程变得更加透明和可解释为人工智能领域的发展注入了新的活力。 对于人类而言那些日常琐事——比如整理书架上的书籍或将碗盘放入洗碗机——可能只是随手可做的简单动作。然而对于机器人来说这些任务却如同“长期目标”一般需要它们先理解并规划出许多细小的步骤才能最终完成。因此机器人需要海量的数据来辅助它们理解、规划和执行这些目标。 过去计算机视觉领域的研究人员曾试图构建一个单一的基础模型来解决这个问题但这种做法需要将语言、视觉和动作数据一一配对不仅成本高昂而且效果并不理想。然而麻省理工学院的研究团队提出的HiP模型却为这个问题提供了一种全新的多模态解决方案。HiP模型将语言、物理和环境智能以经济高效的方式整合到机器人中形成了一种三重组合。这种组合不仅让机器人能够更好地理解和执行任务还大大降低了数据配对的成本。 “我们不必再局限于单一的基础模型”并未参与该研究的NVIDIA AI研究员Jim Fan评论道“这项创新性的工作将复杂任务的规划问题分解为三个相互协作的模型语言推理器、视觉世界模型和动作规划器。这样的分解使得原本棘手的决策问题变得更加简单和透明。” 研究团队坚信他们的人工智能系统将成为家务劳动的有力助手帮助机器人完成诸如整理书籍、清洗碗盘等日常任务。不仅如此HiP模型在多步骤的建筑和制造任务中也大有可为比如按照特定顺序堆叠和放置不同材料。这一研究成果无疑为机器人技术的进一步发展奠定了坚实基础。 对HiP模型的评估 CSAIL团队在三项复杂的操作任务上对HiP模型的准确性进行了严格测试结果显示其表现优于其他可比较的先进框架。这套系统展现出了出色的智能规划能力能够灵活适应新信息并进行精准推理。 在第一项测试中研究人员设置了一个颇具挑战性的任务要求机器人将不同颜色的积木堆叠起来并将其他积木放置在附近。但任务的关键难点在于并非所有所需颜色的积木都现成的这意味着机器人需要发挥创意将白色积木放入彩色碗中上色以获取所需的颜色。面对这样的变化HiP模型展现出了令人印象深刻的适应能力它不仅能够准确地识别出哪些积木需要上色还能通过精心调整计划确保每个积木都能按照要求被精准地堆叠和放置。 第二项测试则更加考验HiP模型的物品识别和计划调整能力。研究人员要求机器人在一个棕色箱子中摆放糖果和锤子等物品同时忽略其他无关物品。在这项任务中有些需要移动的物品是脏的这就要求机器人在摆放前先进行清洁处理。HiP模型再次展现出了其卓越的智能性它不仅能够准确地识别出哪些物品需要清洁还能灵活地调整计划先将这些物品放入清洁箱进行处理然后再放入棕色箱子中。 在第三项演示中研究人员为机器人设置了一系列厨房相关的子目标如打开微波炉、把水壶放到一边并打开灯等。这些任务中有些步骤已经提前完成因此机器人需要根据实际情况进行调整。HiP模型再次发挥出了其强大的推理能力它能够准确地识别出哪些步骤已经完成哪些还需要执行并通过智能地跳过已完成的步骤来高效地完成任务。 三叉层级体系 HiP的三层计划过程呈现出一个精巧的层次结构这种结构赋予了它在不同数据集上预训练各个组件的独特能力甚至包括那些与机器人技术毫不相关的信息。在这个层次结构的底层一个强大的大型语言模型LLM开始发挥其作用它通过捕捉所有必要的符号信息并制定抽象的任务计划为整个过程奠定了坚实的基础。 Anurag Ajay这位来自麻省理工学院电气工程和计算机科学系EECS的博士生同时也是CSAIL的重要成员深入阐述了HiP的设计理念“我们的目标是充分利用现有的预训练模型使它们能够无缝地相互协作。”他强调说“我们并没有期望一个模型能够包揽所有任务而是将多个利用互联网数据不同模态的模型结合在一起。当它们协同工作时它们能够为机器人决策提供有力支持并有望在家庭、工厂、建筑工地等多种场景中发挥实用价值。” 然而这些人工智能模型要想在现实世界中发挥作用还需要一双“慧眼”来帮助它们理解操作环境并准确执行每个子目标。为此研究团队引入了一个大型视频扩散模型以增强LLM的初始规划能力。这个视频模型从互联网上的海量视频中汲取有关世界的几何和物理信息然后生成一个精确的观察轨迹计划进一步细化LLM的纲要以整合新的物理知识。 这个过程被称为迭代细化它允许HiP在不断反思和完善其想法。每个阶段都会接收反馈以生成更加实用的纲要这种反馈流程类似于撰写文章时的修订过程作者将草稿发送给编辑进行审查根据反馈进行修订然后再提交给出版社进行最终的审查和完善。 在HiP的层次结构中顶部是一种本体动作模型它根据机器人周围的环境推断出应该执行的动作序列。在这一阶段从视频模型获得的观察计划被映射到机器人可见的空间中为机器人提供决策支持帮助它确定如何在长期目标中逐步完成每个任务。以沏茶为例如果机器人使用HiP来执行这个任务它将能够精确映射出壶、水槽和其他关键视觉元素的位置并有条不紊地完成每个子目标。 尽管HiP已经展示出了令人瞩目的能力但多模态人工智能工作仍然受到高质量视频基础模型缺乏的限制。一旦这些模型变得可用它们将与HiP的小规模视频模型进行无缝对接从而进一步提高视觉序列预测和机器人动作生成的能力。更高质量的视频模型还将降低当前模型对数据的需求使其更加高效和实用。 值得一提的是CSAIL团队在开发HiP时采用了高效的数据利用策略整体上只使用了少量数据。此外HiP的训练成本相对较低这展示了使用现成基础模型来完成长期任务的巨大潜力。 总结 对于HiP的未来发展方向麻省理工学院电气工程和计算机科学系EECS助理教授、Improbable AI实验室主任Pulkit Agrawal充满期待地表示“Anurag所展示的成果是一个概念验证它证明了我们可以将在不同任务和数据模态上训练的模型组合起来用于机器人规划。未来HiP有望通过引入更多预训练模型进行扩展这些模型可以处理触觉、声音等多种感官信息以制定更加全面和精细的计划。”该团队还在积极探索将HiP应用于解决机器人领域的真实长期任务的可能性以期为机器人技术的未来发展开辟新的道路。 若您对该文章内容有任何疑问请与我们联系我们将及时回应。
