湖北 个人网站备案时间,中国中小企业服务网,南京网站推广,6入空间网站免费观看系列文章目录 前言
Isaac 机器人平台现可为开发者提供全新的机器人训练仿真器、Jetson Thor 机器人计算机、生成式 AI 基础模型和由 CUDA 加速的感知和操作库。 Project GR00T 是一种多模态人形机器人通用基础模型#xff0c;作为机器人的大脑#xff0c;使它们能够学习技能…系列文章目录 前言
Isaac 机器人平台现可为开发者提供全新的机器人训练仿真器、Jetson Thor 机器人计算机、生成式 AI 基础模型和由 CUDA 加速的感知和操作库。 Project GR00T 是一种多模态人形机器人通用基础模型作为机器人的大脑使它们能够学习技能来解决各种任务。 美国加利福尼亚州圣何塞 —— GTC —— 太平洋时间 2024 年 3 月 18 日 —— NVIDIA 于今日发布人形机器人通用基础模型 Project GR00T旨在进一步推动其在机器人和具身智能方面的突破。
NVIDIA 还发布了一款基于 NVIDIA Thor 系统级芯片SoC的新型人形机器人计算机 Jetson Thor并对 NVIDIA Isaac™ 机器人平台进行了重大升级包括生成式 AI 基础模型和仿真工具以及 AI 工作流基础设施。
NVIDIA 创始人兼首席执行官黄仁勋表示“开发通用人形机器人基础模型是当今 AI 领域中最令人兴奋的课题之一。世界各地的机器人技术领导者正在汇集各种赋能技术致力于在人工通用机器人领域实现突破。”
GR00T 驱动的机器人代表通用机器人 00 技术将能够理解自然语言并通过观察人类行为来模仿动作——快速学习协调、灵活性和其它技能以便导航、适应现实世界并与之互动。在 GTC 大会的主题演讲中NVIDIA 创始人兼首席执行官黄仁勋展示了数台这样的机器人是如何完成各种任务的。 专为人形机器人打造
Jetson Thor 是一个全新的计算平台能够执行复杂的任务并安全、自然地与人和机器交互具有针对性能、功耗和尺寸优化的模块化架构。
该 SoC 包括一个带有 transformer engine 的下一代 GPU其采用 NVIDIA Blackwell 架构可提供每秒 800 万亿次8位浮点运算 AI 性能以运行 GR00T 等多模态生成式 AI 模型。凭借集成的功能安全处理器、高性能 CPU 集群和 100GB 以太网带宽大大简化了设计和集成工作。
NVIDIA 正在为领先的人形机器人公司开发一个综合的 AI 平台如 1X Technologies、Agility Robotics、Apptronik、波士顿动力公司、Figure AI、傅利叶智能、Sanctuary AI、宇树科技和小鹏鹏行等。
Agility Robotics 联合创始人兼首席机器人官 Jonathan Hurst 表示“我们正处于历史的转折点像 Digit 这样以人为中心的机器人将永远改变劳动力市场。现代 AI 将加速发展为 Digit 这样的机器人铺平道路在日常生活的各个方面帮助人类。我们很高兴能与 NVIDIA 合作投资于计算、仿真工具、机器学习环境和其他必要的基础设施让机器人真正融入人们的日常生活。”
Sanctuary AI 联合创始人兼首席执行官 Geordie Rose 表示“具身智能不仅有助于解决人类面临的一些最大挑战还将创造目前超出我们能力范围或想象的创新。如此重要的技术不应该建立在孤岛之上这就是为什么我们非常重视像 NVIDIA 这样的长期合作伙伴。” Isaac 平台的重大更新
GR00T 使用的 Isaac 工具还能够为在任何环境中的任何机器人创建新的基础模型。这些工具包括用于强化学习的 Isaac Lab 和用于计算编排服务的 OSMO。
训练具身智能模型需要海量的真实数据和合成数据。新的 Isaac Lab 是一个 GPU 加速、性能优化的轻量级应用基于 Isaac Sim 而构建专门用于运行数千个用于机器人学习的并行仿真。
为了扩展异构计算的机器人开发工作负载OSMO 在分布式环境中协调数据生成、模型训练和软硬件在环工作流。
NVIDIA 还发布了 Isaac Manipulator 和 Isaac Perceptor 等一系列机器人预训练模型、库和参考硬件。
Isaac Manipulator 为机械臂提供了卓越的灵活性和模块化 AI 功能并提供了一系列强大的基础模型和 GPU 加速库。它提供了高达 80 倍的路径规划加速零样本感知提高了效率和吞吐量使开发者能够实现更多新的机器人任务的自动化。早期生态系统合作伙伴包括安川电机、泰瑞达旗下子公司优傲、PickNik Robotics、Solomon、READY Robotics 和 Franka Robotics。
Isaac Perceptor 提供了多摄像头和 3D 环绕视觉功能这些功能正越来越多地被制造业和物流业中的自主移动机器人所采用以提高效率和更好地保护工人同时降低错误率和成本。早期采用者包括 ArcBest、比亚迪和凯傲集团等它们的目标是为物料搬运等操作带来新的自主化水平。
新的 Isaac 平台功能将在下个季度推出。了解有关 Project GR00T 的更多信息。 英伟达项目 GR00T 通用机器人 00 技术 GR00T 是一种通用基础模型有望改变仿真和现实世界中的人形机器人学习。经过英伟达™NVIDIA®GPU加速仿真训练GR00T能够让人形机器人通过模仿学习和英伟达™NVIDIA®Isaac实验室进行强化学习并从视频数据中生成机器人动作。GR00T 模型将多模态指令和过去的互动作为输入并生成机器人要执行的动作。
请在下方注册以获得有关 GR00T 项目可用性的通知。 GR00T Model Training Workflow 机器人学习和扩展开发工作负载 我们开发了 NVIDIA Isaac Lab 来大规模训练 GR00T并构建了 NVIDIA OSMO这是一种计算协调服务可在用于训练的 NVIDIA DGX 系统、用于仿真的 NVIDIA OVX 系统以及用于硬件在环验证的 NVIDIA IGX 和 NVIDIA AGX 系统之间协调训练和推理工作流。 Robot Learning and Orchestration Setup 英伟达™NVIDIA®Isaac Manipulator Isaac Manipulator 是一系列基础模型和模块化 GPU 加速库通过加速人工智能模型训练和任务重新编程帮助为动态操纵任务构建可扩展、可重复的工作流程。它将彻底改变机器人软件开发人员如何利用定制软件组件完成特定任务的方式如机器护理、装配任务等使操纵臂能够无缝感知周围环境并与之互动。
在下方注册即可获得开发人员预览版的通知。 Generic manipulation workflow Isaac Manipulator simplified end-to-end workflow. 为机器人增添新的智能 Isaac Manipulator 为机械臂带来了新的灵巧性和模块化人工智能功能这些机械臂在处理复杂任务和动态环境时受到限制因为它们的适应性有限而且每遇到新情况都要手动重新执行任务。 高精度和高性能模块 访问一系列先进的模块化软件包用于无摩擦运动学、人工智能感知、工业机械臂的操纵以及即时创建端到端工作流程。
加速机器人运动生成 带有 MoveIt 扩展功能的 NVIDIA cuMotion 可让您实现自定义算法模块而无需大量流水线开销。
更快的开发时间 预训练基础模型可估算和跟踪物体姿势、预测理想抓取点、运行机械臂轨迹优化等从而加快机器人任务的实施。
英伟达™NVIDIA®Isaac 感知器 NVIDIA Isaac™ Perceptor 是一套用于视觉人工智能的硬件加速软件包专为自主移动机器人 (AMR) 量身定制用于在非结构化环境中进行感知、定位和稳健操作。机器人软件开发人员现在可以轻松获得基于人工智能的整套感知能力确保在复杂场景中可靠运行和障碍物检测。
请在下方注册以获得有关 Isaac Perceptor 上市的通知。
主要优势 由于仓库操作和工厂生产线固有的多变性AMR 环境带来了独特的挑战。这些挑战包括特定任务的复杂性如装载和卸载。人工智能AI可通过基于 ROS 2 的 Isaac Perceptor 提供的先进 3D 感知能力来解决这些复杂问题。 这种组合可确保最佳性能和模块化满足您的特定需求。
针对移动机器人进行全面优化 英伟达™NVIDIA®解决方案专为自主叉车和各种工业移动机器人定制。它们配备了强大的视觉里程计和 3D 环绕视觉可用于障碍物检测和占用地图绘制。
可扩展传感器架构 利用业内首个可扩展架构可安装 1 到 8 个摄像头并在所有摄像头和惯性测量单元 (IMU) 之间实现时间同步。
部署就绪 Isaac Perceptor预集成了经过广泛测试的移动机器人子图确保与现有软件栈和机器人无缝集成。 Nova Orin 开发套件 这款功能强大的计算和传感器平台旨在帮助机器人原始设备制造商和软件公司加快 AMR 的开发和部署。主要功能包括
精确的多传感器时间同步传感器数据采集时间小于 100us
用于在机器人上进行评估的文档和软件
传感器参考模型在 NVIDIA Isaac Sim™ 中用于仿真开发 新星卡特 这款先进的参考机器人已组装完毕可与 Isaac Perceptor 一起使用。它包括一个英伟达™NVIDIAJetson AGX Orin™系统模块计算能力高达275 TOPS并使用激光雷达和一组立体摄像头进行环绕感知、绘图和导航。该机器人经过校准和测试开箱即可使用为您提供了宝贵的时间来创新新特性和新功能。
Nova Carter非常适合收集数据用于绘制仓库或工厂等测试区域的地图。处理后的数据可以部署到卡特中以实现完全自主。
