下载官方网站app下载,教育网站模板,做推广送网站免费建站,河南建设监理协会英伟达#xff08;NVIDIA#xff09;正与学术研究人员合作#xff0c;研究手术机器人。
NVIDIA 联合多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院和佐治亚理工学院的研究人员开发了 ORBIT-Surgical#xff0c;一个训练机器人的模拟框架#xff0c;可以提高手术团…英伟达NVIDIA正与学术研究人员合作研究手术机器人。
NVIDIA 联合多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院和佐治亚理工学院的研究人员开发了 ORBIT-Surgical一个训练机器人的模拟框架可以提高手术团队的技能同时减少外科医生的认知负担。
受腹腔镜手术又称微创手术训练课程的启发它支持十多种操作比如抓住像针头这样的小物体从一只手臂传递到另一只手臂并高精度地放置它们。
基于物理的框架是使用 NVIDIA Isaac Sim 构建的这是一个用于设计、训练和测试基于 AI 的机器人的机器人模拟平台。
研究人员在 NVIDIA GPU 上训练强化学习和模仿学习算法并使用 NVIDIA Omniverse——一个用于开发和部署基于通用场景描述 (OpenUSD) 的高级 3D 应用程序和管道的平台来实现照片级真实感渲染。
ORBIT-Surgical 将在 IEEE 国际机器人与自动化会议 (ICRA) 2024 上发表。
GitHub 开源代码https://orbit-surgical.github.io/ 论文地址https://arxiv.org/abs/2404.16027 在下面的视频中ORBIT-Surgical 研究团队演示了如何在模拟中训练数字孪生转移到实验室环境中的物理机器人。
ORBIT-Surgical 基于 Isaac Orbit这是一个基于 Isaac Sim 构建的机器人学习模块化框架。Orbit 支持各种强化学习和模仿学习库其中人工智能代理经过训练可以模仿真实的专家示例。
该手术框架使开发人员能够训练达芬奇研究套件da Vinci Research KitdVRK等机器人使用在 NVIDIA RTX GPU 上运行的强化学习和模仿学习框架来操纵刚性和软物体。
ORBIT-Surgical 引入了十多项外科训练基准任务包括单手任务例如拿起一块纱布、将分流器插入血管或将缝合针举到特定位置。它还包括双手任务例如将针从一只手臂递到另一只手臂将螺纹针穿过环形杆以及将两只手臂伸到特定位置同时避开障碍物。
ORBIT-Surgical 的基准测试之一是插入分流器 左图为现实世界的机器人右图为模拟图。 通过开发利用 GPU 加速和并行化的手术模拟器该团队能够将机器人的学习速度比现有手术框架提高一个数量级。他们发现经过训练机器人数字孪生可以在单个 NVIDIA RTX GPU 上在两小时内完成插入分流器和提起缝合针等任务。
借助 Omniverse 渲染实现的视觉真实感ORBIT-Surgical 还允许研究人员生成高保真合成数据这有助于训练 AI 模型执行感知任务例如在手术室捕获的真实视频中分割手术工具。
该团队的概念验证表明将模拟和真实数据相结合显著提高了人工智能模型从图像中分割手术针的准确性有助于减少训练此类模型时对大型、昂贵的现实数据集的需求。
