网站做营利性广告需要什么备案,代理公司名字,做国外营销型网站,主营网站建设品牌Khronos: A Unified Approach for Spatio-Temporal Metric-Semantic SLAM in Dynamic Environments 原文 项目 引言#xff1a; 人类居住环境通常是高度动态的#xff0c;人、机器人和其他实体不断移动、互动和改变场景。对于机器人在这种情况下的操作#xff0c;仅仅建立一…Khronos: A Unified Approach for Spatio-Temporal Metric-Semantic SLAM in Dynamic Environments 原文 项目 引言 人类居住环境通常是高度动态的人、机器人和其他实体不断移动、互动和改变场景。对于机器人在这种情况下的操作仅仅建立一个单一时间点的世界模型是不够的。相反机器人还应该能够推理过去时间段场景的状态推断出在多次观察中场景可能如何改变。这种能力对于需要对较长时间跨度进行推理的各种应用至关重要包括家庭和服务机器人、工业建筑或工地监测其中机器人不仅需要在高度动态的环境中操作而且需要跟踪或推理过去环境的演变以更智能地高效执行任务。度量语义SLAM允许机器人实时构建场景的语义注释的几何表示。几何信息对于机器人安全导航和物体操作至关重要而语义信息为机器人执行人类指令和向人类提供易于理解的环境模型提供了理解。为了实时构建这些密集的度量语义表示通常假设世界是静态的并专注于将嘈杂的几何和语义测量稳健地融合成度量语义模型。尽管这对于某些机器人应用是一个有效的假设但它限制了机器人可以操作的环境类型的普遍性以及可以分配给它的任务。另一方面已经有大量的工作在动态环境中处理SLAM但这些工作主要集中在短期动态如当前在摄像机前移动的人或物体很难处理长期变化。可能场景发生了实质性的变化例如家具被重新摆放而机器人并没有直接观察到。真实环境同时经历短期和长期的变化现有方法很难对两者同时进行推理。此外为了使机器人能够有效地与其他人类和机器人一起工作这样一个框架需要在机器人操作期间利用有限的信息和计算资源构建对世界的理解。
为此这篇文章引入了时空度量语义SLAMSMS问题旨在随着机器人导航场景逐步构建世界的密集度量语义模型。作者提出了一个统一的框架来解决SMS问题其核心思想是基于时空局部一致性开发SMS问题的新因子分解这允许解开由感知噪声、状态估计误差、动态对象和场景中的长期变化引起的错误。作者将这一见解集成到一个名为Khronos的时空感知系统中它是第一个能够实时构建场景时空地图的度量语义系统。在几个模拟场景中对我们的方法进行了彻底评估并在多个机器人平台上导航高度动态的现实环境中进行了背景重建、物体检测、运动跟踪和变化检测的详细注释。
贡献
形式化了时空度量语义SLAMSMS问题允许机器人对周围环境及其随时间演变的密集度量语义有深入理解。提出了SMS问题的新型因子分解为现有的专注于短期和长期动态的解释提供了统一的视角。提出了Khronos第一个时空度量语义感知系统由用于异步局部地图和可变全局变化检测的新算法组成。
方法原理 Khronos输入机器人里程计Φ语义分割和RGBD输入Z。活动窗口使用这些来估计局部表示和物体碎片Y。然后执行全局优化来估计机器人位姿X和碎片关联A。最后将优化后的碎片状态调和来估计场景的时空地图。 通过活动窗口进行局部估计 将局部估计组件称为活动窗口。它的目标是通过增量估计一组来自观测 Z,Φ 的片段 Yk以满足局部一致性。 重建。 首先重建静态背景。使用网格来实现 Khronos 来建模表面 Ω。为此在机器人周围逐步分配体积图并执行投影 TSDF 融合以估计 OBG。然后从原始 RGBD 数据中的每个帧中获取候选观测 Z。可以使用不同的线索从传感器数据中提取 Z。首先利用输入帧中提供的语义掩码作为 Z。其次利用几何运动检测将物体与背景分离。 跟踪。 为了估计最好解释观测 Z 的片段 Y生成一组对象假设的池。由于活动窗口内的变化很小可以贪婪地将新的观测 Ztk 关联到最合适的假设上通过计算每个 Ztk与假设之间的体积 IoU 来实现。在这种方法中选择使用 TSDF 融合来重建静态物体的表面并使用点云来表示可变形的动态物体。同样跟踪背景的局部一致性并提取退出活动窗口的顶点。这种对活动窗口中每个实体的异步跟踪确保了局部一致性并自然地处理了部分或错误的观测。同时它具有一个重要优势即当所有数据都可用时可以估计对象属性。 全局优化 全局优化模块从活动窗口获得的局部估计进行优化和更新以进行调和。在全局范围内联合估计机器人姿势 X、片段位置 Y 和背景密集网格。变形图的节点对应于机器人姿势 X 和从 OBG 中选择的网格控制点 PM以及一个新的碎片姿态其位置和标识旋转进行初始化。使用边缘 EYX 将位姿连接到机器人姿势图。每个位姿始终与首次观察碎片时对应的机器人姿势 Xf 连接并根据一致性检查选择性地与最后观察到碎片时对应的机器人姿势连接。 调和 最后调和的目标是估计在所有时间 t T 时刻的场景状态。值得注意的是碎片只包含积极的观察结果即有关检测到的对象存在的信息但不包括它们的缺失信息。为了解决这一缺失证据与证据缺失问题执行额外的几何验证步骤。 可变形变化检测。 虽然在表面表示中没有存储体积信息但这些信息部分地隐含在背景和机器人姿态中。核心思想是当连接背景顶点和机器人姿态时它们不会在那个时候被遮挡。然而由于全局优化过程中机器人和背景姿态可以不断改变因此在在线操作过程中将这些信息集成到自由空间地图中是不可行的。相反通过光线库来近似这些全局自由空间信息。每当从活动窗口提取背景顶点时创建该顶点到其观察窗口中间的机器人位置的代表光线。为了进行高效的查找这是通过在粗略的全局哈希映射中存储顶点和视点的索引来实现的。这些可以高效地逐步添加并允许机器人和背景点在它们的网格单元内自由移动。当检测到较大的位置变化时例如在闭环的情况下哈希映射将从头开始重新计算。为了检测缺失或存在的证据在光线库中查询碎片表面上的点。 调和。 最后可以估计在碎片 Y 之间每个对象存在的时间。为此计算了在首次观察到碎片 Y 之前的最新缺失证据以及在其退出活动窗口之后的最早缺失证据。类似地计算了该窗口内存在的最早和最晚的存在证据。直观地说这反映了一个对象必须在其位置最后被观察为空时和该位置首次被观察到对象存在之间的某个时间点新出现并反之亦然。假设对象以均匀的概率出现或消失最小的期望误差估计可以很容易地显示为该窗口的中间部分。
实验效果 图 1我们提出了 Khronos这是一种在动态环境中执行度量语义同步映射和定位 (SLAM) 时推理短期动态和长期变化的统一方法。上面显示了 Khronos 时空地图中的一些实例代表了所有时间的场景状态。短期动态左以洋红色显示并与相应时间间隔内观察到的人类行为进行比较。我们显示检测到的移动点周围的当前和初始边界框以及质心轨迹。人类和无生命物体例如手推车左下都会被检测到。显示同一场景的三个时间实例的长期变化右。最早的实例出现在时间 0:20右上角。当机器人穿过走廊时一把椅子被移走一个红色的冷却器被放置在桌子上当机器人重新访问并在时间 1:52右下关闭循环时会检测到这些变化。最后冷却器再次被移除机器人在 3:35 检测到这一情况。
4D背景重建 包括静态对象动态对象和变化检测。对所有指标来说越高越好。
真值分割和开放集分割对Apartment序列的变化检测性能。
Khronos目标检测性能和对人工标注的真值的长期变化。 第一次变化发生在90 s左右但机器人自然还没有再观察到该物体。然后机器人开始观察变化并增加其回忆性而新物体出现并消失降低了回忆性。最终机器人闭合回路在起始位置检测到若干变化。 图 8使用 Boston Dynamics Spot 四足动物构建的时空地图涵盖大学建筑的整个楼层。我们在地图中展示了一些长期变化的实例将一把椅子移到不同的位置左上移除两个回收箱右上以及改变两把椅子的排列右下。显示的 Khronos 重建对应于较晚的时间戳检测到的对象在图像中突出显示。例如请注意窗户附近的椅子右下3:09如何在 6:30右上出现在地图中但在机器人于 7:30 重新访问后被标记为不存在并以新姿势重新出现19右下。我们还展示了人类行为的短期动态左下然而由于摄像头朝下的角度Khronos 只能看到行走的人的腿而该腿已被成功检测到。
全局优化组件( top )和协调组件( bottom )的运行时间。
限制 1由于Khronos将边界框质心估计为物体位置因此对部分观测和遮挡敏感。此外缺乏对物体旋转的估计会降低全局估计和协调的有效性。采用现代物体姿态和形状估计以及注册技术将提高物体关联的鲁棒性和准确性。2使用光线追踪方法进行变化检测意味着存在一个参考表面。尽管在实验中发现其效果良好但在具有稀疏表面的大型开放空间中进行变化检测将表现不佳。3随着对物体的重新观察物体分割的数量增加这限制了Khronos的可扩展性。在理想情况下过时或已经自信地协调的物体分割被边缘化使得存储的物体分割数量与支持长时间任务的物体数量成比例。
