怎么做购物微信网站,旅行社服务网点能否做网站,土木英才网招聘信息,阿里云网站备案时间在本文中#xff0c;研究者提出了一个完全稀疏且以体素为基础的3D物体检测和跟踪框架VoxelNeXt。它采用简单的技术#xff0c;运行快速#xff0c;没有太多额外的成本#xff0c;并且可以在没有NMS后处理的情况下以优雅的方式工作。VoxelNeXt在大规模数据集nuScenes、Waymo…在本文中研究者提出了一个完全稀疏且以体素为基础的3D物体检测和跟踪框架VoxelNeXt。它采用简单的技术运行快速没有太多额外的成本并且可以在没有NMS后处理的情况下以优雅的方式工作。VoxelNeXt在大规模数据集nuScenes、Waymo和Argoverse2上表现出很好的速度和精度在Argoverse2 3D检测和nuScenes 3D LiDAR跟踪上取得了SOTA的结果。
想要关注该项工作的更多内容欢迎查看来自本文作者陈玉康带来的Talk分享
正在上传…重新上传取消https://mp.weixin.qq.com/s?__bizMzAxMzc2NDAxOQmid2650447242idx1sn91d75e69b9486ccbe0818123a3c079e4scene21#wechat_redirect 论文链接https://arxiv.org/abs/2303.11301 代码链接https://github.com/dvlab-research/VoxelNeXt 一、摘要
目前自动驾驶场景的3D检测方法大多采用稠密特征的检测头而3D点云数据本身是稀疏的这无疑是一种低效和浪费计算量的做法。我们提出了一种全稀疏的3D 检测框架 VoxelNeXt. 该方法可以直接从稀疏的体素特征来预测3D物体无需借助成anchor, center, voting等中间状态的媒介。
此外该方法在取得检测速度优势的同时还能很好地帮助多目标跟踪。VoxelNeXt在大规模公开数据集nuScenes、Waymo、Argoverse2上都取得了很好的效果并在Argoverse2 LiDAR 检测和nuScenes LiDAR多目标跟踪上取得SOTA。此外VoxelNeXt由于其全稀疏的特性能够很好地结合 Segment Anything [1]在点击图像的同时不仅能获得2D mask还能获得 3D box可以在很大程度上方便3D物体的标注https://github.com/dvlab-research/3D-Box-Segment-Anything。 二、背景介绍
3D感知是自主驾驶系统中的一个基本组成部分。3D检测网络以稀疏点云或体素作为输入。大多数3D目标检测器[2, 3, 4]通常使用稀疏卷积网络Sparse CNNs[5]进行特征提取因其效率高。受2D目标检测框架启发现有的方法通常用锚点[2, 3]或中心点[4]来预测即CenterPoint [4]中的密集点锚点。它们都是手工制作的作为3D对象的中间代理。
然而锚点和中心点设计初衷是针对常规和网格结构的图像数据并不考虑三维数据的稀疏性和不规则性。为了使用这些代理表示法主流的检测器将3D稀疏特征转换为二维密集特征以构建有序锚点或中心的密集检测头。虽然有用但这种dense head的方式显然是不够高效的。 图 1 CenterPoint 点云输入和BEV heatmap
在图1中我们展示了CenterPoint[4]中的热力图。很明显大部分空间几乎没有预测得分。由于固有的稀疏性和许多背景点只有少数点有响应在nuScenes验证集上Car类平均少于1的点。然而现有的检测头会在特征图中所有位置进行计算它们不仅浪费了很多计算资源还用冗余的预测使检测管道变得更加复杂。需要使用非极大值抑制NMS之类的后处理方法来消除重复的检测结果。这些限制促使我们寻求替代的稀疏检测解决方案。 图 2 VoxelNeX和主流检测框架结构对比
三 、方法介绍
在本文中我们提出了VoxelNeXt。它是一种简单高效且无需后处理的3D物体检测器。我们设计的核心是直接从体素特征中预测3D物体使用一种强大的完全稀疏卷积网络。如图2所示我们方法的关键优势在于可以摆脱锚点代理稀疏转密集区域建议网络和其他复杂的组件。 图 3 VoxelNeXt 框架具体细节
VoxelNeXt 包含了4个实现细节1) 多下采样两次2) 将3D稀疏体素压缩成2D 稀疏体素3sparse max pooling (可以和NMS替代)4用3x3 sparse conv或FC来预测物体。 图 4 多下采样两次对于预测结果和感受野的影响
其中“多下采样两次”是对于效果来说最重要的操作。想实现“从稀疏的体素直接预测物体”的前提是体素特征需要有足够大的感受野。而“多下采样两次”刚好弥补了感受野的不足如图4所示。且非常好实现也不会增加太多额外的计算量。
四 、实验分析
我们统计了用于预测物体的体素 (query voxel) 和相应预测框之间的关系表格如表1所示。可以看出大多数的物体都是基于靠近物体边界的体素预测出来的而非靠近中心的体素。对于一些比较小的物体如Pedestrian甚至可以用物体以外的体素进行预测如图5所示。 表 1 预测物体的体素和预测框之间的位置关系 图 5 预测物体的体素(query voxel)和预测框
我们还对比了和基于中心点预测的传统方法CenterPoint的结果发现VoxelNeXt相比于CenterPoint的优势主要来自于在物体方向(Orientation)上的精准预测。相比于中心点靠近物体边界的体素可能对物体方向有着更好的把控。
此外我们还在Argoverse2数据集上进行了实验。相比于Waymo, nuScenes等75m半径的检测范围Argoverse2最大的检测范围是200m半径。如图6所示CenterPoint这种稠密的检测头会随着检测范围的增加而急剧增加。而FSD [5] 和 VoxelNeXt 这类全稀疏的检测器速度恒定其中VoxelNeXt由于其简洁性速度快。 图 6 在Argoverse2数据集上不同检测范围消耗的计算时间
五 、结合 Segment Anything 图 7 结合Segment Anything和VoxelNeXt进行 promtable 3D检测
我们在 Segment Anything 的基础上加入了VoxelNeXt 3D物体检测。可以直接点击图像不仅能获得2D mask还能获得3D框。这样的结合把3D检测变成了promtable的可以在很大程度上方便3D物体的标注。
六 、后记
我们提出了一个完全稀疏且以体素为基础的3D物体检测和跟踪框架VoxelNeXt。它采用简单的技术运行快速没有太多额外的成本并且可以在没有NMS后处理的情况下以优雅的方式工作。我们首次展示了直接基于体素的预测是可行和有效的。因此锚点或中心以及密集头变得不必要。VoxelNeXt在大规模数据集nuScenes [7]、Waymo [8] 和Argoverse2 [9] 上表现出很好的速度和精度。VoxelNeXt在Argoverse2 3D检测和nuScenes 3D LiDAR跟踪上取得了SOTA的结果。
参考文献
[1] Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Doll{a}r, Ross Girshick
[2] Shaoshuai Shi, Chaoxu Guo, Li Jiang, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. PV-RCNN: pointvoxel feature set abstraction for 3d object detection. In CVPR, pages 10526–10535, 2020.
[3] Jiajun Deng, Shaoshuai Shi, Peiwei Li, Wengang Zhou, Yanyong Zhang, and Houqiang Li. Voxel R-CNN: towards high performance voxel-based 3d object detection. In AAAI, pages 1201–1209, 2021.
[4] Tianwei Yin, Xingyi Zhou, and Philipp Krahenbuhl. Centerbased 3d object detection and tracking. In CVPR, pages 11784–11793, 2021.
[5] Benjamin Graham, Martin Engelcke, and Laurens van der Maaten. 3d semantic segmentation with submanifold sparse convolutional networks. In CVPR, pages 9224–9232, 2018.
[6] Lue Fan, Feng Wang, Naiyan Wang, Zhaoxiang Zhang, Fully Sparse 3D Object Detection, NeurIPS 2022
[7] Holger Caesar and at.al. nuscenes: A multimodal dataset for autonomous driving. In CVPR, pages 11618–11628, 2020.
[8] Pei Sun and et. al. Scalability in perception for autonomous driving: Waymo open dataset. In CVPR, pages 2443–2451, 2020.
[9] Benjamin Wilson and et. al. Argoverse 2: Next generation datasets for self-driving perception and forecasting. In NeurIPS, 2021. 作者陈玉康 Illustration by IconScout Store from IconScout
-The End-
