电子商务网站建设基础项目实训,wordpress 图片插件,管理外贸网站模板,成都高薪南网站建设概要
自动驾驶领域的一个长期愿景是#xff0c;感知模型能够从大规模点云数据集中学习获得统一的表征#xff0c;从而在不同任务或基准数据集中取得令人满意的结果。之前自监督预训练的工作遵循的范式是#xff0c;在同一基准数据集上进行预训练和微调#xff0c;这很难实…概要
自动驾驶领域的一个长期愿景是感知模型能够从大规模点云数据集中学习获得统一的表征从而在不同任务或基准数据集中取得令人满意的结果。之前自监督预训练的工作遵循的范式是在同一基准数据集上进行预训练和微调这很难实现预训练权重的性能可扩展性和跨数据集应用。在本文中作者提出要解决预训练网络的泛化性问题需要从数据层面和算法层面分别考虑。为此作者将点云预训练任务表述为一个半监督问题利用少量有标签和大量无标签的的点云数据来生成统一的骨干表征。首先作者通过类别感知的伪标签生成器和基于多样性的数据处理器构建了一个具有多样化数据分布的大规模预训练点云数据集同时将预训练和下游微调阶段关注类别不同的问题看做一个开集问题并提出了未知实例学习头使网络从构建的多样化的预训练数据集中学习可泛化的表征。
作者利用AD-PT预训练好的权重初始化多种检测器包括PV-RCNNPV-RCNNCenterPointSECOND并在多个数据集WaymonuScenesKITTI上进行微调。实验结果表明AD-PT解耦了与自动驾驶的预训练过程和下游微调任务在多个下游数据集上都取得了明显的性能提升。 论文题目 AD-PT: Autonomous Driving Pre-Training with Large-scale Point Cloud Dataset 论文地址https://arxiv.org/abs/2306.00612 代码地址https://github.com/PJLab-ADG/3DTrans 动机
虽然3D检测器可以帮助自动驾驶汽车识别周围环境但现有的基准模型很难推广到新的域如不同的传感器设置或未见过的城市。自动驾驶领域的长期愿景是训练出场景通用的预训练模型该模型可泛化到不同的下游数据集。为实现这一目标研究人员开始研究自监督预训练SS-PT。
但是如图所示应该指出的是上述 SS-PT 与所需的自动驾驶预训练AD-PT范式之间存在重要区别。SS-PT 旨在从单个无标注数据集中学习为同一数据集生成合适的表征。而 AD-PT 则希望从尽可能多并有多样性的数据中学习统一的表征以便将学习到的特征提取能力更好地转移到各种下游数据集中。因此SS-PT 通常只有在测试数据和预训练数据取样于同一数据集时才会表现出色而 AD-PT 在不同数据集上具有更好的泛化性能。并且随着预训练数据集数量的增加性能也会不断提高。 图1不同训练范式的对比 因此本文的重点是实现 AD 预训练这种预训练可以很容易地应用于不同的基线模型和基准数据集。通过大量实验作者认为要实现真正的 AD-PT需要解决两个关键问题1如何建立一个统一的、数据分布多样的 AD 数据集以及 2) 如何通过设计有效的预训练方法从这样一个多样化的数据集中学习可泛化的表征。
基于上述分析为了实现 AD-PT 模式作者提出了基于多样性的预训练数据准备程序和未知感知实例学习的预训练过程以加强提取特征的代表性。相比于过去的预训练方法AD-PT提供了一种更加统一的方法即一旦生成预训练的权重就可以直接加载到多个感知基线和基准中。 图2 AD-PT框架图 AD-PT框架如图2所示主要包括大规模点云数据集准备程序和以自动驾驶为重点的统一表示学习程序。作者首先设计了一个类感知伪标签生成器来生成伪标签。之后为了获得更多样化的样本提出了一种基于多样性的预训练数据处理器。最后为了在这些伪标签数据上进行预训练以学习它们的通用表征作者设计了一种带有一致性损失的未知感知实例学习方法。
方法
大规模点云数据集准备 1. 类别感知伪标签生成器 类别感知伪标签生成。作者发现不同基线模型对不同类别具有不同的感知能力。例如基于中心的倾向于更好地检测小范围目标如行人而基于锚点的方法则在其他类别中表现更好。最终作者利用不同模型标注不同类别。 半监督学习。作者进一步利用半监督学习方法来提高伪标签的准确性。在文章中作者使用 MeanTeacher 来进一步提高分类检测能力。最终在 ONCE 验证集上的准确率大大超越了Benchmark上的记录。 伪标签阈值。为避免标注大量假阳性实例作者设置了一个相对较高的阈值。这样也带了了一个问题即与 ONCE 标注数据相比一些预测分数相对较低的困难样本没有被标注。
最终的性能如下表所示 2. 基于多样性的预训练数据处理器
数据线束多样化。为了获得线束多样化的数据作者使用range image作为中间变量对点云数据进行上采样和下采样。具体来说给定一个有 n 个线束的激光雷达点云如 ONCE 数据集有 40 个线束每个环有 m 个点range image 可通过下式求得 具有更多 RoI 多样性 不同地点采集的物体大小的分布不一致。为了克服这一问题作者通过随机重缩放每个物体的长度、宽度和高度来获得多样性更强的实例帮助预训练。 在大规模点云数据集下学习统一表征
通过使用上述方法获得统一的预训练数据集可以提高场景级和实例级的多样性。然而伪标注数据集只有有限的类别标签此外如之前所述为了获得准确的伪标注作者设置了较高的置信度阈值这可能会不可避免地忽略一些较难的实例。这些被忽略的实例在预训练数据集中可能并不重要但在下游数据集中可能被视为感兴趣的类别例如nuScenes 数据集中的 “barrier”在预训练过程中会被抑制。
为了缓解这一问题作者将预训练视为一个开集学习问题将对象性得分相对较高的背景区域视为未知实例。这些实例在预训练阶段被忽略但可能对下游任务至关重要。对象性得分是从区域建议网络RPN中获得的。然而由于这些未知实例包含大量的背景区域因此在预训练阶段直接将这些实例作为前景实例处理是不合适的会导致主干网络激活大量的背景区域。
为了克服这一问题作者利用双分支头作为委员会来发现哪些区域可以有效地作为前景实例。具体来说通过对双分支对象性分数大于一定阈值的bounding boxes进行基于距离的匹配并将一致性强的区域在训练过程中当做前景。双分支一致性特征可以由下面公式获得 实验
实验设置 预训练数据集。我们利用ONCE数据集ONCE由大量无标注数据和少量代标注数据组成包含许多场景和天气条件。在进行预训练时我们将CarPedestrian和Cyclist合并为一个统一的类别。我们的主要结果是基于 ONCE 的100K数据进行并使用更大量的数据500K1M来验证预训练的可扩展性。 微调数据集。我们在WaymonuScenes和KITTI上进行了少量数据以及全量数据的实验。
实验结果
这里只展示了主要实验结果更多结果请参考我们的论文。 Waymo上的实验结果 在nuScenes上的实验结果 在KITTI上的结果 增加预训练数据量的结果 总结
在这项工作中作者提出了 AD-PT 范式旨在在统一的数据集上进行预训练训练出泛化性强且表征能力强的骨干网络从而提升在多个下游数据集上的性能。通过所提出的数据准备流程以及未知实例学习头分别从数据集算法层面提升模型的泛化能力。在多个基准数据集上的实验表明AD-PT的预训练权重可以加载到多种检测器中并且取得性能的提升。 关于TechBeat人工智能社区
▼ TechBeat(www.techbeat.net)隶属于将门创投是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地分享自己最新工作的沃土在AI进阶之路上的升级打怪的根据地 更多详细介绍TechBeat一个荟聚全球华人AI精英的学习成长社区
