美的企业微信网站,中国建筑装饰网设计师联盟,天津软件优化公司排名前十,建设银行网站能不能注销卡PointNet是斯坦福大学研究人员提出的一种点云处理网络#xff0c;其可以直接输入无序点云集合进行处理#xff0c;而不像基于投影的方法需要先对点云进行预处理再输入网络。其可以用作与点云分类和点云分割。由于其可以直接输入无序点云#xff0c;因此对深度学习点云处理产…PointNet是斯坦福大学研究人员提出的一种点云处理网络其可以直接输入无序点云集合进行处理而不像基于投影的方法需要先对点云进行预处理再输入网络。其可以用作与点云分类和点云分割。由于其可以直接输入无序点云因此对深度学习点云处理产生了巨大的影响。而同一个作者的进阶版网络PointNet 则解决了PointNet局部特征使用不足的问题提高了其局部特征的处理能力。
点云的特征
点云往往是欧几里德空间点的子集往往拥有以下三个主要特征 无序性 与图像的像素矩阵或体积栅格中的体素阵列不同点云是一组没有特定顺序的点也就是说N个3D点集会有 种排列。 点之间相互作用 这些点来自具有距离度量的空间这就意味着点与点之间不是鼓励的相邻点可能形成一个有意义的子集。因此模型应该捕获局部结构以及局部结构互相之间的特征。 变换不变性 对点云全集进行刚性变换点之间的相对位置是不变的。
PointNet
PointNet的整体架构如下图所示
下面将分解PointNet的每一部分。
MLP
共享多层感知机在PointNet的max pool前用了两次其为共享MLP第一次是在对原始点云transform后的点将特征升到64维第二次是在对64维特征transform后再次升维到1024维度本质上就是使用MLP对输入的点进行两次特征升维提取。
在进行max pool后根据网络功能的不同使用的MLP次数也不同。对于分类网络对池化后的特征进行MLP最终输出分类分数矩阵。而对于分割网络通过了两次shared MLP最后输出一个 的分数矩阵。
Max Pool
Max Pool 可以说是PointNet的核心思想了但细究原理其实很简单。由于PointNet 是直接将点云集合输入到网络中因此要求点云输入顺序不同提取出来的特征也是不能改变的即需要找到一个函数可以使得输入的顺序改变结果也不改变。自然而然的可以找到一些可选选项取最大值、取平均值取和等方法。而PointNet使用的就是取最大值这个方法也做了相关实验这些方法都是可行的并且取最大值这个方法取得了最好的效果。Max Pool方法示意图如下 在进行特征升维后我们分别取各个维度中每个点最大的一个值将他们组成最后的特征矩阵就是Max Pool的做法。易得这种方法不管输入点的顺序是什么得到的特征矩阵都是一致的。
T-Net
T-Net用在input transform和feature transform中其本质也是一个微型的PointNet作用是将原始点矩阵或特征矩阵转换为标准的朝向这样的话就可以适应不同朝向的点云了对应点云特征第三点。
但实际作用并不是太大可以略微改善效果聊胜于无。但其也添加了相应的计算量。因此在PointNet中就完全删除了T-Net。
Segmentation Network
PointNet用作于分割相对于用于分类稍复杂一些其结构如下 由于分割任务需要把每个点都考虑进去因此最后用于MLP的矩阵不能只含有全局特征global feature还需要包含每个点的特征。最左边的矩阵白色部分是经过特征第一次升维和transform的矩阵右边灰色部分是将全局特征重复n次将这两个部分拼接到一起最后再经过两层MLP最后得到每一个点的分类以完成分割任务。
以上三个部分是作者认为的PointNet核心的三个思想。下面来谈一下我觉得PointNet比较有意思的点。
Critical Point Sets
在Max Pool中我们提到了其作用是提取各个点的每个维度中的最大值如果只保留对最后全局特征有起到作用的点将他们集合起来这就称之为Critical Point Sets。 可以看到Critical Point Sets往往是点云的边界这些点往往定义了点云的形状。网络的鲁棒性就来源于此处只要保留了关键点及时点云有变换和扰动结果也不会受到影响。 Voxel Feature Encoding
目前来说有一种比较好用的特征提取方法如图所示 其先进行一次PointNet特征提取然后将获得的全局特征拼接到原有的特征上在进行一次PointNet特征提取最后获得一个新的全局特征这样的取样方式会获得兼具局部和全局的特征PointNet也是用了类似的思想进行特征提取。
总结
PointNet的创新点如下
直接用点数据进行操作不损失精度对无序数据的效果比较好证明了PointNet也可以和正常神经网络一样可以拟合任何函数
同时局限性如下
缺陷
缺少了逐层特征提取仅仅是对每个点表征对局部结构信息整合能力太弱分割任务的全局特征global feature是直接复制与local feature拼接
PointNet
PointNet的一个比较突出的不足就是无法获取局部特征因为在PointNet中只存在对点进行1 * 1的卷积操作或者全局点进行最大池化操作因此获得的特征严重损失了大量珍贵的局部特征。这就导致了PointNet在分割特别是部分分割场景下的效果并不好。
因此PointNet的作者借鉴了CNN的思想通过先把点云划分为具有重叠部分的局部区域再局部区域中使用PointNet提取局部特征再扩大范围再局部特征的范围上再次提取更高层次的特征直到最后提取点云的全局特征。基于这种思想提出了PointNet。PointNet的整体结构如下 整个网络可以看作为encoder-decoder的结构encoder是一个采样的过程通过多层set abstraction将数据进行局部到全局的采样。decoder分为分类和分割分类decoder比较简单将encoder获得的全局特征经过一个PointNet降维再通过多层感知机获得分类分数。分割decoder相对较复杂需要通过反向插值的方法实现采样回复点云再通过一个unit PointNet获得每个点的分类。
Set abstraction
每个set abstraction包括sampling、grouping和一个PointNet。
sampling 使用farthest point samplingFPS选择个点作者使用FPS而不是随机取样的原因是FPS更容易囊括整个点云。grouping 使用Ball Query或KNN的方法生成在sampling的邻域中选择个点。这一步使用具体哪个方法差别不太大 PointNet 对SamplingGrouping以后的点云进行局部的全局特征提取
整体的流程如图所示 经过多个set abstraction后可以获得一个兼具局部和全局的特征。 MSGMRG
通过多层的特征提取可以使得点云分类和分割性能都有所提升但是也损失了其鲁棒性。激光所收集的点云中总是有近处密度高远处密度低的特性而PointNet对于不均匀点云的处理性能不佳。
在论文中作者给出了对比试验在密度不均匀的点云中使用原始PointNet其效果甚至不如PointNet。PointNet提出了两个解决方案多尺度分组(MSG)和多分辨率分组(MRG)。 MSG MSG在每一个分组层都使用多个尺度半径来确定领域范围每一个范围经过PointNet特征提取后再整合起来得到一个多尺度的新特征。MRG MRG的每一个特征都由两部分组成本层领域范围经过PointNet获得的的特征以及上一层领域范围经过PointNet获得的特征。当点云密度不均时可以通过判断当前patch的点云密度给予左右两个特征向量不同的权重。例如当patch中密度过小左边特征向量中包含的点更稀疏容易受到抽样不足的影响因此提高右边特征向量的权重。
MSG效果较好但相对的计算量也较大经过三次PointNet。作者在论文中给出了分类实验结果对比图可以看出多尺度(MSG, MRG)和单一尺度(SSG)相比分类准确率没有什么提升但当点云很稀疏的时候使用MSG可以保持很好的鲁棒性。random input dropout(DP)对于鲁棒性提升也很大。 random input dropout(DP)指的是输入的时候随机选择原输入点的一部分进行最终输入也就是随机抛弃掉一些点在原文中保留了95%的点。
Classification
分类网络比较简单用Encoder层获得的全局特征经过一次PointNet在提取一次全局特征然后通过全连接网络就可以获得分类结果了分类网络的结构图如下 Segmentation
经过Encoder部分我们获得的是一个全局的特征而如果我们需要做分割需要的是逐点特征point-wise feature。PointNet的解决方法很简单除暴将全局特征copy了和local feature进行拼接这样获得的特征具有一定的邻域信息但是辨别性discriminative并不好。
而PointNet使用反向插值skip connection的方法获得一个兼具全局和局部的特征。分割网络的结构图如下 总结
PointNet是PointNet的延续一定程度上弥补了PointNet的一些缺陷。PointNet提供了比较好的表征网络后序的点云处理发展很多论文都是用到了这种表征方式。不过PointNet相对于PointNet不管是分类还是分割任务总体的准确率大概只提升了2-4个点。
参考资料
PointNet论文PointNet论文PointNet作者演讲三维点云网络——PointNet论文解读PointNet论文解读以及代码分析搞懂PointNet这篇文章就够了 作者0x2a 文章来源知乎 推荐阅读
深入浅出 | 谈谈MNN GPU性能优化策略使用 Ollama AI 在本地 Raspberry Pi 运行大语言模型ResNeXt学习
更多芯擎AI开发板干货请关注芯擎AI开发板专栏。欢迎添加极术小姐姐微信id:aijishu20)加入技术交流群请备注研究方向。
