建站服务的网络公司有哪些,百度指数移动版app,西安网站开发公司定制,网页设计代码实战点云的处理任务 场景语义分割 物体的三维表达方法#xff08;3D representations#xff09;#xff1a; 点云#xff1a;是由物体表面上许多点数据来表征这个物体。最接近原始传感器数据#xff0c;且具有丰富的几何信息。 Mesh#xff1a;用三角形面片和正方形面片拼…点云的处理任务 场景语义分割 物体的三维表达方法3D representations 点云是由物体表面上许多点数据来表征这个物体。最接近原始传感器数据且具有丰富的几何信息。 Mesh用三角形面片和正方形面片拼成一个物体。 Volumetric一种栅格化的表征方法。 Projected View通过图片来不同的角度来构成的一个立体的兔子。附有RGB颜色信息和D深度信息。
点云数据的获取方法
1可以通过激光雷达扫描所得到
2通过摄影的方法获取RGB图像再通过一些方法获取深度信息。最后通过透视即可反推出空间中的一些点云数据。 Depth Sensor带有深度传感器的摄像头这种相对图中其他方法更为接近原始传感器数据。过去还需要经过点云对准、去噪等处理。 比如较为先进的可以通过多个摄像头进行倾斜摄影来构造点云数据。 点云一般具有的基本信息位置信息三维坐标xyz颜色信息。 另外还可以通过别的方法来获取强度信息intensity、法向量的信息等。 严格来说呢RGBD这种结合只能算为2.5D。
点云数据处理的挑战 1不规则密集和稀疏的区域不规则。通常激光雷达获取的数据近密远疏。 2非结构化。 3无序的。这就带来置换不变性从几何上来说这个点云的顺序是没有关系的不同的点排不同的序还是同一个点云。 对于点云的处理 1结构化表示学习 1.1基于体素将非结构化点云数据转换为右边的很多小栅格所表示的表达方式来处理。 1.2基于多视角将点云数据通过各个角度来进行投影得到一个二维视角的一个图像。后续通过比如CNN进行处理。 2深度学习直接在原始点云数据上进行处理 PointNet–直接处理点云数据的深度学习技术的开山之作 是一个可以完成多种任务的统一框架 分类、部件分割、场景的语义分割 2.1基于点的方法PointNet、PointNet PointNet没有考虑局部的上下文信息就是对输入的点进行share的多层感知机MLP处理后经过最大池化来得到点云的特征。 PointNet通过Sampling采样然后Grouping后来获得局部信息以提升性能。 3基于卷积的方法 4基于图的方法 对于3D点云的一个深度学习方法的分类 以前的一些相关工作 PointNet原理 挑战 1输入的点云是无序的点的集合 这里有一个点云数据N个无序的点每个点表示为D维向量。最简单的就是xyz三维坐标法向量颜色强度信息总之可以表达为一个矢量 这个点的顺序的集合表示在改变顺序后应该还是表示同样的集合。 也就是说对于这种置换、排列应该有同样的结果难么什么样的处理能够做到这种置换不变性呢 对称函数是可以做到这一点的就是改变函数中x1到xn的排列顺序后输出不受影响 求最大值函数是不是和排列顺序无关呢求和函数也是啊。那么我们就可以通过神经网络构造这样的对称函数了。 构造复合函数每个点都经过h这个函数共享函数可以用MLP进行升维变换然后经过一个g函数对称函数可以用最大池化maxpooling比如求最大值在经过伽马函数得到特征。这个特征就可以用来分割、分类等。 这里只要g函数是对称的整个复合函数都是对称的。 但是这里的maxpooling是求每个维度山的最大值会丢失一些数据点的信息所以可以使用MLP进行升维变换每个点单独做MLP但是MLP的参数是共享的高维空间里基本信息就会被保留下来。再经过maxpooling就会得到全局特征基本上会反映出原来点云数据的基本特征征。
2对于几何变换应该有不变的特性比如下图中的兔子有不同的视角但是经过PoinNet后都应该分类为一个兔子。就是说这种几何变换对分类应该不会产生影响。 对于这个点做的各种变换最终的结果都不应有不同。设计一个变换的网络来对输入进行对准其实就是把点云旋转到一个角度来更好的进行分类等。比如飞机旋转到一个更合适的角度你会看的更清楚让物体的特征更加鲜明表示出来。 其实对输入的对准是通过矩阵乘法来实现的 那么对于MLP升维得到的特征也可以做一个对特征空间的对准 PointNet分类网络的结构 最终输出的K就是对于分类中的每个类别的得分值。 而对于分割网络有一些变化 分割需要对每一个点都要做分类当我们最后得到一个全局特征后这个其实已经丢失了每个点的基本信息了我们对每个点进行分类的话需要每个点的特征所以这里进行了一个拼接操作 最终网络的输出是nXm还是n个点m表示每个类别的得分情况。 PointNet原理 是借鉴了多层神经网络的思想可以进行层次化的多级别学习。 就和CNN类似不同感受野下的特征学习然后进行拼接得到多尺度特征。 PointNet要么就是MLP对所有点学习要么就是maxpooling对一个点就丢失了每个点的局部上下文信息也就是每个点和周围的点的关系 思想对局部区域应用PointNet多次迭代式 多级别学习保持旋转不变性、置换不变性。 1多级别学习 多个点组成了字母“A”形状选择一个点红色点作为“中心点”画一个圈圈里面的点作为一个组接着对这个点应用给PointNet进行特征提取。就可以学到这个局部小区域的全局特征。 这个小区域可以是多个且可以重叠 这里的确定centroid中心点就叫Sampling采样。 确定以后以centroid为中心选取局部的点就叫Grouping分组。 最后对每个小分组应用PointNet进行特征学习。就得到最终小方块组成的点了。这些方块点就具有局部上下文信息特征了。 然后还可以接着小方块再次进行centroid的确定再Grouping再应用PointNet。就完成了多级别的特征学习了。 Set Abstraction Sampling Grouping PointNet。 Set Abstraction 1Sampling 可以均匀采样相较于随机采样最远点采样可以更好的覆盖采样空间。 选取距离这个点集合最远的那个点。 2Grouping 可以利用机器学习K-means。 也可以利用球查询。以centroid为中心按照半径三维空间中来找。可以保证固定区域的尺寸让这个局部特征在整个空间中更具通用性。 PointNet的层次化特征学习结构 经过两次Set Abstraction就得到一个全局化特征了。可以用来做分类 分割的话用了一个插值多级别学习点是逐渐变得稀疏的分割是需要对原始点云数据中的每个点做分类这样的话特征是不够的做一个插值让点数增加类似于RGB分割的编码下采样与解码上采样操作。 插值方式其实就是基于距离 非均匀采样密度 获取点云数据的时候通常会出现近密远疏的现象 会影响层次化特征学习分组半径的选择就需要进行考量那么对于密集点和稀疏点就不应该选取同样的半径进行分组。 点的密集程度会对网络产生性能影响 处理方法 1MSG这是对于同一级别选取不同的半径进行分组来提取局部特征然后拼接不同区域得到的结果
2MRG在不同级别上将第一次的Set Abstraction的结果作为下一级别的输入。将两次Set Abstraction的结果进行拼接。 网络结构中的一些表达方式 除了MSG还有SSG 用了多个SASet Abstraction但是多个SA不做拼接每个SA有不同的半径整个物体的尺寸都被归一化以中心点为原点最远点的距离是1 而MSG 多个SA每个SA有多个不同的半径比如这里的SA512[0.10.20.4]有0.10.20.4不同的半径不同半径的局部特征要做拼接。
