北京企业网站建设公司,wordpress生成的网页,使用公网ip做网站地址,品牌网站设计公司哪家好参考代码#xff1a;None
介绍
深度估计任务作为基础环境感知任务#xff0c;在基础上构建的3D感知才能更加准确#xff0c;并且泛化能力更强。单目的自监督深度估计已经有MonoDepth、ManyDepth这些经典深度估计模型了#xff0c;而这篇文章是对多目自监督深度估计进行探…参考代码None
介绍
深度估计任务作为基础环境感知任务在基础上构建的3D感知才能更加准确并且泛化能力更强。单目的自监督深度估计已经有MonoDepth、ManyDepth这些经典深度估计模型了而这篇文章是对多目自监督深度估计进行探索在单目自监督深度估计基础上利用多目相机之间相互约束构建了多目自监督深度估计方法。具体为在该方法中每个相机会预测自身深度图和位姿信息依靠相机之间视角重叠关系、自身运动位姿、深度估计结果构建自监督损失多目视角的使用主要用于约束各个视角下生成的位姿而且正是由于使用了外参数使得网络具备了真实距离的感知能力。
方法设计
使用spatial-temporal的自监督深度估计
在单目深度估计任务中依靠不同时序下的成像结果构建光度重构误差其典型形式为 L p ( I t , I ^ t ) α 1 − S S I M ( I t , I ^ t ) 2 ( 1 − α ) ∣ ∣ I t − I ^ t ∣ ∣ L_p(I_t,\hat{I}_t)\alpha\frac{1-SSIM(I_t,\hat{I}_t)}{2}(1-\alpha)||I_t-\hat{I}_t|| Lp(It,I^t)α21−SSIM(It,I^t)(1−α)∣∣It−I^t∣∣ 其中 I ^ t \hat{I}_t I^t是通过估计出来的位姿和深度估计warp之后得到的其warp的过程记为 p ^ t π ( R ^ t → c ϕ ( p t , d ^ t , K ) t ^ t → c , K ) \hat{p}^t\pi(\hat{R}^{t\rightarrow c}\phi(p^t,\hat{d}^t,K)\hat{t}^{t\rightarrow c},K) p^tπ(R^t→cϕ(pt,d^t,K)t^t→c,K) 而在多目系统下除了能够像单目系统那样使用时序信息之外还可以将空间信息引入因为多目系统的相邻两个相机之间多存在重叠视角或者将空间和时序信息混合使用也就是当前帧经过时序warp之后在进行空间warp。在下图中展示了多目系统在不同时序和空间维度下的变换关系。 对于同时刻下可以依据相邻相机之前的内外参数将相机 i i i的图像映射到相机 j j j中去也就是如下变换关系 p ^ i π j ( R i → j ϕ i ( p i , d ^ i ) t i → j ) \hat{p}_i\pi_j(R_{i\rightarrow j}\phi_i(p_i,\hat{d}_i)t_{i\rightarrow j}) p^iπj(Ri→jϕi(pi,d^i)ti→j) 在不同时刻下可以通过估计出来的位姿投影到相同时刻下则在该相同时刻下可以构建temporal-spatial关联 p ^ i t π j ( R i → j ( R ^ j t → c ϕ ( p j t , d ^ j t ) t j t → c ) t i → j ) \hat{p}_i^t\pi_j(R_{i\rightarrow j}(\hat{R}_j^{t\rightarrow c}\phi(p_j^t,\hat{d}_j^t)t_j^{t\rightarrow c})t_{i\rightarrow j}) p^itπj(Ri→j(R^jt→cϕ(pjt,d^jt)tjt→c)ti→j) 使用这样关联关系可以使得重叠区域产生更多的响应像素见下图最后一行为temporal-spatial方式得到的响应区域
多目相机之间的位姿约束
由于算法中多目相机是各自单独预测位姿的那么但是这些相机确是同处于一个运动系统中的它们预先标定好的外参变换关系还是可以构建它们的约束关系的。则对于相邻的两个相机它们时序和空间上的对应约束为 X ˉ i t → t 1 X j − 1 X i X ^ i t → t 1 X i − 1 X j \bar{X}_i^{t\rightarrow t1}X_j^{-1}X_i\hat{X}_i^{t\rightarrow t1}X_i^{-1}X_j Xˉit→t1Xj−1XiX^it→t1Xi−1Xj 上面的公式建立了不同相机在时序和空间上的变换关系不过需要注意的是上面的公式是存在问题的。它的原理应该是依据周围相机各自预测出来的位姿通过标定好的外参将预测出来的位姿变换到目的相机下这样约束目的相机本身位姿估计结果和变换位姿也就是从平移和旋转两个分量上使得两者近似 t l o s s ∑ j 2 N ∣ ∣ t ^ 1 t 1 − t ˉ j t 1 ∣ ∣ 2 t_{loss}\sum_{j2}^N||\hat{t}_1^{t1}-\bar{t}_j^{t1}||^2 tlossj2∑N∣∣t^1t1−tˉjt1∣∣2 旋转分量上旋转角 R l o s s ∑ j 2 N ∣ ∣ ϕ ^ 1 − ϕ ˉ 1 ∣ ∣ 2 ∣ ∣ θ ^ 1 − θ ˉ 1 ∣ ∣ 2 ∣ ∣ Φ ^ 1 − Φ ˉ 1 ∣ ∣ 2 R_{loss}\sum_{j2}^N||\hat{\phi}_1-\bar{\phi}_1||^2||\hat{\theta}_1-\bar{\theta}_1||^2||\hat{\Phi}_1-\bar{\Phi}_1||^2 Rlossj2∑N∣∣ϕ^1−ϕˉ1∣∣2∣∣θ^1−θˉ1∣∣2∣∣Φ^1−Φˉ1∣∣2
损失计算的mask
在损失计算时采用两种类型的masknon-overlaping和self-occlusion。对于第一种mask是根据重构误差的有效区域确定的则会在temporal相同相机不同时序和spatial不同相机相同时序下在mask的引导下得到光度重构误差。
对于第二种那就由于设备本身安放位置决定得了在计算过程中排除那些自身部分其效果见下图
实验结果
KITTI数据集 DDAD数据集
