转化率的网站设计,网络营销方式有几种,做游戏网站思想步骤,简述网站建设的主要内容文章摘要
在遥感图像#xff08;RSIs#xff09;中进行桥梁检测在各种应用中起着至关重要的作用#xff0c;但与其他对象检测相比#xff0c;桥梁检测面临独特的挑战。在RSIs中#xff0c;桥梁在空间尺度和纵横比方面表现出相当大的变化。因此#xff0c;为了确保桥梁的…文章摘要
在遥感图像RSIs中进行桥梁检测在各种应用中起着至关重要的作用但与其他对象检测相比桥梁检测面临独特的挑战。在RSIs中桥梁在空间尺度和纵横比方面表现出相当大的变化。因此为了确保桥梁的可见性和完整性必须在大尺寸高分辨率VHRRSIs中进行整体桥梁检测。然而缺乏大尺寸VHR RSIs的数据集限制了深度学习算法在桥梁检测中的性能。由于在处理大尺寸图像时GPU内存的限制基于深度学习的物体检测方法通常采用裁剪策略这不可避免地导致标签碎片化和预测不连续。为了缓解数据集的稀缺性文章提出了一个名为GLH-Bridge的大规模数据集该数据集包括从全球不同地理位置采样的6,000张VHR RSIs。这些图像的大小范围从2,048 × 2,048到16,384 × 16,384像素不等共包含59,737座桥梁。这些桥梁跨越不同的背景并且每个桥梁都被手动标注使用了定向边界框OBB和水平边界框HBB。此外作者提出了一种高效的整体桥梁检测网络HBD-Net用于大尺寸RSIs中的桥梁检测。HBD-Net采用了基于独立检测器的特征融合SDFF架构并通过形状敏感样本重加权SSRW策略进行了优化。SDFF架构执行层间特征融合IFF以在大尺寸图像的动态图像金字塔DIP中融合多尺度上下文SSRW策略则用于确保不同纵横比桥梁的回归权重的平衡。基于提出的GLH-Bridge数据集作者建立了包括OBB和HBB任务的桥梁检测基准并验证了所提出的HBD-Net的有效性。此外在两个公开可用数据集上的跨数据集泛化实验展示了GLH-Bridge数据集的强泛化能力。
论文地址
https://ieeexplore.ieee.org/document/10509806
数据集体量较大超过20G且需要科学上网进行下载我们已经为大家下载完毕。
数据集下载地址
https://www.dilitanxianjia.com/15644/
前世今生
桥梁作为关键的基础设施组件横跨各种地形起着基本的交通设施作用。它们在民用交通、军事行动和灾害救援中具有重要意义 [1]。同时桥梁建设迅速且频繁改造。例如2012年美国约有617,000座桥梁其恶化将在未来50年增加需要超过1250亿美元用于修复积压的维修工作。因此桥梁检测的高效性和有效性对于及时更新导航图并进一步监测桥梁的结构健康和状况至关重要 [2][3]。遥感图像RSIs以其广泛的地理覆盖和高频率的重访适合作为桥梁检测的基础数据。同时考虑到深度网络的强大特征表示能力基于深度学习的RSIs桥梁检测具有很大潜力已成为研究的重点 [4]。 如图1所示与其他常见物体相比在RSIs中检测多尺度桥梁相当具有挑战性主要有两个特征i多样的对象尺度。在高分辨率VHRRSIs中桥梁实例的长度从几像素到数千像素不等。ii极端的纵横比。不同桥梁的伸长程度存在显著差异。为了确保小型或狭窄桥梁的可检测性使用非常高分辨率VHR的图像至关重要。同时为了追求VHR图像中大且长桥梁的结构完整性有必要在大尺寸图像中进行整体桥梁检测这对数据集和方法都提出了严格要求。尽管在多类物体检测 [12][13][14][15][16] 和桥梁检测 [4][11][17] 方面取得了显著进展但在大尺寸VHR RSIs中进行整体桥梁检测的大规模数据集和适当方法仍然存在不足。 如表1所示尽管已经创建了许多流行的RSIs物体检测数据集 [6][7][8][18]这些数据集中的桥梁数量有限。此外专门为桥梁检测创建的数据集 [4][11] 通常受样本量和图像尺寸的限制。现有的一些数据集仅提供水平边界框HBB注释而不是精确的定向边界框OBB注释。因此使用上述数据集训练一个鲁棒且具有广泛适应性的桥梁检测模型似乎不现实。为了解决数据限制问题作者构建了GLH-Bridge一个用于大尺寸VHR RSIs桥梁检测的大规模数据集。GLH-Bridge包含全球采样的6,000张VHR RSIs和超过59,000座手动标注的桥梁。与现有的桥梁检测数据集相比GLH-Bridge通过在大尺寸VHR RSIs中标注多尺度桥梁涵盖了植被、干河床和道路等多种背景类型从而更好地捕捉真实场景中桥梁的特征。简而言之与现有的桥梁检测数据集相比GLH-Bridge展示了全面的优势和显著的优点。
为了推进这一基础且实际的问题的研究作者提出了一个新的具有挑战性且有意义的任务在大尺寸VHR RSIs中进行整体桥梁检测。为了解决这个任务潜在的解决方案可以分为四个主要方面i鉴于GPU内存的限制主流的基于深度学习的物体检测方法 [15][16][19][20][21] 通常采用裁剪策略 [7][22]。然而这些策略有固有的局限性容易切断大型桥梁如图1所示。除了裁剪策略外一些物体检测方法通过固定窗口下采样策略处理原始大尺寸图像 [23][24][25]导致显著的图像信息丢失ii流式方法 [26] 对大尺寸图像的小块进行前向和后向传递但无法支持带有归一化的深度神经网络DNNiiiLMS方法 [27] 使用内存卸载将内存跨系统内存CPU DRAM和GPU内存共享。然而它们引入了显著的时间开销并受最大内存扩展率的限制iv多GPU张量并行化技术 [28][29] 有望扩展深度网络以支持大尺寸图像的整体处理。然而它们往往资源密集且在常规条件下难以操作。总之现有方法在普通计算资源如单个24 GB内存的GPU下无法有效进行大尺寸VHR RSIs的整体桥梁检测。
考虑到上述潜在解决方案的限制作者提出了一个专为大尺寸VHR RSIs桥梁检测设计的整体桥梁检测网络HBD-Net。作者的方法具有两个关键优点i基于独立检测器的特征融合SDFF架构在应用于动态图像金字塔DIP时展示了一种高效处理大尺寸图像的方式资源消耗最小。ii形状敏感样本重加权SSRW策略平衡了不同纵横比桥梁的回归权重。在GLH-Bridge上的实验结果展示了提出的HBD-Net的出色性能。
总之据作者所知本文首次探索了大尺寸VHR RSIs中的整体桥梁检测。本文的主要贡献如下 提出了GLH-Bridge第一个用于大尺寸VHR RSIs桥梁检测的大规模数据集。该数据集包含59,737座桥梁覆盖各种背景提供了现实场景中桥梁的全面表示。 提出了一个用于大尺寸图像的低成本整体桥梁检测网络即HBD-Net它可以高效处理大尺寸图像并通过设计精良的SDFF架构和SSRW策略整体检测多尺度桥梁。 利用提出的GLH-Bridge数据集作者创建了一个桥梁检测基准涵盖了OBB和HBB任务。HBD-Net在性能上优于现有的最先进算法。此外作者进行了跨数据集泛化实验展示了GLH-Bridge的强泛化能力。作者希望这个基准可以为大尺寸图像中的物体检测的基础评估做出贡献。
匠心独运
作者开发新数据集用于桥梁检测的目标有两个(i) 填补大尺寸高分辨率遥感影像VHR RSIs桥梁检测的大规模数据集的空白。(ii) 推动一个新颖且具有挑战性的任务大尺寸VHR RSIs中的整体桥梁检测。 图2. 来自提议的 GLH-Bridge 数据集的采样图像的地理分布图。 图3. 根据标准标注的示例其中黄色圆圈表示未标注的情况。(a) 形状过于弯曲或不规则的跨水道路不进行标注。(b) 两个终端连接不进行标注。 图4. GLH-Bridge 数据集特征的说明。(a) 不同数据集中桥梁特征的比较。(b) GLH-Bridge 中桥梁面积的分布。(c) GLH-Bridge 中桥梁长度的分布。(d) GLH-Bridge 中桥梁密度的分布。 图5. GLH-Bridge 数据集中不同背景下的桥梁示例。(a) 穿越植被的桥梁。(b) 穿越干涸河床的桥梁。(c) 穿越道路的桥梁。(d) 穿越水体的桥梁。 图6. 所提议的HBD-Net流程。它包含所提出的SDFF架构和SSRW策略。SDFF架构由独立检测器和IFF模块组成。从输入的大尺寸VHR图像开始作者构建一个DIP并将其发送到SDFF的独立检测器以获取特征。然后通过IFF模块融合所有SDFF检测器的特征以共享上下文和详细纹理信息。SSRW策略在对象检测器的样本选择阶段应用以平衡回归权重。最后将输出的融合特征输入到对象检测器的头部以获取每一层的结果这些结果用于与相应的真实标签计算损失。 图7. 所提议的IFF模块示意图。图中展示了两个相邻层之间特征融合的方法。 图8. 所提出的SSRW策略示意图。红色和蓝色点分别表示对象检测器选择的正样本和负样本。对于基于锚点的检测器这些点对应于生成锚点或提议的特征图位置。对于无锚点的检测器这些点指示特征图上的网格。为保持清晰和简洁与样本点相关联的锚点或提议适用于基于锚点的方法在此示意图中未显示。
卓越性能 未来展望
本文提出了一个名为GLH-Bridge的大规模数据集用于在大尺寸高分辨率遥感图像中进行整体桥梁检测。所提出的数据集包含6,000个高分辨率遥感图像图像尺寸从2,048 × 2,048到16,384 × 16,384像素不等包含59,737座跨越不同背景的桥梁并带有OBB和HBB注释。大尺寸图像、大样本量以及对象尺度和背景类型的多样性使GLH-Bridge成为一个宝贵的数据集其具备推动一个新的具有挑战性但意义深远的任务的前提在大尺寸高分辨率遥感图像中进行整体桥梁检测。此外作者提出了HBD-Net这是一种专为大尺寸图像中的整体桥梁检测量身定制的经济高效的解决方案。基于所提出的GLH-Bridge数据集作者建立了一个基准并对所提出的HBD-Net的有效性进行了经验验证。在未来的工作中作者将继续丰富GLH-Bridge数据集的样本量和子类别注释。此外作者的目标包括将所提出的HBD-Net推广到满足大尺寸图像中的多类对象检测。作者努力探索可以同时提高大尺度和小尺度桥梁准确性的方法从而扩大HBD-Net在各种场景中的适用性和有效性。
