网站关键词修改,老王搜索引擎入口,建立网站第一步,seo对网络推广的作用是什么?one-shot 序列图像红外小目标分割
IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING
代码还未开源 GitHub - D-IceIce/one-shot-IRSTS
few-shot#xff1a;利用少量标注样本进行学习
one-shot: 属于few-shot的特殊情况#xff0c;只用一个样本进行学习
zero-shot利用少量标注样本进行学习
one-shot: 属于few-shot的特殊情况只用一个样本进行学习
zero-shot不通过学习对未见过的类别进行学习
摘要
红外小目标序列具有很强的帧间相似性并且包含丰富的上下文信息这促使我们用最少的数据实现序列红外小目标分割。受SAM (Segment Anything Model)所领导的大模型在各种下游任务中取得成功的启发我们提出了一种one-shot、无需训练的方法将SAM的zero-shot泛化能力完美地适应于序列红外小目标分割。以一帧注释为参考我们的方法可以准确地分割序列中其他帧中的小目标。具体而言我们首先通过参考图像与测试图像之间的局部特征匹配获得置信度图。然后以置信图中的最高点作为提示设计了以点提示为中心的聚焦(PPCF)模块解决边界模糊的小目标的过度分割问题。随后为了防止漏检和误检我们引入了三级集成(TLE)模块该模块将前两步中不同级别获得的掩码集成以产生最终掩码。实验表明我们的方法只需要one-shot就可以达到与基于传统many-shot监督的最先进方法相当的性能甚至在少few-shot设置中表现更好。此外消融研究证实了我们的方法在one-shot样本变化、场景变化和多个目标存在下的稳健性。
Introduction
大模型应用到IRSTS中存在一些挑战。以SAM为例
1)对于特定目标的分割SAM需要对每张图像进行手动提示这对于涉及众多红外小目标分割任务的实际应用是不可能的。
2)在预训练阶段SAM专注于一般目标使其更适合于大型目标的分割。这对于红外小目标的特征提取和精确分割效果较差。
本文的主要贡献
这是第一种无需训练的one-shot红外小目标分割方法。仅提供一个注释帧作为参考从而能够准确分割序列中的其他帧。充分利用现有大型基础模型对红外小目标探测的强大泛化能力提出PPCF和TLE模块有效适应大型基础模型对小目标的细微特征。仅使用one-shot我们就实现了与大规模数据训练的最先进的红外小目标分割模型相当的性能
就实现了与大规模数据训练的最先进的红外小目标分割模型相当的性能
