公司网站管理实验报告,长沙网站建设kaodezhu,小程序商店二级,应用市场下载安装软件概述
实时目标检测对于许多实际应用来说已经变得至关重要#xff0c;而Ultralytics公司开发的YOLO#xff08;You Only Look Once#xff0c;只看一次#xff09;系列一直是最先进的模型系列#xff0c;在速度和准确性之间提供了稳健的平衡。注意力机制的低效阻碍了它们在…概述
实时目标检测对于许多实际应用来说已经变得至关重要而Ultralytics公司开发的YOLOYou Only Look Once只看一次系列一直是最先进的模型系列在速度和准确性之间提供了稳健的平衡。注意力机制的低效阻碍了它们在像YOLO这样的高速系统中的应用。YOLOv12旨在通过将注意力机制集成到YOLO框架中来改变这一现状。
1.新特性
大多数目标检测架构传统上依赖于卷积神经网络CNN因为注意力机制效率低下面临着二次计算复杂度和低效的内存访问操作问题。因此在对推理速度要求很高的YOLO框架中基于CNN的模型通常比基于注意力的系统表现更好。
YOLOv12通过引入三个关键改进来克服这些限制
区域注意力模块A2
YOLOv12引入了一个简单而高效的区域注意力模块A2该模块将特征图分割成多个片段在保留大感受野的同时降低了传统注意力机制的计算复杂度。这种简单的修改使模型在保持较大视野的同时提高了速度和效率。
残差高效层聚合网络R - ELAN
YOLOv12利用R - ELAN来解决注意力机制带来的优化挑战。R - ELAN对之前的ELAN架构进行了改进具体如下 块级残差连接和缩放技术以确保训练的稳定性。重新设计的特征聚合方法提高了性能和效率。
架构改进
快速注意力Flash Attention快速注意力的集成解决了注意力机制的内存访问瓶颈问题优化了内存操作并提高了速度。去除位置编码通过消除位置编码YOLOv12简化了模型使其更快、更简洁同时不牺牲性能。调整多层感知机MLP比率多层感知机的扩展比率从4降低到1.2以平衡注意力网络和前馈网络之间的计算负载提高效率。减少块深度通过减少架构中堆叠块的数量YOLOv12简化了优化过程并提高了推理速度。卷积算子YOLOv12广泛使用卷积操作以利用其计算效率进一步提高性能并降低延迟。
注 由于两个因素注意力机制本质上比卷积神经网络CNN慢 复杂性。首先自注意力操作的计算复杂度随输入序列长度 L 呈二次方增长。此外另一个重要因素是大多数基于注意力的视觉变压器由于其复杂的设计例如Swin 变压器中的窗口划分/反转 和额外模块的引入例如位置编码逐渐积累了速度开销。计算。其次在注意力计算过程中与 CNN 相比内存访问模式效率较低例如注意力图和 softmax 图。此外与 CNN 相比注意力中的不规则内存访问模式会引入更多的延迟。 2.YOLOv12的架构概述 图1YOLOv12的主干网络和头部网络架构
3.区域注意力模块
图2区域注意力可视化
为了解决普通注意力机制相关的计算成本问题YOLOv12利用了局部注意力机制如移位窗口注意力、十字交叉注意力和轴向注意力。虽然这些方法通过将全局注意力转换为局部注意力来降低复杂度但由于感受野减小它们在速度和准确性方面存在局限性。
提出的解决方案YOLOv12引入了一个简单而高效的区域注意力模块。该模块将分辨率为HW的特征图分割成L个大小为H/LW或HW/L的片段。它不是使用显式的窗口划分而是应用了一个简单的重塑操作。优点这将感受野减小到原来的四分之一但与其他局部注意力方法相比仍然保持了较大的感受野。通过将计算成本从传统的2n²hd降低到n²hd/2模型在不牺牲准确性的情况下变得更加高效。
4.残差高效层聚合网络R - ELAN 图3YOLOv12中使用的R - ELAN
ELAN概述
高效层聚合网络ELAN 在早期的YOLO模型中用于改进特征聚合。ELAN的工作方式如下
对1×1卷积层的输出进行分割。通过多个模块处理这些分割后的部分。在应用另一个1×1卷积以对齐最终维度之前将输出进行拼接。
ELAN存在的问题
梯度阻塞由于从输入到输出缺乏残差连接导致训练不稳定。优化挑战注意力机制和架构可能会导致收敛问题L规模和X规模的模型即使使用Adam或AdamW优化器也无法收敛或保持不稳定。
提出的解决方案——R - ELAN
残差连接引入了从输入到输出的残差捷径带有一个缩放因子默认值为0.01以提高稳定性。层缩放类比类似于深度视觉Transformer中使用的层缩放但避免了将层缩放应用于每个区域注意力模块而导致的速度下降。
新的聚合方法
修改后的设计新方法不是在过渡层之后分割输出而是调整通道维度并创建单个特征图。瓶颈结构在拼接之前通过后续块处理特征图形成更高效的聚合方法。
5.架构改进
快速注意力Flash AttentionYOLO12利用了快速注意力它最大限度地减少了内存访问开销。这解决了注意力机制的主要内存瓶颈问题缩小了与CNN的速度差距。MLP比率调整前馈网络的扩展比率从Transformer中通常的4降低到YOLOv12中的约1.2。这防止了MLP在运行时占据主导地位从而提高了整体效率。去除位置编码YOLOv12在其注意力层中省略了显式的位置编码。这使得模型“快速且简洁”同时在检测性能上没有损失。减少堆叠块最近的YOLO主干网络在最后一个阶段堆叠了三个注意力/CNN块而YOLOv12在该阶段只使用了一个R - ELAN块。较少的顺序块简化了优化过程并提高了推理速度尤其是在更深的模型中。卷积算子该架构还使用了带有批量归一化的卷积而不是带有层归一化的线性层以充分利用卷积算子的效率。
6.基准测试 图4YOLOv12的比较
数据集所有模型均在MS COCO 2017目标检测基准上进行评估。
YOLOv12 - N的性能最小的YOLOv12 - N模型实现了40.6%的更高平均精度均值mAP相比之下YOLOv10 - N为38.5%YOLOv11 - N为39.4%同时保持了相似的推理延迟。
YOLOv12 - S与RT - DETR的比较YOLOv12 - S模型也优于RT - DETR模型。值得注意的是它的运行速度比RT - DETR - R18模型快约42%同时只使用了RT - DETR - R18模型约36%的计算量和约45%的参数。
每个YOLOv12模型从N到X在与YOLOv8、YOLOv9、YOLOv10、YOLOv11等类似大小的模型相比时在相当或更低的延迟下实现了更好的mAP。这种优势从小型模型到大型模型都存在证明了YOLOv12改进的可扩展性。
7. 最先进技术比较 例如对于N 规模的模型YOLOv12 - N 在平均精度均值mAP上分别比 YOLOv6–3.0 - N [32]、 YOLOv8-N [58]、 YOLOv10-N [53] 和 YOLOv11 [28] 高出 3.6%、3.3%、2.1% 和 1.2%同时保持相似甚至更少的计算量和参数并实现了1.64 毫秒/图像的快速延迟速度。
对于S 规模的模型YOLOv12 - S 具有 21.4G 浮点运算量FLOPs和 9.3M 参数在 2.61 毫秒/图像的延迟下实现了 48.0 mAP。它在平均精度均值mAP上分别比 YOLOv8-S [24]、YOLOv9-S [58]、YOLOv10-S [53] 和 YOLOv11 - S [28] 高出 3.0%、1.2%、1.7% 和 1.1%同时保持相似或更少的计算量。对于M 规模的模型YOLOv12 - M 具有 67.5G 浮点运算量FLOPs和 20.2M 参数实现了 52.5 mAP 的性能和 4.86 毫秒/图像的速度。对于L 规模的模型YOLOv12 - L 甚至比 YOLOv10-L [53] 少 31.4G 浮点运算量FLOPs。对于X 规模的模型YOLOv12 - X 在平均精度均值mAP上分别比 YOLOv10-X [53] / YOLOv11 - X [28] 高出 0.8% 和 0.6%同时具有相当的速度、浮点运算量FLOPs和参数。
8. 推理速度比较 YOLOv12 的推理速度比 YOLOv9 ** 显著提高**同时与 YOLOv10 和 YOLOv11 相当。
总结
YOLOv12目前的一个局限性是它依赖于快速注意力FlashAttention来实现最佳速度。快速注意力仅在相对较新的GPU架构NVIDIA的图灵、安培、阿达·洛芙莱斯或霍珀系列上得到支持例如特斯拉T4、RTX 20/30/40系列、A100、H100等。
这意味着缺乏这些架构的旧GPU无法充分受益于YOLOv12的优化注意力实现。使用不支持的硬件的用户将不得不回退到标准注意力内核从而失去一些速度优势。
