网站建设实验,销售培训课程一般有哪些,网络市场调研的方法,小型企业网络搭建目录 前言方法1 TraDeS:2 FairMOT:3 SMILEtrack:4 ByteTrack: 前言
常用于行人跟踪的多目标跟踪数据集包括#xff1a;MOT 15/16/17/20、PersonPath22等… 为更好比较现有SOTA算法的检测性能#xff0c;本博客将针对在各数据集上表现较优的算法模型进行介绍。#xff08;表… 目录 前言方法1 TraDeS:2 FairMOT:3 SMILEtrack:4 ByteTrack: 前言
常用于行人跟踪的多目标跟踪数据集包括MOT 15/16/17/20、PersonPath22等… 为更好比较现有SOTA算法的检测性能本博客将针对在各数据集上表现较优的算法模型进行介绍。表中画粗数据表明对应算法为该数据集表现最优算法
数据集算法模型MOTA年份代码MOT15TraDeS66.52021https://github.com/JialianW/TraDeSMOT16FairMOT74.92022https://github.com/ifzhang/FairMOTMOT17SMILEtrack81.062022https://github.com/WWangYuHsiang/SMILEtrackMOT20SMILEtrack78.22022https://github.com/WWangYuHsiang/SMILEtrackPersonPath22ByteTrack75.42021https://github.com/ifzhang/ByteTrack
注MOTAMultiple Object Tracking Accuracy即多目标跟踪精度用于衡量跟踪器在检测物体和保持轨迹时的性能 方法
1 TraDeS:
原文
模型结构 采用JDT(Joint Detection and Tracking)范式目标检测 数据关联 追踪器的整体结构主要由三部分组成分别是CenterNet、CVA、MFW CenterNetbackboneΦ 检测head CVA基于代价度量C的关联模块 MFW基于运动指导的特征整理模块
算法流程 1、连续两帧输入图像t、t-1时刻送入共享权值的CenterNet的Backbone进行基础特征提取f(t)、f(t-1)并输入CVA 2、CVA计算两帧图像中目标的偏移构建运动跟踪信息进行数据关联。 3、MFW使用运动偏移线索将前一帧信息传播到当前帧辅助当前帧检测。 4、增强特征送入CenterNet的head进行目标检测再和之前的轨迹进行关联实现追踪。
1.3 算法性能
1.4 算法总结 1、提出了一种新型的基于JDT模式的在线联合检测与跟踪模型。 2、通过将上一帧跟踪的信息反哺给本帧检测有效提升了算法在遮挡、光线阴暗、运动模糊等条件下对目标的检测能力为算法实现准确跟踪奠定了基础。 3、TraDeS模型能够快速、高效地实现追踪同时可以从2维拓展到3维和实例分割追踪上。 2 FairMOT:
原文
2.1 模型结构 基于JDE(Joint Detection and Embedding)范式由两个齐次的同质分支组成分别用于检测对象和提取重识别特征 追踪器的整体结构主要由三部分组成分别是主干网络、CenterNet、re-ID分支 主干网络ResNet-34 深度层聚合(DLA)实现基础特征提取 CenterNet检测head定位图像中目标生成目标度分数 re-ID分支生成能够区分对象的特性。
2.2 算法流程 1、单帧图像送入主干网络得到基础特征 2、特征进入CenterNet检测head对输出热图根据热图分数执行NMS以提取峰值关键点并保留热图分数大于阈值的关键点的位置。 3、对保留关键点计算估计中心偏移量与估计检测框尺寸得到目标预测框。 4、re-ID分支通过128维卷积对特征进行处理得到ReID特征。 5、在追踪阶段首先利用卡尔曼滤波估计轨迹位置并计算马氏距离。将结果与根据re-ID特征计算的余弦距离融合后利用匈牙利算法进行匹配。 6、对匹配失败目标进一步使用BOX_IOU进行二次匹配再次失败目标初始化为新轨迹。 7、更新并保存轨迹 注初始轨迹根据第一帧信息计算得出
2.3 算法性能
2.4 算法总结 1、使用齐次分支结构解决了目标检测和Re-ID存在的“不公平”关系。 2、证明了基于锚框的检测网络对后续有效学习重识别特征具有局限性。 3、证明了re-ID为有效区分同一类的不同实例应更多地关注低级外观特征。 4、推理速度快能够实现视频速率推断。 3 SMILEtrack:
原文
3.1 模型结构 SMILEtrack采用TBD(Tracking By Detection)范式SDE(Separate Detection and Embedding)范式目标检测目标关联 追踪器的整体结构主要由三部分组成分别是YOLOX、SLMISA、SMC YOLOX图像中目标定位检测模块 SLM目标相似度计算 ISA (Image Slicing Attention Block):图像切片注意力模块 SMCSimilarity Matching Cascade对检测到的目标基于进行数据关联
3.2 算法流程 1、连续两帧检测图像送入YOLOX检测并裁剪得到图像中具体目标。 2、两帧图像中目标进入SLM模块通过其内部共享权重的ISA及全连接聚合后得到目标外貌特征并计算其对应余弦相似度得分。 3、对待跟踪目标t-1预测本帧运动轨迹卡尔曼滤波。 4、SMC模块按照检测框检测分数高低通过计算目标运动相似度加粗样式矩阵、外貌相似度矩阵依次进行匹配实现跟踪。 5、对于检测分数大于阈值却匹配失败的目标将其作为新的跟踪对象。
3.3 算法性能
3.4 算法总结 1、使用外貌加运动相似度相结合的机制对目标关联部分提出了改进有效提升了算法跟踪精度在MOT17上达到了SOTA。 2、由于基于TBD范式无法实现端到端检测。 3、运行速度比联合检测和嵌入( JDE )方法慢。 4 ByteTrack:
原文
4.1 模型结构 基于TBD范式。目标检测 数据关联
4.2 算法流程 1、连续两帧图像输入YOLOX对图像中存在的目标进行检测。 2、按照得分将预测框分为高分结果与低分结果两类分开处理。进行三级匹配关联。 BYTE 数据关联方法具体的流程 1使用高分框和之前的跟踪轨迹进行匹配 2使用低分框和第一次匹配失败跟踪轨迹进行匹配 3对于没有匹配上跟踪轨迹得分又足够高的检测框对其新建一个跟踪轨迹。对于没有匹配上检测框的跟踪轨迹保留30帧以便后续再进行匹配。 注匹配过程仍沿用SORT方法使用卡尔曼滤波预测出当前帧的运动轨迹并计算预测框和实际框间的 IOU相似度得分通过匈牙利算法完成匹配跟踪。
4.3 算法效果
4.4 算法总结 1、提出了一种简单高效的数据关联方法 BYTE利用低分检测框包含的目标特性大幅提升了算法跟踪性能。 2、由于ByteTrack 仅采用运动特征没有采用外表特征进行匹配故跟踪的效果十分依赖于检测效果。 3、BYTE算法可与任何目标检测算法连接使用相比JDE和FairMOT在工程应用上更为简洁。 4、在MOT17上MOTA为76.6检测速度能够达到30FPS能够有效降低漏检并提高轨迹的连贯性。
------tbc------- 有用请点个哦~~
