金坛网站优化,论述营销型网站的评价标准,网站被k申诉,河北省沧州建设厅网站本作品介绍参与极术社区的有奖征集|秀出你的集创赛作品风采,免费电子产品等你拿~ 团队介绍
参赛单位#xff1a;北京理工大学 队伍名称#xff1a;飞虎队 指导老师#xff1a;李彬 参赛杯赛#xff1a;Arm杯 参赛人员#xff1a;余裕鑫 胡涵谦 刘鹏昀 获奖情况#xff1… 本作品介绍参与极术社区的有奖征集|秀出你的集创赛作品风采,免费电子产品等你拿~ 团队介绍
参赛单位北京理工大学 队伍名称飞虎队 指导老师李彬 参赛杯赛Arm杯 参赛人员余裕鑫 胡涵谦 刘鹏昀 获奖情况全国总决赛一等奖华北赛区一等奖
1.项目简介
视频目标跟踪是计算机视觉领域的重要热点研究方向之一它在军事领域和民用领域都具有较高的实用价值如成像制导、智能交通、智能监控、人机交互、医学诊断等方向但多数相关算法计算量较大导致实时性较差所以实时实现目标的检测与跟踪已成为重点研究方向之一。
本系统基于Xilinx Artix XC7A100T平台在其基础上搭载Cortex-M3内核AMBA总线总线上外挂GPIOLCDOV5640DDR3和HDMI等外设模块基于混合高斯建模及Meanshift等相关算法实现了对摄像头输入图像的动目标检测与实时跟踪功能高效运行智能算法使系统具备了无人实时运行高效智能化处理任务的能力。
2.系统运行流程介绍
a.系统上电后对系统的各项外设进行初始化。如配置OV5640摄像头的图像尺寸曝光时间等各项参数。 b.当系统的检测与跟踪功能关闭时图像信号通过DDR缓存后通过HDMI实时显示可作为一般性的监控功能使用。 c.当系统的检测与跟踪功能打开时系统会在DDR缓存完两帧图像后在1ms左右的时间内检测出其中的动目标的位置与大小而后通过跟踪模块在不影响图像在HDMI显示的基础上实时跟踪目标所在的位置采用红色方框的方式在HDMI实时标记目标所在位置并通过LCD屏幕实时显示目标所在的位置。 d.同时系统还配备了正常工作指示信号灯通过LED定时闪烁的机制实时反馈系统运行状态。
3.系统架构
3.1架构简介
本系统的架构如下图3.1所示。处理器内核采用比赛官方指定的Cortex-M3评估版内核。系统总线采用AMBA总线总线层数为两层第一层AHB总线用于对系统空间进行一个总体的划分第二层包括一个AHB总线和APB总线其中AHB用于挂载速度较快的外设例如OV5640HDMI等第二层总线APB由转接模块连接到AHB用于挂载速度较慢的外设如TimerGPIO等。 图3.1 整体系统架构图由OV5640中得到的RGB图像信号是系统处理的主要数据信号该信号在系统中的流通情况如下图3.2所示根据下图易知本系统采用的是通道加速器的形式实现了目标的检测和跟踪功能其优点的简单易实现对新手比较友好同时可以大大加快系统开发效率缺点是模块的通用性查针对不同的系统需要对模块进行大量的修改通用性较差。针对以上问题后续将采用加速器IP的形式提高加速器的通用性。
图3.2 系统数据流简图
3.2软硬件功能划分
为了充分发挥FPGA的实时性优势本作品的大部分功能模块在FPGA端实现如OV5640相关驱动模块、HDMI显示模块、DDR3模块以及加速器模块ARM端为每个需要触发控制的外设配置一个c和h头文件用于相关参数的配置以及对应中断事件的唤醒如在OV5640模块中我们通过软件端设置摄像头的图像尺寸最大曝光帧率等参数。
4.外设挂载
4.1 GPIO外设
本系统在APB总线上挂接GPIO外设可实时观察系统运行情况并可通过相应按键进行系统的动态调试。
4.2 LCD外设
本系统采用在APB总线上挂接LCD外设系统外接LCD外设主要用于实时显示运动目标物体的具体位置LCD屏幕实时显示的参数共有四个目标物体左上角的xy坐标以及目标物体的宽和高。
4.3 OV5640摄像头外设
本设计采用OmniVision公司的OV5640型摄像头。如图4.1为摄像头模块详细框图。
图4.1 摄像头模块 摄像头模块在成功将一帧图像写入DDR内后向Cortex-M3处理器及加速器模块发送发送帧传输完成中断信号将Cortex-M3处理器及加速器模块从待机状态唤醒。前两帧图像存储完成后Cortex-M3处理器将图像采集模块暂时关闭加速器模块开始运行目标检测单元。得到检测结果后Cortex-M3处理器再向图像采集模块发出采集新图像的请求并开启加速器模块中的目标跟踪单元执行目标跟踪。
4.4 DDR3存储外设
由于DDR3时序十分复杂若直接编写DDR3的控制代码工作量十分大且性能难以保证因此我们Xilinx公司提供的MIG IP核来实现DDR的读写。 本设计DDR控制模块框图如图4.2。
图 4.2 DDR控制模块 如框图所示DDR读写单元负责与MIG模块进行命令和地址的交互根据FIFO调度单元中FIFO的剩余数量来切换DDR3的读写命令和地址FIFO调度单元负责对输入和输出的数据进行时钟域的切换和位宽的转换。
4.5 HDMI显示外设
本系统采用HDMI接口模块架构如图4.5所示。 图像数据通过DDR输送到HDMI后先经过视频驱动模块生成对应图像分辨率的场同步行同步信号去除行前后沿场前后沿得到需要显示的图像数据而后将图像数据经过DVI直流平衡编码再使用五倍的时钟将图像数据串并转换最终得到10倍像素速率的串行数据最后再进行TMDS差分输出得到显示信号。
图4.5 HDMI驱动模块
5.加速器设计
如图5.1我们团队加速器模块由目标检测单元及目标跟踪单元构成目标检测单元采用混合高斯建模算法目标跟踪单元采用MeanShift算法。
图5.1 加速器整体框架 当摄像头完成前两帧数据采集后开启目标检测单元加速器模块与DDR交换数据并计算相关参数检测完成后将目标进行框选开始运行目标跟踪算法。
5.1 混合高斯建模算法
我们团队采用混合高斯背景建模的方法获得背景以抑制上述环境中噪声对背景消除法的影响并弥补帧差法的不足。混合高斯背景建模算法假设各个像素点各自完全独立独立像素点的值的变化在时间上面基本符合高斯分布利用各像素点值的概率分布判断其是否属于背景像素点。详细框图如图5.2。
首先初始化预先定义的两个高斯模型对高斯模型中的参数(像素高斯均值(mean)、方差(sd)、权重(w)、像素与高斯均值的绝对距离(udiff)及匹配标志(match))进行初始化并求出将要用到的参数。其次对于每一帧中的每一个像素进行处理计算其是否匹配某个模型若匹配则将其归入该模型中并对该模型根据新的像素值进行新若不匹配则以该像素建立一个高斯模型初始化参数代替原有模型中最不可能的模型。最后选择前面几个最有可能的模型作为背景模型进行腐蚀及膨胀等形态学滤波后提取目标。
图5.2 检测单元详细框架
5.2 Meanshift目标跟踪算法
运用传统的MeanShift 算法进行目标跟踪。首先是对目标跟踪的初始化可通过目标检测方法得到需要跟踪的初始目标的外接矩形框也可以通过鼠标手工选取的方式。本系统中使用的初始目标的矩形的位置及大小根据检测加速器检测得到。然后计算权值矩阵加权下的搜索窗口的直方图分布用同样的方法计算第N帧对应窗口的直方图分布;以两个目标模板分布的相似性最大为原则使搜索窗口沿密度增加最大的方向移动得到目标的真实位置。
MeanShit算法跟踪步骤如下 1. 计算目标模板的概率密度 目标被估计位置 与核窗宽h 2. 用 初始化当前帧的目标位置计算候选目标模板 3. 计算当前窗口内各点的权重值 4. 计算目标的新位置。 经研究使用YUV像素格式中的Y即图像亮度来计算图像概率密度 可以得到较好的结果即系统中在对图像目标进行跟踪时所采用的是RGB转YUV后的数据。
图5.3 跟踪单元状态转换示意图
6.模块及系统仿真
6.1检测模块仿真
混合高斯建模状态机共由11个状态完成由于状态较多且100MHZ时钟下在状态跳转时可能会出现状态跳转错误的情况为避免此类事件发生状态参数采用格雷码形式状态编码如下IDLE(4’b0000)W_INIT(4’b0001)SD_INIT (4’b0011)UDIFF_MEAN (4’b0010)U_M_2(4’b0110)P_UPDATE(4’b0111)P_UP_2(4’b0101)MODEL_UP(4’b0100)FRAME_JUG(4’b1100)PIXEL_TF (4’b1101)以及M_DONE(4’b1111)。状态机仿真如图6.1所示。 图6.1 混合高斯建模算法状态机跳转仿真 处理完成标志仿真结果如图6.2所示。
图6.2 处理完成标志信号仿真结果
6.2 跟踪模块仿真
通过Modelsim仿真后将系统跟踪数据导出由Matlab采集相应数据画图如图6.3所示。 图6.3 Modelsim仿真结果
7.系统整体测试结果
系统整体测试效果如视频所示可以看到系统效果较好另也有较为复杂背景下的演示欢迎感兴趣的同学与我们交流。
8.参赛体会
通过本次比赛我们对基于ARM Cortex-M3内核的SOC设计有了一定的认识并基本掌握相关设计流程进一步提高了自己的专业知识水平同时也感受到了大赛紧张的气氛很荣幸可以与全国各地200余所高校参赛队伍共同努力。 通过比赛期间的宣讲我们也更加了解到国内集成电路行业的发展现状。非常感谢赛事组委会的老师和工作人员在本次大赛中的辛苦付出 作品内容来源于飞虎队非开源转载请标明出处。 欢迎大家参加极术社区组织的有奖征集|秀出你的集创赛作品风采,免费电子产品等你拿~活动10月1日截止~
