爱站工具下载,平面设计类网站什么颜色好,定制客户管理软件,app开发官网公司项目#xff0c;已申请专利。 深度学习作为新兴技术在图像领域蓬勃发展#xff0c;因其自主学习图像数据特征的性能避免了人工设计算法的繁琐#xff0c;精准的检测性能、高效的检测效率以及对各种不同类型的图像任务都有比较好的泛化性能#xff0c;使得深度学习技术在…公司项目已申请专利。 深度学习作为新兴技术在图像领域蓬勃发展因其自主学习图像数据特征的性能避免了人工设计算法的繁琐精准的检测性能、高效的检测效率以及对各种不同类型的图像任务都有比较好的泛化性能使得深度学习技术在图像领域得到广泛应用包括图像检测、图像分类、图像重构等。
屏幕缺陷检测作为保障显示屏质量的重要步骤在显示屏生产过程中占有重要位置屏幕缺陷包括点线缺陷比如暗点暗线Mura缺陷外观缺陷等。显示屏缺陷需要通过高清工业相机拍照成像后再由算法进行检测而不同的缺陷需要通过不同的光学方案才能得到较为清晰的图像光学方案包括相机拍摄角度包括正视斜视打光方案包括光源强度及光源角度等因此不同屏幕缺陷类型或者同一类缺陷类型的不同表现需要通过不同的光学方案得到多张拍摄图像供算法处理。
多张图像的处理增加了算法的工作量以及需要后期对多张图像进行检出结果整合需要考虑不同图像中同一个缺陷的像素位置对齐的问题增加了算法的复杂度。
深度学习图像算法通过提取图像中的特征信息在高维空间中构建特征向量空间可以通过提取多张图像中的特征信息在高维空间中进行融合将多张图像中的缺陷信息融合在一个统一的高维特征信息空间中实现端到端(End-To-End)的屏幕缺陷检测通过融合不同光学方案下的单一缺陷图像整合不同图像中的多维缺陷信息提高缺陷检测的精度消除传统算法分别对多张图像进行处理后再做结果整合的弊端提高屏幕缺陷检测效率。
本专利将深度学习中的多图像融合技术应用于显示屏缺陷的检测中设计出一种基于Mixed-Attention结构的神经网络称为MIFT-Net(Multi Image Fuse Test Net)对同一个缺陷显示屏进行不同光学方案的拍照得到多张不同的图像通过对各个图像进行特征提取及特征对齐融合使用多头混合注意力机制进行各个图像特征的对齐融合形成统一的高维特征空间通过对同一个缺陷在不同图像中的特征进行特征信息整合得到该缺陷更加清晰更加全面丰富的缺陷信息提高检测效率。本专利缺陷检测部分属于开放方式可以使用各种不同检测模块处理不同缺陷任务即可以进行多任务处理大大增强了模型的泛化性提高了模型的通用性。
本专利提出了一种基于深度学习多图像融合的屏幕缺陷检测方案使用不同光学方案对同一个缺陷屏幕进行拍照取图包括相机参数的不同设置相机拍摄角度以及不同光源的打光方案得到同一个缺陷屏幕的不同成像方式的多张图像通过神经网络卷积操作对多张图像进行特征提取通过混合注意力机制对各张不同特征图进行特征对齐融合统一编码成一个高维特征信息向量空间然后在这个统一特征空间中进行后期缺陷检测。
在图像特征信息提取阶段使用基于金字塔结构的分层卷积方式融合同一张图像中不同层次的特征信息能更好地得到整张图像全面丰富的特征信息。在多图像特征融合阶段使用基于Self-Attention和Cross-Attention的多头混合注意力机制对同一缺陷屏幕多张不同的特征图进行特征对齐融合各张图像的多角度信息。针对缺陷屏幕图像分辨率高缺陷像素面积小的特点使用基于Deformable Attention的混合注意力机制使得大大减少计算量更加关注缺陷部分及其周围像素的特征而或略远处无关像素的信息提高缺陷特征的提取精度及效率创新性地在互注意力模块中也使用了Deformable Attention能更好的得到各张不同图像特征中的对齐信息。 Deformable Attention
将Transformer注意力应用到图像特征图上的核心问题是它将查看所有可能的空间位置。为了解决这个问题可变形注意模块只关心参考点周围的一小组关键采样点而不考虑特征图的空间大小。通过为每个查询分配少量固定数量的键可以缓解收敛性和特征空间分辨率问题。
给定一个输入特征图 x ∈ R C × H × W使q为上下文特征 Z q的查询元素 P q 为一个二维参考点可变形注意力特征可以通过以下方式计算: 输入特征图 xC x H x W特征图中每个像素点都是一个C通道的向量 z q每个像素点的索引(Reference Point)也就是二维位置坐标为 p q。M代表多头注意力机制中头的数目。每一个头中只考虑 z q附近 K个点K远小于H x W。 Δ p m q k代表采样的位置偏移量是一个二维的坐标初始化采样点是固定的但后续将通过全连接层计算预测更加值得关注的点的坐标。 A m q k 代表注意力的权重 ∑ k 1 A m q k 1。 W m 和W ’ m代表两组全连接层的权重参数。
两个需要学习预测的值 A m q k 和 Δ p m q k 都是通过 z q计算而来的。 其中位置偏移delta_pmqk是可学习的由query经过全连接层得到。
b.注意力权重直接由query经过全连接层得到。 c.每个query在每个头部中采样K个位置只需和这些位置的特征交互(x(pqdelta_pmqk)代表基于采样点位置插值出来的value)
Deformable-Attention通过仅计算某个特征点附近有限个其他特征点而不是计算整张特征图中所有特征点大大降低了计算量并且使得该特征点忽视了很多和它本身无关的其他特征点使得注意力计算更加精准特别适合分辨率较大且缺陷所占像素较少的图像。 光学方案及缺陷图像获取
缺陷照片获取
本专利使用的是监督学习的深度学习技术通过一个垂直缺陷屏幕的主相机和两个带有侧光源的斜视相机得到三张缺陷屏幕图像。 照片预处理
对于通过拍照获取的缺陷图片在送入AI神经网络进行训练前需要对图片进行一些预处理工作包括图片裁剪和图片数据集增强等。
图片裁剪缩放使用相机拍摄得到的缺陷图像除了显示器屏幕部分外还包括一些周围背景部分这部分图像是不需要的可能会对AI神经网络的训练及检测带来影响且多出来的图像也会增加AI神经网络训练和测试时的时间成本以及GPU显存消耗因此需要通过裁剪的方式去除这些无用图像只保留原图片内容。并使原图和拍照图的长宽为2的次方便于后期AI运算。
数据集增强AI神经网络训练时需要大量的样本图片通过从大量样本中学习到的数据特征进行建模有些时候数据集并不是那么充分且通过拍照增加数据集需要额外的时间人力成本需要通过数据增强方式人为“增加”样本数据数据增强包括对照片进行旋转、偏移、镜像、裁剪、拉伸、灰度变换等图像操作使得新图片和原图“看起来”不一样一定意义上生成了新的图片扩充了数据集。 基于深度学习多图像融合的神经网络
本专利MIFT-Net神经网络分为图像特征提取的Backbone(左侧)不同图像间特征对齐及融合的注意力模块(中间)以及作为缺陷检测的Detect Head模块(右侧)。 整个神经网络分为三部分左边为图像特征提取模块通过三台相机拍照得到三张图像一张主视图两张侧视图通过Backbone提取各自的图像特征信息将三张图像的特征信息送入中间的特征对齐融合模块使用多头混合注意力机制融合三张图像各自的特征信息并进行特征对齐然后通过通道叠加以及卷积操作生成统一的高维特征信息空间送入检测头模块右边的检测头模块根据得到的统一特征信息进行后续各类缺陷检测。
特征提取Backbone 通过多次使用基于金字塔FPN的图像信息提取模块区域像素注意力模块RPA特征压缩模块FS注意力Dropout模块从三张图像中得到各自的特征信息。
金字塔特征提取模块FPN
FPN通过对输入不同层特征进行多次提取及融合利用各层特征图的多角度信息更好的提取输入图像的全局特征信息并且通过Res连接在深层特征中直接加入浅层特征信息避免了特征信息消散的弊端。 输入特征图F1经过4个卷积块生成4个分层特征(F2-F5)每个分层特征大小为前一层的一半通道是前一层的两倍F5特征层得到中间结果特征层D5。
D5进过双线性插值得到R5使得特征大小尺寸和F4相同R5再和F4按特征通道进行叠加再进过一个1×1卷积块进行通道间特征融合之后再和R5进行加和操作再进过一个1×1卷积块中间结果特征层D4。
D4和R5进行加和操作进过双线性插值得到R4使得特征大小尺寸和F3相同R4再和F3按特征通道进行叠加再进过一个1×1卷积块进行通道间特征融合之后再和R4进行加和操作再进过一个1×1卷积块中间结果特征层D3。
D3和R4进行加和操作进过双线性插值得到R3使得特征大小尺寸和F2相同R3再和F2按特征通道进行叠加再进过一个1×1卷积块进行通道间特征融合之后再和R3进行加和操作再进过一个1×1卷积块中间结果特征层D2。
D2进过双线性插值得到R2使得特征大小尺寸和F1相同R2再和F1按特征通道进行叠加再进过一个1×1卷积块进行通道间特征融合之后再和R2进行加和操作再进过一个1×1卷积块中间结果特征层D1。
D1和R2进行加和操作得到最终结果R1R1的特征尺寸和F1相同通道数比F1多。
区块像素注意力模块RPA
RPA给输入特征的每块区域像素分配一个权重使得神经网络对于图像特征明显的区域更加关注。输入特征(B,C,H,W)先经过一个BatchNorm-DefConv-ReLU进行通道压缩为(B,C*r,H/2,W/2)r1再经过一个BatchNorm-DefConv还原成(B,C,H/4,W/4)通过SigMoid函数生成每个像素值的权重最后使用双线性插值还原成(B,C,H,W),和原输入特征一对一相乘相乘。 Feature Squeeze
使用卷积对上一层输出的特征图进一步提取缺陷特征信息并压缩特征图的长宽。 注意力Dropout
基于注意力的Dropout方法不同于一般Dropout使用的随机方式利用注意力保留更重要的特征信息使得神经网络的性能和泛化性更好。
对输入特征经过两个批次归一化可变性卷积ReLU/SigMiod生成和原特征形同尺寸的注意力矩阵根据注意力矩阵的值将注意力小于阈值的原特征矩阵对应位置神经元置零。 多图像特征融合模块
通过使用多头(N个)混合注意力机制每个混合注意力头里多次(k次)使用基于Deformable-Attention的自注意力机制基于Deformable-Attention的互注意力模块加和/标准化操作对齐并融合三张不同图像的特征信息再将各个混合注意力头的输出通过一个通道叠加以及卷积操作得到统一的特征信息空间。
多头注意力机制能够从不同角度得到图像的更全面信息Cross Attention模块可以对多张图像特征进行特征信息的对齐以及融合Deformable Attention模块通过只关注某个特征点附近有限个特征点的信息而计算所有特征点的信息更加关注和该特征点关联大的其他特征点有效解决缺陷图像大分辨率带来的计算量激增以及小尺寸缺陷难以检测的问题。
注意力机制模块
输入三组特征编码得到三组Query和Value值然后两两分组使用Query值互相进行基于Deformable-Attention的互注意力计算将结果进行通道叠加再使用1×1卷积进行通道特征融合得到三组Z值。 混合注意力机制
输入三个图像特征编码得到三组Query和Value值这三组Q,V首先各自进行基于Deformable-Attention的自注意力计算得到各自的Z值再编码得到三组新的Query和Value值然后两两分组各自进行互注意力计算得到三组新的Z值和之前的Z值进行加和操作并标准化。
结果送入下一次注意力模块把每次加和操作并标准化的结果进行按通道叠加并把每次注意力机制的输出结果进行加和操作。 生成统一特征信息空间
将注意力模块的各个输出特征结果进行通道叠加和卷积处理得到一个统一的特征信息空间对齐并融合了三张原始图像各自的缺陷特征信息得到整张显示屏的整体信息供下一步检测处理。 Detect HEAD
得到整张显示屏多图像的统一特征信息空间后就可以进行显示屏缺陷检测本专利该模块属于开放性部分可以用于不同的缺陷检测任务包括分类网络、目标检测网络、分割网络等同一个检测任务也可以使用各种不同检测头。
本专利通过对缺陷显示屏使用不同的光学方案进行多次拍照得到不同拍摄角度和拍摄方式的三张不同图像使用深度学习神经网络的方式得到三张图像的特征信息并加以特征对齐和融合形成一个统一的特征信息空间全面包含了三张图像中的不同信息得到更加全面完整的缺陷特征使得后期的检测任务可以使用三张图像中的多个角度丰富的缺陷信息使得缺陷检测精度大大提高也避免了传统多图像算法需要对各张图像单个处理的弊端消除了单张图像中缺陷信息不完整不丰富的缺点以及免除了传统算法后期需要进行多张图像特征对齐的麻烦。
