充实网站 廉政建设 板块,成都移动网站建设,wordpress首页调用评论,做网站的企业是什么行业介绍
论文地址#xff1a;https://arxiv.org/pdf/2011.12032.pdf
近年来#xff0c;人脸识别技术越来越普及。在智能手机解锁和进出机场时#xff0c;理所当然地会用到它。人脸识别也有望被用于管理今年奥运会的相关人员。但与此同时#xff0c;人们对人脸欺骗的关注度也…介绍
论文地址https://arxiv.org/pdf/2011.12032.pdf
近年来人脸识别技术越来越普及。在智能手机解锁和进出机场时理所当然地会用到它。人脸识别也有望被用于管理今年奥运会的相关人员。但与此同时人们对人脸欺骗的关注度也越来越高而人脸反欺骗(FAS)这一防止人脸欺骗的技术领域也备受关注。 恶搞技术每年都在发展。随着新类型的欺骗变得越来越现实需要有一种稳健的算法能够在没有经过现有模型训练的场景下检测欺骗。传统的基于二进制分类的模型如0代表真实1代表欺骗比较容易建立性能也比较高但有一个弱点就是难以学习到内在的、有辨识度的欺骗模式。 因此最近在FAS任务中提出了Pixel-Wise Supervision其目的是学习更细粒度的像素/斑点级特征对识别更有用。 在本文中在综合回顾了以往的方法后如上表所示他们提出了一个新的框架称为Pyramid Supervision它可以从多尺度的空间环境中学习局部细节和全局语义信息。在本文中他们将介绍该框架及其性能。 在5个FAS基准数据集上进行了大量的实验发现Pyramid Supervision不仅提高了现有的Pixel-Wise Supervision的性能而且还能在补丁层面识别欺骗的痕迹提高了模型的可解释性。可解释性
新框架金字塔监督
金字塔 在现有的方法中很容易引入监督以提高其绩效。在本文中我们展示了一个在两种典型方法中引入金字塔监督的例子。二进制掩模监督和深度图监督。 首先金字塔二元掩码监督的图将金字塔监督应用于二元掩码监督如下图所示。 从RGB输入图像(3×256×256)中提取多尺度特征(_F__8,_F__4,F__2,F1)提取各特征后采用平均池化法。此外每个特征(_F__8,_F__4,F__2,F1)用1x1 Conv进行特征到掩模的映射得到多尺度二元掩模Θ8、Θ4、Θ2、Θ1。多尺度二元掩模预测可以表述为 1.可制定如下 每一个生成的多尺度二元掩码都要进行变换和并联最后应用二元分类。对于每个像素的地面真值_Y_可以直接使用已经注释的二进制掩码标签也可以使用生成的粗二进制掩码。转换为与输入图像相同的多尺度掩模标签Y8、Y4、Y2、Y1。 预测的多尺度二进制掩码和地面真相大小相同通过累积每个尺度每个位置的二进制交叉熵(BCE)来计算损失函数Lpyramid。 在训练过程中网络的整体损失函数(Loverall)可以表述如下_Lbinary_将是最后一次二进制分类的BCE。在测试过程中只使用最终的二进制分数。 接下来金字塔深度图监督应用于深度图监督如下图所示。 如图所示CDCN从输入图像(3×256×256)中提取多级特征并预测灰度深度图(32×32)。与金字塔二元掩模监督类似预测的深度图D3232×32和生成的Pseduo深度都被下采样并调整为相同的比例32×32、16×16等。 金字塔深度损失LdepthPyramid可制定如下。
这里Di代表预测深度图的比例尺_i_。另外LMSE和LCDL分别代表均方误差MSE和对比度深度损失CDL。对比深度损失(CDL)是CVPR2020中提出的损失函数其公式如下。 这是一种新引入的损失因为常用的使用欧氏距离的Contrasive Loss没有考虑相邻像素信息细节信息丢失影响泛化性能。 出典深度空间梯度和时间深度学习的人脸防欺骗技术
在训练过程中只使用LdepthPyramid在测试过程中计算所有尺度预测的深度图的平均值作为最终得分。
实验
如上所述在基于Pixel-Wise Supervision的FAS中主流的Backbone可以分为两类。 1基于二进制掩码监督的网络如ResNet和DenseNet。 2基于伪深度监督的网络如DepthNet。
在此分别以具有代表性的ResNet50和CDCN作为基线并与金字塔监督的模型进行比较。
数据集内类型测试 (OULU-NPU)
数据库内测试是对特定数据集的性能评估。使用一个代表性的数据集OULU-NPU来评估性能。为了公平的比较使用原始协议和指标指标是攻击展示分类错误率APCER、展示分类错误率BPCER和ACER的平均值计算出来的。使用ACER其计算方法是APCER是指被误判为真实的欺骗行为的百分比PCER是指被误判为欺骗行为的百分比。PCER是指被欺骗和误判的真品比例。下表显示了使用OULU-NPU进行Intra-Dataset测试的结果其中Prot.代表OULU-NPU提供的四种协议。 从ACER来看重点是提出的金字塔监督(PS)可以看到它在四个协议中持续降低和提高性能。换句话说它在光照、攻击介质和输入摄像机等外部环境方面的泛化性能有所提高。 从模型来看CDCN-PS在四个协议中实现了比SOTA的模型更好或性能相当。ResNet50-PS显示出非常好的效果在协议4中表现得比CDCN-PS更好虽然前三个协议的性能没有那么高但在协议4中最难达到高性能。这表明即使在训练数据有限的情况下金字塔监督也是非常有效的。
数据集内交叉类型测试(SiW-M)
通过SiW-M的跨类型测试验证未知攻击的泛化性能。如下表所示与传统的Pixel-Wise Supervision相比ResNet50-PS和CDCN-PS实现了整体更好的EER分别提高了17%和12%。 跨数据集内类型测试
他们使用四个数据集OULU-NPUOCASIA-MFSDCIdiap Replay-AttackI和MSU-MFSDM。其中随机选取3个数据集进行训练剩余1个数据集用于测试。下表显示了结果。 可以看出金字塔监督的实施显著提高了ResNet50-PS的性能(HTER)尤其是OC I to M和IC M to O的性能(HTER)提高了-4.48%和-5.03%。 同样CDCN-PS在O C I to M、“O M I to C”、I C M to O的表现HTER分别提高了-2.48%、-4.21%、-1.16%。我们表明金字塔监督也有助于在多源域上提供丰富的多尺度指导。
可视化
下图是SiW-M在Cross-Type测试中预测的真假二元图。 从Live、Replay和Transp.Mask的预测结果来看ResNet50 8x8和ResNet50-PS的表现都不错表现出较高的识别可信度。另一方面对于未知攻击方法的预测如部分打印和半掩模显示出信心的下降。 从ResNet50 8x8的结果中可以看到在第3行第2列中除了眼睛区域的Print区域外其他面部区域的预测置信度都很低。另一方面金字塔监督的使用显著提高了欺骗定位方面的可解释性。预测的8x8和4x4地图分别揭示了面部皮肤区域和冒充媒介的高真和低假分数位置。 随着欺骗攻击的发展网络的可解释性将在欺骗的定位和理解上变得越来越重要。
总结
在本文中他们提出了一种新的金字塔监督为精细化学习提供了更丰富的多尺度空间背景。 它可以很容易地引入传统方法。实验结果也表明其在泛化和解释性能上都有很高的有效性。要实现安全可靠的人脸识别系统高泛化性能和高可解释性是不可缺少的。 未来我们期望通过将其纳入更先进的架构和基于像素的标签进一步提高系统的性能。
