做建网站,张雪峰数字媒体技术,延吉网站建设公司,网络推广优化工具文章目录 一.论文信息二.论文内容1.摘要2.引言3.主要图表4.结论 一.论文信息
论文题目#xff1a; Computation and Data Efficient Backdoor Attacks#xff08;计算和数据高效后门攻击#xff09;
论文来源#xff1a; 2023-ICCV#xff08;CCF-A#xff09;
论文团… 文章目录 一.论文信息二.论文内容1.摘要2.引言3.主要图表4.结论 一.论文信息
论文题目 Computation and Data Efficient Backdoor Attacks计算和数据高效后门攻击
论文来源 2023-ICCVCCF-A
论文团队 南洋理工大学清华大学中关村实验室 二.论文内容
1.摘要
针对深度神经网络(DNN)模型的后门攻击已被广泛研究。针对不同的领域和范式提出了各种攻击技术如图像、点云、自然语言处理、迁移学习等。在DNN模型中嵌入后门最常用的方法是毒害训练数据。他们通常从良性训练集中随机选择样本进行投毒而不考虑每个样本对后门有效性的不同贡献使得攻击不太理想。 最近的一项研究[40]提出使用 遗忘分数 来 衡量每个中毒样本的重要性 然后过滤掉冗余数据以进行有效的后门训练。然而这种方法是经验设计的没有理论证明。它也非常耗时因为它需要经过几个训练阶段来进行数据选择。为了解决这些限制我们提出了一种新的基于置信度的评分方法该方法可以基于距离后验有效地测量每个中毒样本的贡献。我们进一步引入贪婪搜索算法以更快地找到信息最丰富的后门注入样本。对二维图像和三维点云分类任务的实验评估表明我们的方法可以达到相当的性能甚至超过基于遗忘分数的搜索方法而只需要对标准训练过程进行几个额外的epoch计算。我们的代码可以在https://github.com/WU-YU-TONG/ computational_efficient_backdoor找到。
2.引言
深度神经网络(dnn)安全威胁的多样性[1,23]阻碍了其在许多计算机视觉(CV)任务中的商业化进程。最严重和最广为人知的威胁之一是后门攻击[23]。对手可以在训练期间向目标模型注入一个与唯一触发器相对应的隐形后门[43,28,25,17,5,10,13]。在推理过程中妥协模型(Compromised model)在良性样本上表现良好但在具有触发器的恶意样本上可能出现错误行为。
实现后门攻击最常见的方法是数据中毒攻击者通过破坏某些训练样本来嵌入后门。成功后门攻击的一个关键标准是中毒样本的比例。从对抗的角度来看我们希望在保持相同攻击成功率(ASR)的情况下投毒尽可能少的样本原因有两个:(1)较小的投毒率可以增强攻击的可行性。攻击者只需要破坏一小部分训练数据因此攻击要求放宽了。(2)中毒样本较少的后门攻击将更加隐蔽。许多工作通过调查训练样本提出了后门检测解决方案[7,15,29,35,38,34,18]。较小的投毒率会显著增加检测难度降低防御效能。
大多数后门攻击随机选择固定比例的训练样本进行投毒该比例是启发式确定的[12,16,21,41,24]。这种策略不是最优的因为它忽略了不同样本对后门贡献的区别。 为了克服这一局限性最近的一项工作[40]提出了一种新的方法——遗忘评分来优化中毒样本的选择过程。以模型训练过程中每个样本遗忘事件的频率作为得分表示每个样本对后门注入的重要性。然后在N个完整的训练周期内通过过滤和更新策略(FUS)过滤出得分较高的样本;与随机选择策略相比遗忘分数可以有效降低中毒率25 ~ 50%同时达到相近的ASR。验证了不同样本对攻击性能的不同影响。
遗忘分数可以提高数据效率但以计算效率低为代价。 具体来说它根据经验计算每个样本在训练期间被遗忘的次数以定位对中毒贡献更大的关键样本。遗忘分数的计算需要多个完整的训练周期([40]中的ImageNet-10的N 10)来减少中毒样本的数量这引入了大量的工作对于攻击大规模数据集是不切实际的。因此一个有趣的问题出现了:是否可能在后门中毒中同时实现数据效率和计算效率即毫不费力和精确地识别关键中毒样本?
本文提出了一种新的攻击方法来验证上述问题。我们的贡献是双重的。提出了表示距离(RD)分数一种新的触发无关和结构无关的度量以识别对后门攻击成功更关键的中毒样本。具体来说我们的目标是定位那些与目标类有较大距离的中毒样本因为它们将在训练期间对重塑决策边界的形成做出更多贡献(后门嵌入)。通过采用该RD分数我们可以过滤掉对后门感染不敏感的中毒样本以降低中毒率。其次RD分数可以在模型训练的早期阶段(即训练开始后的几个epoch)使用贪婪搜索方案来选择中毒样本。与遗忘分数相比这显著减少了计算量。
我们在5个最先进的模型和4个常见的数据集上进行了广泛的实验用于2D图像和3D点云分类任务。评估表明我们的解决方案可以有效地减少毒化样本的数量从而成功地进行后门攻击。最重要的是与基于遗忘分数的方法相比我们的解决方案可以使用得分模型找出重要的有毒样本只需要几次训练与基于遗忘分数的方法相比这是一个很小的成本。因为后者需要经过整个培训过程才能达到同样的目标。
3.主要图表 图1. 对我们洞察力的直观解释。左图显示的是一个干净的模型没有任何后门。在中间的图中当样本被下毒时越靠近决策边界的样本对后门的影响越小。在右图中当选择样本进行投毒时远离决策边界的样本可能会给模型带来更显著的变化。 图2. 我们方法论的工作流程。 图3. 干净和有毒样本的例子。 表1. 搜索的预算。 图4. 三种方法在CIFAR-10上的ASR。我们对基于分数的选择策略重复实验3次对随机选择策略重复实验10次。我们设置α为0.3,N为10。RD评分模型的epochs为6遗忘分数模型的epochs设置为50。 图5.三种方法在ImageNet-10上的ASR。我们对基于分数的选择策略和随机选择策略分别重复实验3次和5次。我们设置α为0.3,N为10。RD评分模型的epochs为6遗忘分数模型的epochs设置为30。 图6. 三种方法在三维点云分类任务上的ASR。评分法重复实验3次随机法重复实验5次。在对两种评分方法进行贪婪搜索时我们将迭代时间N减少到7。对于ScanObject我们将训练epoch设置为75学习率设置为0.01。 表2. 训练过程中超参数黑箱设置下的ASR(%)。利用CIFAR-10数据集在ResNet18模型上进行了实验。我们训练了6个epoch的评分模型并将迭代次数和过滤比率分别设置为10。Adam中的其他参数与其PyTorch实现保持一致。对于后门模型我们将其训练设置固定为使用SGD作为优化器0.05作为学习率128作为批大小。 图7. 各种模型和任务的ASR和Accuracy。所有的ASR都是使用我们在实验中使用的最高中毒比的RD分数获得的即CIFAR10的0.0017,ImageNet-10的0.0095,ModelNet40的0.01,ScanObject的0.09。在上述比率下后门的ASR趋于稳定。 图8. 贪心搜索中α值变化时不同毒比下RD评分的ASR。每个实验我们重复三次。在所有的实验中我们将N设置为10将评分模型的epochs设置为6。
图9. 贪婪搜索中迭代时间N变化时不同毒比下RD评分的ASR。每个实验我们重复三次。在所有的实验中我们将评分模型的epochs设置为6。 图10. 评分模型的训练时间对两种方法的影响。所有实验都在CIFAR-10, ResNet18上使用0.001的中毒比进行。 图11. 遗忘分数和RD分数的ASR。我们使用ResNet18作为受害者模型并将评分模型的架构改为MobileNet和VGG16。
4.结论
在本文中我们提出了一个新的分数通过评估给定中毒样本对目标类的L2范数来衡量中毒样本对后门学习过程的贡献。通过过滤掉得分较低的样本我们的方法获得了比随机选择策略更好的后门ASR。我们在各种数据集和模型架构上进行了广泛的实验以显示与先前工作相比我们的方法的通用性和可移植性。
对于未来的工作我们认为虽然RD分数具有很高的适应不同任务的能力但其在某些场景中的有效性尚未得到充分的研究。在未来我们希望将我们的研究兴趣转向两个方向。首先对于像目标检测这样的高级任务[33]评分机制应该处理以下独特的挑战:(1)多任务如目标定位和分类如何通过同时采取这些方面来减少有毒预算是一个关键问题;(2)多实例如一个样本可能包含多个对象在设计评分方法时如何衡量给定中毒样本的重要性使问题变得更加复杂。其次对自然语言生成等非分类任务的中毒效率研究较少[9]。搜索方法需要满足多种损失函数。因此调整类似的方法来选择重要的毒物样本可能是具有挑战性的。
