南京网站定制南京,广告设计与制作专业简历,优化推广排名,建设银行发卡银行网站目录
一 核心概念与背景
二 输出层知识蒸馏
1 教师模型训练
2 软标签生成#xff08;Soft Targets#xff09;
3 学生模型训练
三 扩展
1 有效性分析
2 关键影响因素
3 变体 一 核心概念与背景
知识蒸馏#xff08;Knowledge Distillation, KD#xff09;是一种模…目录
一 核心概念与背景
二 输出层知识蒸馏
1 教师模型训练
2 软标签生成Soft Targets
3 学生模型训练
三 扩展
1 有效性分析
2 关键影响因素
3 变体 一 核心概念与背景
知识蒸馏Knowledge Distillation, KD是一种模型压缩与知识迁移技术由Hinton等人于2015年在《Distilling the Knowledge in a Neural Network》中提出。其核心目标是将复杂模型教师模型中的“知识”迁移到更轻量的模型学生模型中使学生模型在保持较小计算代价的同时逼近甚至超越教师模型的性能。
核心思想教师模型通过输出软标签Soft Targets即概率分布传递隐含知识如类别间相似性而非仅依赖硬标签One-hot编码标签。学生模型通过模仿教师模型的输出分布学习更泛化的特征表示。
二 输出层知识蒸馏 论文题目Distilling the Knowledge in a Neural Network(2015.3.9)
论文地址https://arxiv.org/pdf/1503.02531
【摘要】提高几乎任何机器学习算法性能的一个非常简单的方法是在同一数据上训练许多不同的模型然后对它们的预测进行平均。不幸的是使用整个模型集合进行预测是很麻烦的并且可能过于昂贵无法部署到大量的用户特别是如果单个模型是大型神经网络。卡鲁阿纳及其合作者的研究表明将一个集合中的知识压缩为一个更易于部署的单一模型是可能的我们进一步使用不同的压缩技术来开发这种方法。我们在MNIST上取得了一些令人惊讶的结果我们表明通过将模型集合中的知识提取到单个模型中我们可以显著地改进大量使用的商业系统的声学模型。我们还介绍了一种由一个或多个全模型和许多专家模型组成的新型集成它们能够学习区分全模型混淆的细粒度类。与混合专家不同这些专家模型可以快速并行地进行训练。
1 教师模型训练
教师模型对输入样本的预测输出是一个概率分布而不是单一的类别标签。这种概率分布包含了教师模型对于各个类别的置信度比硬标签提供了更多关于类间关系的信息。
教师模型需在目标任务上充分训练至收敛通常选择参数量大、性能优越的模型如ResNet-152、BERT-large。教师模型的logits输出未经Softmax的原始分数或经过温度参数调整的软概率分布。
2 软标签生成Soft Targets
通过温度参数 T调整Softmax函数生成更平滑的概率分布 其中 T 1时分布更平缓揭示类别间相似性T1时为标准Softmax。
3 学生模型训练
学生模型同时学习教师的软标签和真实标签损失函数为加权和 loss αH(teacher(x),student(x)) (1−α)H(target,student(x)) 其中H(teacher(x),student(x)) 是教师模型与学生模型的交叉熵。H(target,student(x)) 是学生模型与真实情况的交叉熵。α 是一个超参数用来平衡两个损失项的权重。
蒸馏的过程如下图。 三 扩展
1 有效性分析
■ 知识传递机制
软标签包含类间关系而硬标签仅保留正确类别信息。
温度参数 T 控制知识粒度高 T 强调类间关系低 T 聚焦主要类别。
■ 正则化效应
教师模型的软标签为学生提供额外监督信号缓解小模型过拟合问题。
■ 优化轨迹引导
教师模型的输出分布为学生模型提供更平滑的优化路径降低陷入局部最优风险。
2 关键影响因素
■ 温度参数 T
经验值范围T∈[3,10]需根据任务调整。过高导致分布过于平缓过低则接近硬标签。
■ 教师-学生容量差距
学生模型需具备足够容量学习教师知识差距过大会限制性能上限。渐进式蒸馏如先训练中等模型可缓解此问题。
■ 数据增强策略
使用与教师模型相同的数据增强方法确保知识迁移一致性。
3 变体
■ 中间特征蒸馏
直接对齐教师与学生中间层的特征如注意力图、特征图。
■ 自蒸馏Self-Distillation
同一模型在不同训练阶段或不同子模块间迁移知识无需独立教师模型。
■ 对抗蒸馏
引入生成对抗网络GAN通过判别器强制学生模仿教师特征分布。 至此本文的内容就结束啦。
