西安团购网站建设,网络营销的特点不包括,鄂伦春网站建设,wordpress经典编辑器没有文章目录一、前言二、定义三、来历四、举例说明一、前言
我第一次见到消融实验#xff08;Ablation Study#xff09;这个概念是在论文《Faster R-CNN》中。
消融实验类似于我们熟悉的“控制变量法”。
假设在某目标检测系统中#xff0c;使用了A#xff0c;B#xff0…
文章目录一、前言二、定义三、来历四、举例说明一、前言
我第一次见到消融实验Ablation Study这个概念是在论文《Faster R-CNN》中。
消融实验类似于我们熟悉的“控制变量法”。
假设在某目标检测系统中使用了ABC取得了不错的效果但是这个时候你并不知道这不错的效果是由于ABC中哪一个起的作用于是你保留AB移除C进行实验来看一下C在整个系统中所起的作用。
二、定义
Robert Long对消融研究或消融实验定义
通常用于神经网络尤其是相对复杂的神经网络如R-CNN。我们的想法是通过删除部分网络并研究网络的性能来了解网络。
“消融”的原始含义是手术切除身体组织。
ablation解释: 通过机械方法切除身体组织如手术从身体中去除尤指器官、异常生长或有害物质。三、来历
“消融研究”这一术语的根源于20世纪60年代和70年代的实验心理学领域其中动物的大脑部分被移除以研究其对其行为的影响。
在机器学习特别是复杂的深度神经网络的背景下已经采用“消融研究”来描述去除网络的某些部分的过程以便更好地理解网络的行为。
自从Keras深度学习框架的主要作者Francois Chollet在2018年6月发布twtter以来该术语受到了关注 消融研究对于深度学习研究至关重要。理解系统中的因果关系是产生可靠知识的最直接方式任何研究的目标。消融是一种非常省力的方式来研究因果关系。 如果您采用任何复杂的深度学习实验设置您可能会删除一些模块或用随机的模块替换一些训练有素的功能而不会降低性能。消除研究过程中的噪音进行消融研究。 如果您无法完全理解您的系统很多活动部件想确定它的工作原因是否与您的假设密切相关尝试删除东西。花费至少约10的实验时间来诚实地反驳你的论文。 四、举例说明
Girshick及其同事描述了一个由三个“模块”组成的物体检测系统
第一个使用选择性搜索算法提出图像区域在该区域内搜索物体
进入一个大的卷积神经网络有5个卷积层和2个完全连接的层进行特征提取
进入一组支持向量机进行分类。
为了更好地理解该系统作者进行了一项消融研究其中系统的不同部分被移除。例如移除CNN的一个或两个完全连接的层导致性能损失惊人地少。
这使作者得出结论
CNN的大部分代表性力量来自其卷积层而不是来自更大的密集连接层。
