电子商务的网站的建设内容,北京建设工程造价信息,wordpress文章怎么增加字段,建设银行网站最近都打不开吗前边学习了#xff1a;十大集成学习模型#xff08;简单版#xff09;-CSDN博客
Bagging又称为“装袋法”#xff0c;它是所有集成学习方法当中最为著名、最为简单、也最为有效的操作之一。
在Bagging集成当中#xff0c;我们并行建立多个弱评估器#xff08;通常是决策…前边学习了十大集成学习模型简单版-CSDN博客
Bagging又称为“装袋法”它是所有集成学习方法当中最为著名、最为简单、也最为有效的操作之一。
在Bagging集成当中我们并行建立多个弱评估器通常是决策树也可以是其他非线性算法并综合多个弱评估器的结果进行输出。当集成算法目标是回归任务时集成算法的输出结果是弱评估器输出的结果的平均值当集成算法的目标是分类任务时集成算法的输出结果是弱评估器输出的结果少数服从多数。
由于bagging就是将多个模型进行集成比较简单所以本文不讲bagging的原理通过几个问题让大家彻底了解bagging方法 一、为什么Bagging算法的效果比单个评估器更好 二、为什么Bagging可以降低方差 三、为什么误差可以分解为偏差、方差和噪声三者分别是什么意思 四、Bagging有效的基本条件有哪些Bagging的效果总是强于弱评估器吗 五、Bagging方法可以集成决策树之外的算法吗 六、怎样增强Bagging中弱评估器的独立性 七、除了随机森林你还知道其他Bagging算法吗 八、即使是单颗树为什么它的feature_importances_也会有一定的随机性 一、为什么Bagging算法的效果比单个评估器更好
该问题其实是在考察Bagging方法降低模型泛化误差的基本原理。
泛化误差是模型在未知数据集上的误差更低的泛化误差是所有机器学习/深度学习建模的根本目标。在机器学习当中泛化误差一般被认为由偏差、方差和噪音构成。
其中偏差是预测值与真实值之间的差异衡量模型的精度。方差是模型在不同数据集上输出的结果的方差衡量模型稳定性。噪音是数据收集过程当中不可避免的、与数据真实分布无关的信息。
当算法是回归算法、且模型衡量指标是MSE时模型的泛化误差可以有如下定义 泛化误差偏差*偏差方差噪音*噪音 bias*biasvariancenoise*noise 该公式可以通过泛化误差、偏差、方差与噪音的定义推导而得下面有推导
Bagging的基本思想是借助弱评估器之间的”独立性”来降低方差从而降低整体的泛化误差。这个思想可以被推广到任意并行使用弱分类器的算法或融合方式上极大程度地左右了并行融合方式的实际使用结果。其中“降低方差”指的是bagging算法输出结果的方差一定小于弱评估器输出结果的方差因此在相同数据上随机森林往往比单棵决策树更加稳定也因此随机森林的泛化能力往往比单棵决策树更强。
二、为什么Bagging可以降低方差
设真实值为加上误差之后的值为 模型预测值为 f(x) 并且误差服从均值为0的正态分布即。
偏差度量了学习算法的期望预期与真实结果的偏离程度即刻画了学习算法本身的拟合能力即。
方差度量了同样大小的训练集的变动所导致的学习性能的变化即刻画了数据扰动所造成的影响即。
噪声表达了在当前任务上任何学习算法所能够达到的期望泛化误差的下界即刻画了学习问题本身的难度也即。
推导 因此误差可以分解为偏差、方差与噪声之和。
三、为什么误差可以分解为偏差、方差和噪声三者分别是什么意思
3.1 回归问题
以随机森林为例假设现在随机森林中含有 n 个弱评估器 n 棵树任意弱评估器上的输出结果是 则所有这些弱评估器输出结果的方差可以被表示为 。假设现在我们执行回归任务则森林的输出结果等于森林中所有树输出结果的平均值因此森林的输出可以被表示为 因此随机森林输出结果的方差可以被表示为 也可以写作。
当森林中的树互相独立时 永远小于 推导如下 更一般的式子 其中 ρ 为弱评估器之间的相关系数可见当弱评估器之间完全独立时 ρ 为0。与独立时是一样的。这也意味着随机森林输出结果的方差与森林中弱评估器之间的相关性是正相关的。评估器之间的相关性越强随机森林输出的结果的方差就越大Bagging方法通过降低方差而获得的泛化能力就越小。
因此
1、在bagging的弱分类器选取原则中有一条要求弱分类器之间尽可能相互独立而且独立性越高bagging越有效当弱评估器之间没有任何独立性了也即每个弱评估器完全一样那bagging也就没有任何意义了。
2、同时还要要求弱评估器的方差要大偏差要小主要是因为bagging是降低方差不能够降低偏差采用大偏差的弱评估器训练结果非常不可控。
3.2 分类问题
在bagging中需要对每棵树上的输出结果进行少数服从多数的计算并将“多数”指向的类别作为随机森林分类器的结果。因此当弱评估器的方差是 时随机森林分类器的方差可以写作其中就是sigmoid函数是所有弱评估器的分类结果的均值。让 在 处进行一阶泰勒展开推导如下 由于为sigmoid函数所以因此有。
四、Bagging有效的基本条件有哪些Bagging的效果总是强于弱评估器吗 这块要重点记一下 1、弱评估器的偏差较低特别地来说弱分类器的准确率至少要达到50%以上 2、弱评估器之间相关性弱最好相互独立 3、弱评估器是方差较高、不稳定的评估器 1、弱评估器的偏差较低特别地来说弱分类器的准确率至少要达到50%以上
Bagging集成算法是对基评估器的预测结果进行平均或用多数表决原则来决定集成评估器的结果。在分类的例子中假设我们建立了25棵树对任何一个样本而言平均或多数表决原则下当且仅当有13棵以上的树判断错误的时候随机森林才会判断错误。假设单独一棵决策树在样本上的分类准确率在0.8上下浮动那一棵树判断错误的概率大约就有那随机森林判断错误的概率有13棵及以上的树都判断错误的概率是 可见判断错误的几率非常小这让随机森林的表现比单棵决策树好很多。基于上述式子我们可以绘制出以弱分类器的误差率为横坐标、随机森林的误差率为纵坐标的图像。 可以从图像上看出当基分类器的误差率小于0.5即准确率大于0.5时集成的效果是比弱分类器要好的。相反当基分类器的误差率大于0.5袋装的集成算法就失效了。所以在使用随机森林之前一定要检查用来组成随机森林的分类树们是否都有至少50%的预测正确率。
2、弱评估器之间相关性弱最好相互独立
在证明Bagging降低方差的数学过程中已经申明了很多次唯有弱评估器之间相互独立、弱评估器输出的结果相互独立时方差计算公式的前提假设才能被满足Bagging才能享受降低方差的福利。
然而在现实中森林中的弱评估器很难完全相互独立因为所有弱评估器都是在相同的数据上进行训练的、因此构建出的树结构也大同小异。幸运的是我们能够衡量弱评估器之间相关性。以随机森林回归为例假设任意弱评估器之间的相关系数为 ρ 则随机森林输出结果的方差等于 这个公式是根据比奈梅定义(Bienaymés Identity)与协方差相关的公式推导出来的这暗示随机森林输出结果的方差与森林中弱评估器之间的相关性是正相关的弱评估器之间的相关性越强随机森林输出的结果的方差就越大Bagging方法通过降低方差而获得的泛化能力就越小。因此在使用随机森林时我们需要让弱评估器之间尽量相互独立我们也可以通过这一点来提升随机森林的水平。
3、弱评估器是方差较高、不稳定的评估器
因为Bagging是作用于方差的集成手段所以Bagging方法擅长处理方差大、偏差低的模型而不擅长处理方差小、偏差大的模型对于任意算法而言方差与偏差往往不可兼得这也很容易理解——想要在当前数据集上获得低偏差必然意味着需要重点学习当前数据集上的规律就不可避免地会忽略未知数据集上的规律因此在不同数据集上进行测试时模型结果的方差往往很大。
五、Bagging方法可以集成决策树之外的算法吗
强大又复杂的算法如决策树、支持向量机等往往学习能力较强倾向于表现为偏差低、方差高这些算法就比较适合于Bagging。而线性回归、逻辑回归、KNN等复杂度较低的算法学习能力较弱但表现稳定因此倾向于表现为偏差高方差低就不太适合被用于Bagging。
六、怎样增强Bagging中弱评估器的独立性 正如前述在实际使用数据进行训练时我们很难让Bagging中的弱评估器完全相互独立主要是因为 1训练的数据一致 2弱评估器构建的规则一致 导致最终建立的弱评估器都大同小异Bagging的效力无法完整发挥出来。为了弱评估器构建规则一致的问题有了Averaging和Voting这样的模型融合方法基本来看就是使用Bagging的逻辑来融合数个不同算法的结果。而当我们不使用模型融合时我们可以使用“随机性”来削弱弱分类器之间的联系、增强独立性、提升随机森林的效果。
在随机森林中天生就存在有放回随机抽取样本建树的机制因此才会有bootstrap、max_samples等参数才会有袋外数据、袋外评估指标oob_score等属性意在使用不同的数据建立弱评估器。除了有放回随机抽样之外还可以使用max_features随机抽样特征进行分枝加大弱评估器之间的区别。
正因为存在不同的随机的方式Bagging集成方法下才有了多种不同的算法。
七、除了随机森林你还知道其他Bagging算法吗
Bagging方法的原理简单因此Bagging算法之间的不同主要体现在随机性的不同上。在上世纪90年代对样本抽样的bagging、对特征抽样的bagging、对样本和特征都抽样的bagging都有不同的名字不过今天所有这些算法都被认为是装袋法或装袋法的延展。在sklearn当中除了随机森林之外还提供另一个bagging算法极端随机树。极端随机树是一种比随机森林更随机、对方差降低更多的算法我们可以通过以下两个类来实现它
sklearn.ensemble.ExtraTreesClassifiersklearn.ensemble.ExtraTreesRegressor
与随机森林一样极端随机树在建树时会随机挑选特征但不同的是随机森林会将随机挑选出的特征上每个节点都进行完整、精致的不纯度计算然后挑选出最优节点而极端随机树则会随机选择数个节点进行不纯度计算然后选出这些节点中不纯度下降最多的节点。这样生长出的树比随机森林中的树更不容易过拟合同时独立性更强因此极端随机树可以更大程度地降低方差。
当然了这种手段往往也会带来偏差的急剧下降因此极端随机树是只适用于方差过大、非常不稳定的数据的。除非特殊情况我们不会考虑使用极端随机树。
八、即使是单颗树为什么它的feature_importances_也会有一定的随机性
这种随机性源于CART树对切分点的选取。根据评估器的说明哪怕是max_featuresn_features即每次训练带入全部特征、而max_featuresn_features时则每次切分带入部分特征、此时随机性更强在进行决策树生长时也经常遇到拥有相同效力的备选切分点即基于基尼系数的信息增益相同此时只能随机挑选其中一个备选点进行切分而选取哪个切分点就必然给对应的特征累计更多的重要性。这也就是为何相同的数据在多次建模时特征重要性会各不相同的原因。
记下来学习集成学习二Boosting-CSDN博客
