可以自己做斗图的网站,上海模板建站多少钱,营销qq,莞城发布最新通告一、什么是集成学习#xff1f;
#xff08;1#xff09;它的出现是为了解决什么问题#xff1f;
提高准确性#xff1a;单个模型可能对某些数据敏感或者有概念偏见#xff0c;而集成多个模型可以提高预测的准确性。让模型变稳定#xff1a;一些模型#xff0c;如决策…一、什么是集成学习
1它的出现是为了解决什么问题
提高准确性单个模型可能对某些数据敏感或者有概念偏见而集成多个模型可以提高预测的准确性。让模型变稳定一些模型如决策树对训练数据的微小变化非常敏感。通过集成算法可以平滑这些变化得到更稳定的预测结果。增强鲁棒性不同的模型可能对数据中的不同噪声和异常值有不同程度的敏感性集成学习通过合并这些模型的输出来提高整体系统对噪声和异常值的耐受能力。降低过拟合通过组合多个模型特别是在这些模型被训练来关注不同的数据子集时集成学习能减轻单个模型由于对训练数据过度拟合而在实际使用中表现不佳的风险。
2集成学习的定义 集成学习Ensemble Learning是一种强大的机器学习范式它通过构建并组合多个学习器通常称为基学习器或弱学习器来解决同一个问题。这类似于寻求多个专家意见而不是仅依靠单个专家的观点。集成学习的核心思想是多个模型联合起来的整体性能往往可以超过单个模型的性能。【三个臭皮匠赛过诸葛亮】 弱学习器Weak Learner是指那些单独看时预测能力并不特别强的学习模型其准确率仅略高于随机猜测。在分类任务中它们的性能仅略优于随机猜测就好在回归任务中则表现为具有较小但非零预测误差这些学习器可以是同质的例如都是决策树或异质的来自不同类型的学习算法
二、集成学习中的三种集成策略
1多数表决Majority Voting 在分类问题中每个模型对于每个实例输出一个类别作为预测。多数表决是指统计所有弱学习器的预测结果选择得票最多的类别作为最终预测结果。如果有多个类别的得票相同则可能需要引入其他策略如打破平局规则。 比如有三个模型两个模型预测一个实例为类别A一个模型预测为类别B那么多数表决的结果就是类别A。 2平均法Averaging 在回归问题中或概率预测的分类问题中最终的预测结果是每个模型输出预测的平均值。 比如一个回归问题中三个模型预测的结果分别是3.5, 4.0, 和4.5那么平均法的结果就是 (3.54.04.5)/3 4.0。 3加权平均Weighted Averaging 在回归问题中或概率预测的分类问题中 类似于平均法不过在加权平均中每个模型的预测结果都会被赋予一个权重这个权重通常是基于模型的表现的比如预测的准确度更好的模型会被赋予更高的权重。然后在计算出预测的加权平均值作为最终的预测结果。 比如模型A的权重是0.6模型B是0.3模型C是0.1那么最终的预测结果是每个模型的预测值乘以其对应权重的和。 这三种集成策略可以看下图直观感受 集成策略 三、集成学习的三大分类
1并行集成 并行集成方法中的弱学习器通常是并行地或者独立地训练出来的它们之间的训练过程相互独立没有强依赖关系。并最终将它们的预测结果结合起来。 如BaggingBootstrap Aggregating和随机森林算法通过采样数据集生成多个模型并行训练最后采用投票、平均或其他统计方法综合结果。 并行集成学习算法Bagging 2顺序集成 顺序集成方法中的弱学习器是按照一定的顺序依次产生的后续的学习器会基于之前学习器的表现以及训练过程中调整的数据分布来更新和优化。通过顺序地增加模型的复杂度从而提高整个模型的性能。 如Boosting算法系列包括AdaBoost、Gradient Boosting梯度提升和XGBoost极端梯度增强LightGBM等其中后续模型是在纠正前序模型错误的基础上进行训练的逐步迭代形成强大的预测系统。 顺序集成学习算法Boosting 3堆叠模型
① 堆叠模型的概念 堆叠Stacking模型可以理解成混合了并行集成于顺序集成的一种方法。它的核心思想是使用一个新的模型称为元学习器或者叫组合器去学习如何最有效地合并各个弱学习器也称为一级学习器的输出。 堆叠模型 ② 它的基本步骤
第一层训练
首先从原始数据集中选择一组不同的基础模型可以是同质的比如都是决策树也可以是异质的如包含决策树、神经网络、SVM等不同类型的模型使用全部或者交叉验证后的训练数据分别训练这些基础模型并让它们对整个训练集进行预测这些基础模型的预测结果被记录下来组成“元特征”
第二层训练
将第一层产生的元特征集合即每个基础模型在所有训练样本上的预测结果与原来的标签一起构成一个新的训练集在这个新训练集上训练一个新的学习器通常称之为元学习器或组合器图中叫二级学习器。这个元学习器的任务是学习如何最优地结合底层模型的预测结果以达到最佳的整体预测效果。
预测阶段
当新的数据实例需要被预测时首先用第一层的所有基础模型进行预测得到新的元特征向量然后将该向量输入到第二层的元学习器中得出最终的预测结果 标题 在了解完集成学习中的堆叠模型后可以发现堆叠模型不光是有并行集成的思想还有顺序集成的部分在堆叠模型中弱学习器基础模型的预测结果不是通过之前讲的三种集成策略投票、平均、加权平均来得到最终结果。 而是将预测结果变成输入再用一个叫元学习器的模型来处理这才得到最终结果。
