温州知名网站,织梦网站提示保存目录数据时报,工业设计工资一般多少,企业网站建公司一.Bagging与Boosting的区别 在上一章里我们学习了一个集成模型叫作随机森林#xff0c;而且也了解到随机森林属于Bagging的成员。本节我们重点来学习一下另外一种集成模型叫作Boosting。首先回顾一下什么叫Bagging? 比如在随机森林里#xff0c;针对于样本数据#xff0c;…一.Bagging与Boosting的区别 在上一章里我们学习了一个集成模型叫作随机森林而且也了解到随机森林属于Bagging的成员。本节我们重点来学习一下另外一种集成模型叫作Boosting。首先回顾一下什么叫Bagging? 比如在随机森林里针对于样本数据我们同时训练了多棵决策树然后让这些决策树通过投票的方式来参与预测。这种方式的好处也讲过可以很好地提升模型的稳定性。 其实任意的集成模型只要训练得合理都具备这种特性的Boosting也不例外。
首先在Bagging和Boosting里我们把每一个模型称作Weak Learner比如随机森林里的每一棵决策树就是Weak Leaner。那怎么理解Weak Learner呢? 其实就是不太靠谱的模型但很多不太靠谱的模型组合在一起最终得出来的很可能是靠谱的模型是不是很神奇? 虽然Bagging和Boosting都由Weak Learner来组成但它们之间还是有很大区别的。有两个关键词我们还需要记住:overfitting和underfitting。 前者的意思是一个模型训练得太好了、太厉害了导致出现过拟合的现象所以不靠谱; 后者的意思是这么模型有点弱都没有充分训练过所以不靠谱。Bagging是很多过拟合的Weak Leaner来组成Boosting是很多欠拟合的Weak Learner来组成这就是它们之间核心的区别。 可以举个例子:Bagging模型可以理解成由很多顶级的专家来组成但这些专家呢都自以为很厉害都听不进去别人的意见所以遇到新的问题适应能力稍微弱一些。但是呢让这些专家通过合作一起做事情的时候就非常厉害。另外一方面Boosting模型可以理解成由很多学渣来组成每一个人的能力都挺弱的而且不能够独当一面。但是呢当很多人一起合作的时候却能带来惊人的结果。
二.提升树--基于残差的训练 用残差代替收入以此类推
问题:对于回归问题,假如我们按照残差的方式学习了很多棵决策树,决策的时候怎么办? 三.XGBoost 那XGBoost如何学习呢? 最好的资源无非是Tianqi自己写的PPT链接请参考:https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf 四.XGBoost目标函数 当拿到一个样本之后分别通过每一个模型做预测最后每个模型输出之和作为最终的预测结果。我们可以把这个过程泛化到具有K棵树的情况。 最后的结果相当于所有K棵树预测之和。这里的fk(xi)代表第k棵树对第i个样本的预测值。简单来讲这里的函数f可以看作是每一棵训练好的决策树。 这里的目标函数由两个部分来构成其中一项是损失函数另外一项是控制模型的复杂度项。如果是回归问题我们可以使用最小二乘作为损失函数;如果是分类问题我们则可以使用交叉熵作为损失函数;这里的函数l(。。)表示预测值与真实值之间的差异。所以从这里也可以看出XGBoost既可以用在回归问题上也可以用在分类问题上因为框架本身是通用的。 除了损失函数我们在使用模型的时候一般也会加入控制复杂度的项也叫作正则。 回顾一下在线性回归或者逻辑回归上我们考虑过L1、L2这些常用的正则。正则的作用无非就是控制模型的复杂度从而把容易过拟合的模型不给予考虑。那这里问题是:我们该如何给XGBoost模型定义复杂度?这个问题的本质其实:一棵决策树的复杂度如何定义? 或者换个角度:一棵复杂的决策树模型有什么特点?
