网站开发电商项目的成本管理怎么写,徐州在线制作网站,通付盾 网站建设,自己如何做公司网站可以分为三部分学习树模型: 基本树(包括 ID3、C4.5、CART).Random Forest、Adaboost、GBDTXgboost 和 LightGBM。基本树
选择特征的准则
ID3:信息增益max
C4.5:信息增益比max
CART:基尼指数min
优缺点
ID3
核心思想是奥卡姆剃刀(决策树小优于大)
缺点: ID3 没…可以分为三部分学习树模型:
基本树(包括 ID3、C4.5、CART).Random Forest、Adaboost、GBDTXgboost 和 LightGBM。基本树
选择特征的准则
ID3:信息增益max
C4.5:信息增益比max
CART:基尼指数min
优缺点
ID3
核心思想是奥卡姆剃刀(决策树小优于大)
缺点:
ID3 没有剪枝策略,容易过拟合;信息增益准则对可取值数目较多的特征有所偏好,类似“编号”的特征其信息增益接近于 1;只能用于处理离散分布的特征;没有考虑缺失值。C4.5
有剪枝策略。最大的特点是克服了 ID3 对特征数目的偏重这一缺点,引入信息增益率来作为分类标准。
缺点:
C4.5 只能用于分类;C4.5 使用的熵模型拥有大量耗时的对数运算,连续值还有排序运算;C4.5 在构造树的过程中,对数值属性值需要按照其大小进行排序,从中选择一个分割点,所以只适合于能够驻留于内存的数据集,当训练集大得无法在内存容纳时,程序无法运行。CART
ID3 和 C4.5 虽然在对训练样本集的学习中可以尽可能多地挖掘信息,但是其生成的决策树分支、规模都比较大,CART 算法的二分法可以简化决策树的规模,提高生成决策树的效率。
集成学习/决策树
常见的集成学习框架有三种