网站建设菜单栏设计,有哪些网站可以做毕业设计,公众号开发合同模板,利用网站做淘宝客目录 决策树ID3C4.5CART 支持向量积 决策树
训练#xff1a;构造树#xff0c;测试#xff1a;从模型从上往下走一遍。建树方法#xff1a;ID3#xff0c;C4.5#xff0c;CART
ID3
以信息论为基础#xff0c;以信息增益为衡量标准熵越小#xff0c;混乱程度越小构造树测试从模型从上往下走一遍。建树方法ID3C4.5CART
ID3
以信息论为基础以信息增益为衡量标准熵越小混乱程度越小不确定性越小信息熵 H ( D ) − ∑ i 1 n P ( D i ) log 2 P ( D i ) H(D) -\sum_{i1}^{n} P(D_i) \log_{2} P(D_i) H(D)−i1∑nP(Di)log2P(Di)条件熵 H ( D ∣ A ) − ∑ i 1 n ∣ D i ∣ ∣ D ∣ log 2 ( ∣ D i ∣ ∣ D ∣ ) H(D|A) -\sum_{i1}^{n} \frac{|D_i|}{|D|} \log_{2} \left(\frac{|D_i|}{|D|}\right) H(D∣A)−i1∑n∣D∣∣Di∣log2(∣D∣∣Di∣)信息增益 G ( D , A ) H ( D ) − H ( D ∣ A ) G(D,A) H(D) - H(D|A) G(D,A)H(D)−H(D∣A)步骤 求特征对最后结果的信息熵条件熵和最后的信息增益选择信息增益最大的作为当前决策节点删除上一步使用的特征用特征值划分不同的数据集合重复2,3步
C4.5
ID3算法的改进利用信息增益率 G R ( D , A ) G ( D , A ) H ( D ) G_R(D,A) \frac{G(D,A)}{H(D)} GR(D,A)H(D)G(D,A)预剪枝边建树边剪枝限制深度、叶子节点个数、叶子结点样本数、信息增益率后剪枝建完树剪枝。用叶子节点替换非叶子节点然后判断错误率是保持还是下降
CART
分类树利用基尼指数来进行分类分类树最后叶子节点众数作为结果。回归树利用方差来进行分类利用特征划分成子集后各自自己方差要最小总体方差和也要最小。回归树用最后的均值或中位数作为结果。
支持向量积
解决问题什么样的分类结果最好监督学习、分类算法距离定义决策面优化目标拉格朗日乘子法软间隔核变换
