郓城建设局网站,优化网站的步骤案列,国内优秀设计网站推荐,wordpress id清空目录
1.经验熵
2.经验条件熵
3.信息增益
4.增益比率
5.例子1
6.例子2 在决策树模型中#xff0c;我们会考虑应该选择哪一个特征作为根节点最好#xff0c;这里就用到了信息增益 通俗上讲#xff0c;信息增益就是在做出判断时#xff0c;该信息对你影响程度的大小。比…目录
1.经验熵
2.经验条件熵
3.信息增益
4.增益比率
5.例子1
6.例子2 在决策树模型中我们会考虑应该选择哪一个特征作为根节点最好这里就用到了信息增益 通俗上讲信息增益就是在做出判断时该信息对你影响程度的大小。比如你今天考虑要不要去郊游你会考虑天气距离心情是否空闲等等因素非常纠结但是如果信息中的天气显示今天暴雨那大概率就不郊游了那这个因素的信息增益就很强。 1.经验熵 Info(D)-Σi1...n(pilog2pi) 比如我们将一个立方体A抛向空中记落地时着地的面为f1f1的取值为{1,2,3,4,5,6}f1的熵entropy(f1)-(1/6*log(1/6)...1/6*log(1/6))-1*log(1/6)2.58 信息熵描述随机变量的不确定性。信息熵越小信息的纯度越高信息量就越少。信息熵越大信息的纯度越小信息量就越多。 2.经验条件熵 在某一条件下随机变量的不确定性。假设我们选择属性R作为分裂属性数据集D中R有k个不同的取值{V1,V2,...,Vk}于是可将D根据R的值分成k组{D1,D2,...,Dk}按R进行分裂后将数据集D不同的类分开还需要的信息量为 InfoR(D)Σi1...k(Di/D)Info(Di)
3.信息增益 在某一条件下随机变量不确定性减少的程度。换句话说信息增益代表了在一个条件下信息复杂度不确定性减少的程度。那么我们现在也很好理解了在决策树算法中我们的关键就是每次选择一个特征特征有多个那么到底按照什么标准来选择哪一个特征。这个问题就可以用信息增益来度量。如果选择一个特征后信息增益最大信息不确定性减少的程度最大那么我们就选取这个特征。
分裂前后两个信息量只差 Gain(R)Info(D)-InfoR(D)
4.增益比率 信息增益选择方法有一个很大的缺陷它总是会倾向于选择属性值多的属性如果我们在上面的数据记录中加一个姓名属性假设14条记录中的每个人姓名不同那么信息增益就会选择姓名作为最佳属性因为按姓名分裂后每个组只包含一条记录而每个记录只属于一类要么购买电脑要么不购买信息量计算为1/14(-1/1log1/1-0/1log0/1)*140信息增益最大因此纯度最高以姓名作为测试分裂的结点下面有14个分支。但是这样的分类没有意义它没有任何泛化能力。增益比率对此进行了改进它引入一个分裂信息 SplitInfoR(D)-Σi1...n(Di/D)log2(Di/D) 增益比率定义为信息增益与分裂信息的比率 GainRatio(R)Gain(R)/SplitInfoR(D) 我们找GainRatio最大的属性作为最佳分裂属性。如果一个属性的取值很多那么SplitInfoR(D)会大从而使GainRatio(R)变小。 不过增益比率也有缺点SplitInfo(D)可能取0此时没有计算意义且当SplitInfo(D)趋向于0时GainRatio(R)的值变得不可信改进的措施就是在分母加一个平滑这里加一个所有分裂信息的平均值 GainRatio(R)Gain(R)/(SplitInfo(D)SplitInfoR(D))
5.例子1 对于上述信息可以求得随机变量X嫁与不嫁的信息熵为 嫁的个数为6个占1/2那么信息熵为-1/2log1/2-1/2log1/2 -log1/20.301 现在假如我知道了一个男生的身高信息。 身高有三个可能的取值{矮中高}
矮包括{1,2,3,5,6,11,12}嫁的个数为1个不嫁的个数为6个 中包括{8,9} 嫁的个数为2个不嫁的个数为0个 高包括{4,7,10}嫁的个数为3个不嫁的个数为0个
先回忆一下条件熵的公式如下 我们先求出公式对应的:
H(Y|X 矮) -1/7log1/7-6/7log6/70.178 H(Y|X中) -1log1-0 0 H(Y|X高 -1log1-00 p(X 矮) 7/12,p(X 中) 2/12,p(X高) 3/12
则可以得出条件熵为7/120.1782/1203/12*0 0.103
那么我们知道信息熵与条件熵相减就是我们的信息增益为0.301-0.1030.198
所以我们可以得出我们在知道了身高这个信息之后信息增益是0.198 我们可以知道本来如果我对一个男生什么都不知道的话作为他的女朋友决定是否嫁给他的不确定性有0.301这么大。 当我们知道男朋友的身高信息后不确定度减少了0.198.也就是说身高这个特征对于我们广大女生同学来说决定嫁不嫁给自己的男朋友是很重要的。 至少我们知道了身高特征后我们原来没有底的心里0.301已经明朗一半多了减少0.198了大于原来的一半了。 那么这就类似于非诚勿扰节目里面的桥段了请问女嘉宾你只能知道男生的一个特征。请问你想知道哪个特征。 假如其它特征我也全算了信息增益是身高这个特征最大。那么我就可以说我想知道男嘉宾的一个特征是身高特征。因为它在这些特征中信息增益是最大的知道了这个特征嫁与不嫁的不确定度减少的是最多的。 来源信息增益到底怎么理解呢_南湖渔歌的博客-CSDN博客
6.例子2
记录ID年龄收入层次学生信用等级是否购买电脑1青少年高否一般否2青少年高否良好否3中年高否一般是4老年中否一般是5老年低是一般是6老年低是良好否7中年低是良好是8青少年中否一般否9青少年低是一般是10老年中是一般是11青少年中是良好是12中年中否良好是13中年高是一般是14老年中否良好否
1计算Info(D) Info(D)-Σi1...n(pilogpi)-(5/14)log(5/14)-(9/14)log(9/14)-0.3571*(-1.4856)-0.6429*(-0.6373)0.15970.12340.53050.40970.9402
2计算InfoR(D) Info年龄(D)(5/14)Info(D老年)(4/14)Info(D中年)(5/14)Info(D青少年)(5/14)(-(3/5)log(3/5)-(2/5)log(2/5))(4/14)(-(4/4)log(4/4)-(0/4)log(0/4))(5/14)(-(2/5)log(2/5)-(3/5)log(3/5)) (5/14)(0.6*0.7370.4*1.3219)(4/14)(00)(5/14)(0.4*1.32190.6*0.737) (5/14)(0.44220.52876)0(5/14)(0.528760.4422) 0.3571*0.9709600.3571*0.97096 0.694 同样可以计算出 Info收入层次(D)0.911 Info学生(D)0.789 Info信用等级(D)0.892
3计算信息增益 Gain(年龄)Info(D)-Info年龄(D)0.940-0.6940.246 Gain(收入层次)Info(D)-Info收入层次(D)0.940-0.9110.029 Gain(学生)Info(D)-Info学生(D)0.940-0.7890.151 Gain(信用等级)Info(D)-Info信用等级(D)0.940-0.8920.058
4计算分裂信息 SplitInfo年龄(D)-5/14log(5/14)-4/14log(4/14)-5/14log(5/14)0.3571*1.48560.2857*1.80740.3571*1.48560.53050.51640.53051.5774 SplitInfo收入层次(D)-4/14log(4/14)-6/14log(6/14)-4/14log(4/14)0.2857*1.80740.4286*1.22230.2857*1.80740.51640.51390.51641.5467 SplitInfo学生(D)-7/14log7/14-7/14log7/141 SplitInfo信用等级(D)-6/14log(6/14)-8/14log(8/14)0.4286*1.22230.5714*0.80740.52390.46130.9852 SplitInfo(D)(SplitInfo年龄(D)SplitInfo收入层次(D)SplitInfo学生(D)SplitInfo信用等级(D))/41.2773
5计算增益比率 GainRatio(年龄)Gain(年龄)/(SplitInfo(D)SplitInfo年龄(D))0.246/(1.27731.5774)0.0862 GainRatio(收入层次)Gain(收入层次)/(SplitInfo(D)SplitInfo收入层次(D))0.029/(1.27731.5467)0.0103 GainRatio(学生)Gain(学生)/(SplitInfo(D)SplitInfo学生(D))0.151/(1.27731)0.0663 GainRatio(信用等级)Gain(信用等级)/(SplitInfo(D)SplitInfo信用等级(D))0.058/(1.27730.9852)0.0256
