做电器推广的网站,简洁大方的网站模板,廊坊网站关键词排名,焦作会做网站制作的有哪家1、混淆矩阵 对以上混淆矩阵的解释#xff1a;
P#xff1a;样本数据中的正例数。
N#xff1a;样本数据中的负例数。
Y#xff1a;通过模型预测出来的正例数。
N#xff1a;通过模型预测出来的负例数。
True Positives:真阳性#xff0c;表示实际是正样本预测成正样…1、混淆矩阵 对以上混淆矩阵的解释
P样本数据中的正例数。
N样本数据中的负例数。
Y通过模型预测出来的正例数。
N通过模型预测出来的负例数。
True Positives:真阳性表示实际是正样本预测成正样本的样本数。
Falese Positives:假阳性表示实际是负样本预测成正样本的样本数。
False Negatives:假阴性表示实际是正样本预测成负样本的样本数。
True Negatives:真阴性表示实际是负样本预测成负样本的样本数。 :真阳性率(True Positive RateTPR)也叫灵敏度(Sensitivity)召回率(Recall)。即 正确的预测出的正例数占样本中正例总数的比例。真阳性率越大越好越大代表在正样本中预测为正例的越多。 :假阳性率(False Positive RateFPR)也叫误诊率。错误的预测出的正例数占样本中负例的比例。假阳性率越小越好越小代表在负样本中预测为正例的越少。 :正确率(Precision),也叫精确率 通过模型预测出来真正是正例的正例数占模型预测出来是正例数的比例越大越好。 :准确率(accuracy) ,模型预测正确的例数占总样本的比例。越大越好。
举例假设现在有60个正样本40个负样本我们通过模型找出正样本50个其中40个是真正的正样本那么上面几个指标如下 TP40 FP10 FN20 TN30
可知一个模型的TP和TN越大越好。准确率70/10070%。精确率40/5080%。召回率40/602/3。
2、ROC和AUC:
ROC(Receiver Operating Characteristic)曲线和AUC(Area Under the Curve)值常被用来评价一个二值分类器(binary classifier) 的优劣。
ROC曲线是以假阳性率FPR为横轴以真阳性率TPR为纵轴的一个曲线图像。图像中的每一点是一个分类阈值根据一些连续的分类阈值可以得到ROC的图像如下图有20个样本其中真实正例有10个用p表示负例有10个用n表示。Inst# 代表样本编号Class代表样本真实的类别Score表示利用模型得出每个测试样本属于真实样本的概率。依次将Score概率从大到小排序得到下表 从第一个样本开始直到第20个样本依次将Score当做分类阈值threshold。当预测测试样本属于正样本的概率大于或等于该threshold时我们认为该样本是正样本否则是负样本。
如拿到第一个样本该样本真实类别是p,Score0.9将0.9看成分类阈值threshold那么该样本预测是正例TPR1/10,FPR0/100拿到第二个样本该样本真实类别是p,Score0.8,将0.8作为threshold,该样本预测是正例TPR2/10,FPR0/100 … … 以此类推,当拿到第7个样本时该样本真实类别是n,Score0.53将0.53看成分类阈值threshold预测为正例但是预测错误将本该属于负例的样本预测为正例那么当阈值为0.53时共预测7个样本预测正确的样本标号为1,2,4,5,6。预测错误的样本标号为3,7。那么此时TPR5/100.5,FPR2/100.2。
按照以上方式每选择一个阈值threshold时都能得出一组TPR和FPR,即ROC图像上的一点。通过以上可以得到20组TPF和FPR可以得到ROC图像如下当threshold取值越多ROC曲线越平滑。 上图图像当样本真实类别为正例时模型预测该样本为正例那么图像向上画一步TPR方向。如果该样本真实类别是负例模型预测该样本为正例那么图像向右画一步FPR方向。
下图中如果ROC的图像是通过0,0点和1.1点的一条直线也就是①线那么当前模型的预测能力是0.5即模型在预测样本时预测对一次预测错一次会形成①曲线。如果ROC曲线是②线那么该模型预测数据的真阳性率大于假阳性率也就是模型预测对的次数多预测错的次数少模型越好。当模型的ROC曲线为③线时模型的假阳性率比真阳性率大模型预测错的次数多预测对的次数少还不如随机瞎蒙的概率0.5。综上所述ROC的曲线越是靠近纵轴越陡该模型越好。那么如何根据ROC来量化评价一个模型的好坏这就要用到AUC面积。 AUC面积是ROC曲线与横轴假阳性率FPR围成的面积,也就是曲线下方的面积。AUC面积越大越好代表模型分类效果更准确。
计算AUC的公式 其中 是属于正例的样本。M测试样本中的正例数。N测试样本中的负例数。 代表将测试样本正例和负例都有中的Score值按照正序排序找到样本属于正例的索引号累加和。
AUC1完美的分类器采用这个预测模型时不管设定什么样的阈值都能正确的预测结果。绝大多数情况下不存在这种分类器。
0.5AUC1,优于随机猜测可以调节分类阈值使AUC越靠近1模型效果越好。
AUC0.5,和随机分类一样就是随机瞎蒙模型没有预测价值。
AUC0.5,比随机分类还差大多数情况下成功避开了正确的结果。
AUC这种评估方式较计算准确率的评估方式更好。假设有两个模型M1与M2,两个模型的准确率都是80%假设默认阈值0.5时M1模型预测正例的概率多数位于0.51左右但不小于0.5。M2模型预测正例的概率多数位于0.9附近那么同样是80%的正确率下M2模型将结果预测的更彻底反映到AUC面积中M2中预测正例的概率多数位于0.9左右,对应的 比较大相应的AUC值比较大而M1的AUC相对较小。所以AUC这种评估模型的方式更能说明模型好有多好能更好的计算模型的纯度。
