众筹网站建设报价,做外汇门户网站,遵义网站开发,公司网站建设需要什么资质2.1 经验误差与过拟合
错误率#xff08;error rate#xff09;#xff1a; 分类错误的样本数占样本总数的比例
精度#xff08;accuracy#xff09;#xff1a;1- 错误率
训练误差 / 经验误差#xff1a;在训练集上的误差
泛化误差#xff1a;在新样本上的误差
过…2.1 经验误差与过拟合
错误率error rate 分类错误的样本数占样本总数的比例
精度accuracy1- 错误率
训练误差 / 经验误差在训练集上的误差
泛化误差在新样本上的误差
过拟合
欠拟合
2.2 评估方法
测试集测试学习器对新样本的判别能力以测试集上的“测试误差”作为泛化误差的近似
对数据集进行适当的处理拆分成训练集和测试集常用的处理方法
2.2.1 留出法
直接将数据集划分为两个互斥的集合
2.2.2 交叉验证法
将数据集划分为k个大小相似的互斥子集。每次用k-1个子集的并集作为训练集余下的子集作为测试集合得到k组训练/测试集从而进行k次训练和测试最终返回这k个测试结果的均值。 2.2.4 调参与最终模型
2.3 性能度量
性能度量衡量模型泛化能力的评价标准
2.3.1 错误率与精度
分类任务中最常用的两种性能度量错误率精度
错误率分类错误的样本数占样本总数的比例
精度分类正确的样本数占样本总数的比例 2.3.2 查准率查全率与F1
“查准率” 精确率 precision “查全率”召回率 recall
对于二分类问题可以将样例根据其真实类别与学习器预测类别的组合划分为
真正例true positive正例里面被预测为正例假正例false positive反例里面被预测为正例真反例true negative反例里面被预测为反例假反例false negative正例里面被预测为反例
令 TPFPTNFN 分别表示其对应的样例数则有 精确率与召回率 的定义如下 “平衡点”Break-Event Point精确率 召回率时的取值
但是 BEP 过于简化更常用的是F1度量 2.3.3 ROC 与 AUC
与P-R曲线类似我们根据学习器的预测结果对样例进行排序按此顺序逐个把样本作为正例进行预测每次计算出两个重要量的值分别作为横、纵坐标做图。
ROC曲线的的横轴为假正例率 FP
ROC曲线的的纵轴为真正例率 TP 2.3.4 代价敏感错误率与代价曲线
代价敏感错误率 不同类型的错误所造成的后果或者代价是不同的代价敏感错误率是基于非均等代价的。二分类代价矩阵costij表示将第i类样本预测为第j类样本的代价。一般说来costii0若将第0类判别为第1类所造成的损失更大则cost01 cost10在非均等错误代价下我们希望的是最小化“总体代价”这样“代价敏感”的错误率为 2.4 比较检验
使用某种实验评估方法测得学习器的某个性能度量结果然后对这些结果进行比较。
是直接取得性能度量的值比“大小”吗
实际上比较复杂涉及到几个重要因素
希望比较的是泛化能力。然而获得的是测试集上的性能测试集也是样本可能包括的不全测试集上的性能与测试集本身的选择有很大关系且不论使用不同大小的测试集会得到不同的结果即使使用相同大小的测试集若包含的测试样例不同测试结果也会有不同机器学习算法本身具有一定的随机性即便使用相同的参数设置在同一个测试集上多次运行其结果也会有不同。
