网站空间一年多少钱,08r2 搭建php网站,注册公司流程时间,阿里云免费域名#x1f680;个人主页#xff1a;为梦而生~ 关注我一起学习吧#xff01; #x1f4a1;专栏#xff1a;机器学习 欢迎订阅#xff01;后面的内容会越来越有意思~ #x1f4a1;往期推荐#xff1a; 【机器学习基础】机器学习入门#xff08;1#xff09; 【机器学习基… 个人主页为梦而生~ 关注我一起学习吧 专栏机器学习 欢迎订阅后面的内容会越来越有意思~ 往期推荐 【机器学习基础】机器学习入门1 【机器学习基础】机器学习入门2 【机器学习基础】机器学习的基本术语 本期内容上一篇文章介绍了机器学习的基本术语离完成学习又近了一步这篇文章在正式开始算法模型的介绍之前先说一下机器学习的模型评估主要包括研究问题、相关文献综述、主要理论公式和案例解释。快来学习吧 文章目录 1 引言2 相关文献综述3 模型评估主要理论、评估方法及性能度量3.1 模型评估的引出及思考3.2 学习器真的如我们想要的一样吗3.3 评估方法3.3.1 留出法(Holdout Method)3.3.2 交叉验证法 (Cross-Validation Method)3.3.3 自助法 (Bootstrap Method) 3.4 性能度量3.4.1查准率、查全率与F13.4.2 P-R曲线3.4.3 ROC与AUC3.4.4 代价敏感错误率与代价矩阵 1 引言
机器学习模型评估是机器学习领域中的一个重要研究方向其研究背景在于随着大数据时代的到来人们面临着越来越多的数据分析和处理任务而机器学习作为一种高效的数据处理技术在很多领域都得到了广泛应用。然而机器学习模型的效果评估是机器学习应用过程中一个非常关键的问题因此机器学习模型评估的研究具有非常重要的意义。 研究问题
机器学习模型评估的研究问题主要包括如何选择合适的评估指标、如何确定评估的实验设计、如何利用评估结果对模型进行优化等。此外由于机器学习模型的复杂性和多样性评估方法的选择和设计也是需要解决的重要问题。
研究意义
机器学习模型评估的研究意义在于
提高模型的预测精度和泛化能力帮助我们更好地理解模型的内部机制和性能为模型优化和改进提供依据应用于实际问题的解决提高生产力和效率。 2 相关文献综述
机器学习模型评估概述
机器学习模型评估是对模型性能进行量化和优化的过程。评估不仅涉及对模型在训练集上的性能考察还包括在测试集上的表现评估。训练集用于训练模型测试集则用于验证模型在新数据上的泛化能力。此外为了充分了解模型的性能还常常采用交叉验证等技术进行评估。
模型评估的性能度量指标
性能度量指标是评估机器学习模型性能的关键工具。常用的性能度量指标包括准确率、精确率、召回率、F1分数、ROC AUC面积等。这些指标可用于二分类、多分类和回归等不同类型的机器学习问题。 准确率表示预测正确的样本数占总样本数的比例精确率和召回率则分别表示预测为正且确实为正的样本数以及预测为负且确实为负的样本数所占的比例。 F1分数是精确率和召回率的调和平均数用于综合考虑二者的性能。 ROC、AUC面积则是一种常用的分类性能指标它表示在所有可能的分类阈值下模型的ROC曲线与yx线之间的面积。 主要模型评估方法
主要的模型评估方法包括内部评估和外部评估。 内部评估主要基于训练集和测试集进行如准确率、精确率、召回率和F1分数等。 外部评估则通过比较模型与其他基准模型的性能来进行评估如ROC AUC面积和交叉验证等。此外为了充分了解模型的性能还常常采用交叉验证等技术进行评估。
现有研究不足与问题
尽管已经有很多关于机器学习模型评估的研究但仍存在一些不足和问题。首先不同的评估指标可能导致评估结果的差异和误解因此需要谨慎选择合适的指标。其次由于数据的复杂性和模型的多样性现有评估方法可能无法全面反映模型的性能因此需要开发更加鲁棒和泛化的评估方法。 此外现有研究还缺乏对不同模型评估方法的比较和分析因此需要进行更加深入的研究以找出最佳的评估策略。 3 模型评估主要理论、评估方法及性能度量
3.1 模型评估的引出及思考
精度与错误率
我们通常将分类错误的样本数占总样本数的比例称为“错误率”也即当在m个样本中有α个样本分类错误时错误率E等于α除以m。相应地1减去错误率就是精度也即“精度1-错误率”。更一般地我们将学习器的实际预测输出与样本的真实输出之间的差异称为“误差”。
训练误差和泛化误差——我要得到什么
我们还可以将学习器在训练集上的误差称为“训练误差”或“经验误差”在新样本上的误差称为“泛化误差”。显然我们希望得到泛化误差小的学习器。然而由于我们事先并不知道新样本是什么样的所以实际上我们只能尽力使经验误差最小化。
精度越大越好
在很多情况下我们可以学习到经验误差很小、在训练集上表现很好的学习器。 例如甚至可以对所有训练样本都分类正确也即分类错误率为零分类精度为100%。然而这样的学习器是否是我们想要的呢遗憾的是这样的学习器在多数情况下都不理想。
3.2 学习器真的如我们想要的一样吗 我们实际希望的是在新样本上能表现得很好的学习器。为了实现这一目标我们应该从训练样本中学习出适用于所有潜在样本的普遍规律以便在遇到新样本时能够做出正确的判断。 过拟合与欠拟合
然而当学习器过于适应训练样本时它可能会将训练样本自身的某些特点视为所有潜在样本都具有的一般性质从而导致泛化性能下降。这种现象在机器学习中称为“过拟合”。与之相对的是“欠拟合”这意味着学习器尚未完全掌握训练样本的一般性质。 如果出现过拟合与欠拟合需要使用正则化等方法来进行挽救具体方法后面会讲到。
然而必须认识到过拟合是无法彻底避免的我们所能做的只是缓解或者说减小其风险。关于这一点可大致这样理解机器学习面临的问题通常是 NP 难甚至更难而有效的学习算法必然是在多项式时间内运行完 若可彻底避免过拟合 则通过经验误差最小化就能获最优解这就意味着我们构造性地证明了“PNP” 因此只要相信 P≠NP”过拟合就不可避免。
如何选择
在现实任务中我们往往有多种学习算法供选择甚至对同一个学习算法当使用不同的参数配置 ?也会产生不同的模型那么我们该选用哪个学习算法、使用哪种参数配置呢这就是机器学习中的模型选择 (model selection) 问题。 理想的解决方案当然是对候选模型的泛化误差进行评估然后选择泛化误差最小的那个模型。 然而如上面所讨论的我们无法直接获得泛化误差而训练误差又由于过拟合现象的存在而不适合作为标准那么在现实中如何进行模型评估与选择呢?
3.3 评估方法 测试样本为什么要尽可能不出现在训练集中呢? 为理解这一点不妨考虑这样一个场景:老师出了10道习题供同学们练习,考试时老师又用同样的这10道题作为试题,这个考试成绩能否有效反映出同学们学得好不好呢?答案是否定的,可能有的同学只会做这10道题却能得高分。 希望得到泛化性能强的模型,好比是希望同学们对课程学得很好、获得了对所学知识“举一反三”的能力;训练样本相当于给同学们练习的习题,测试过程则相当于考试.显然,若测试样本被用作训练了,则得到的将是过于“乐观”的估计结果.
3.3.1 留出法(Holdout Method)
‘留出法’ 直接将数据集D划分为两个互斥的集合其中一个集合作为训练集S另一个作为测试集T即DS∪TS∩T≠∅. 在S上训练出模型后用T来评估其测试误差作为泛化误差的估计需要注意的是训练/测试集的划分要尽可能保持数据分布的一致性避免因数据划分过程引入额外的偏差而对最终结果产生影响在分类任务中要保持样本类别比例相似取样通常采用的是【分层抽样】 主要步骤
将原始数据集分成两个部分训练集和测试集。通常训练集用于训练模型测试集用于评估模型。使用训练集训练模型。使用测试集评估模型计算模型的各项性能指标如准确率、精确率、召回率等。根据测试集的评估结果对模型进行调整和优化。重复步骤b-d直到模型性能达到满意的水平。
3.3.2 交叉验证法 (Cross-Validation Method) Cross Validation简言之就是进行多次train_test_split划分 每次划分时在不同的数据集上进行训练、测试评估从而得出一个评价结果如果是5折交叉验证意思就是在原始数据集上进行5次划分每次划分进行一次训练、评估最后得到5次划分后的评估结果一般在这几次评估结果上取平均得到最后的评分。k-fold cross-validation 其中k一般取5或10。 交叉验证的优点 原始采用的train_test_split方法数据划分具有偶然性交叉验证通过多次划分大大降低了这种由一次随机划分带来的偶然性同时通过多次划分多次训练模型也能遇到各种各样的数据从而提高其泛化能力 与原始的train_test_split相比对数据的使用效率更高。train_test_split默认训练集、测试集比例为3:1而对交叉验证来说如果是5折交叉验证训练集比测试集为4:110折交叉验证训练集比测试集为9:1。数据量越大模型准确率越高 交叉验证法的主要步骤
将原始数据集分成k个部分其中k-1个部分作为训练集剩余的部分作为测试集。使用k-1个部分训练模型。使用剩余的部分测试模型计算模型的各项性能指标。重复步骤b-c直到每个部分都被用作测试集一次。对所有的测试结果进行平均得到模型的最终性能指标。根据最终性能指标对模型进行调整和优化。重复步骤b-f直到模型性能达到满意的水平。
3.3.3 自助法 (Bootstrap Method) 自助法是一种常用的模型评估方法它通过从原始数据集中有放回地随机抽取样本来构建新数据集进行训练和测试。由于每次抽样可能会产生重复的样本因此新数据集的大小与原始数据集相同但是其中大约有36.8%的样本没有出现在新数据集中。这些没有出现在新数据集中的样本被用作测试集而出现在新数据集中的样本则被用作训练集。 自助法的优点是能够从有限的数据集中产生多个不同的训练集和测试集从而更好地评估模型的性能。但是由于每次抽样都会产生不同的数据集因此自助法会引入额外的随机性使得模型评估的结果更加不稳定。 自助法的步骤
从原始数据集中随机选择n个样本构成一个新的数据集。使用新的数据集训练模型。使用原始数据集测试模型计算模型的各项性能指标。重复步骤a-c多次如1000次得到每个性能指标的平均值和标准偏差。根据平均值和标准偏差对模型进行调整和优化。重复步骤a-e直到模型性能达到满意的水平。
3.4 性能度量 对学习器的泛化性能进行评估不仅需要有效可行的实验估计方法,还需要有衡量模型泛化能力的评价标准,这就是性能度量(performance measure). 常用的性能度量包括准确度、灵敏度、特异性、精确度、召回率、F度量和G均值等。不同的性能度量会导致不同的评估结果。其中准确度是指分类正确的样本数占总样本数的比例灵敏度是指真实为正例的样本中被正确预测为正例的比例特异性是指真实为负例的样本中被正确预测为负例的比例精确度是指被正确预测为正例的样本数占所有预测为正例的样本数的比例召回率是指真实为正例的样本中被正确预测为正例的比例F度量是精确度和召回率的加权调和平均数G均值是灵敏度和特异性的乘积的平方根。
3.4.1查准率、查全率与F1
查准率Precision是指预测结果中真正例True PositiveTP占所有预测结果中正例PositiveTPFP的比例。公式为Precision TP / (TP FP)。查准率越高说明模型预测结果中真正例的比例越高模型对于正样本的识别能力越强。查全率Recall是指预测结果中真正例True PositiveTP占所有实际正例PositiveTPFN的比例。公式为Recall TP / (TP FN)。查全率越高说明模型能够成功预测出的正样本比例越高模型的识别能力越全面。F1值是查准率和查全率的调和均值用于综合评价模型的性能。公式为F1 2 * (Precision * Recall) / (Precision Recall)。F1值越高说明模型在准确性和可靠性方面的表现都较好。 3.4.2 P-R曲线 查准率和查全率是一对矛盾的度量.一般来说查准率高时查全率往往偏低;而查全率高时,查准率往往偏低。 在很多情形下,我们可根据学习器的预测结果对样例进行排序,排在前面的是学习器认为“最可能”是正例的样本,排在最后的则是学习器认为“最不可能”是正例的样本。 按此顺序逐个把样本作为正例进行预测,则每次可以计算出当前的查全率、查准率。 以查准率为纵轴、查全率为横轴作图,就得到了查准率-查全率曲线,简称“P-R曲线”显示该曲线的图称为“P-R图”.
3.4.3 ROC与AUC ROCReceiver Operating Characteristic曲线和AUCArea Under Curve常被用来评价一个二值分类器binary classifier的优劣。ROC曲线也称为受试者工作特征曲线receiver operating characteristic curve简称ROC曲线又称为感受性曲线sensitivity curve。 ROC曲线它通过将真正例率True Positive RateTPR和假正例率False Positive RateFPR作为横纵坐标来描绘分类器在不同阈值下的性能。
与P-R曲线相似根据学习器的预测结果对样例进行排序按此顺序逐个把样本作为正例进行预测每次计算出两个重要量的值分别以它们为横、纵坐标作图就得到了ROC曲线与P-R曲线使用查准率、查全率为纵、横轴不同ROC曲线的纵轴是真正例率TPR横轴是假正例率FPR AUCAUC是ROC曲线下的面积常用于评估模型在二分类问题中的性能。 进行学习器的比较时与P-R 图相似若一个学习器的 ROC 曲线被另个学习器的曲线完全“包住”则可断言后者的性能优于前者; 若两个学习器的 ROC 曲线发生交叉则难以一般性地断言两者孰优敦劣.此时如果一定要进行比较.则较为合理的判据是比较 ROC 曲线下的面积即AUC(Area Under ROC Curve) 3.4.4 代价敏感错误率与代价矩阵
在现实任务中常会遇到这样的情况: 不同类型的错误所造成的后果不同。例如在医疗诊断中,错误地把患者诊断为健康人与错误地把健康人诊断为患者看起来都是犯了“一次错误”,但后者的影响是增加了进一步检查的麻烦,前者的后果却可能是丧失了拯救生命的最佳时机:再如门禁系统错误地把可通行人员拦在门外将使得用户体验不佳,但错误地把陌生人放进门内则会造成严重的安全事故.为权衡不同类型错误所造成的不同损失可为错误赋予“非均等代价”(unequal cost)。 costij表示将第i类样本预测为第j类样本的代价。 假设将第0类作为正类第1类作为反类令D为正例集D-为负例集。“代价敏感”cost-sensitive错误率为 代价曲线画法
设ROC曲线上点的坐标为FPR,TPR则可计算出相应的FNR1-TPR在代价平面上绘制一条从0, FPR到1, FNR的线段线段下的面积即表示了该条件下的期望总体代价如此将ROC曲线上的每个点转化为代价平面上的一条线段然后去所有线段的下界围成的面积即为在所有条件下学习期的总体代价。
注部分内容与图片来自《机器学习》——周志华
