三只松鼠网站建设,免费网站的软件,wordpress follow,iis7 添加网站相关文章
地理时空动态模拟工具介绍#xff08;上#xff09; 地理时空动态模拟工具介绍#xff08;下#xff09;地理时空动态模拟工具的使用方法
前言
混淆矩阵#xff08;Confusion Matrix#xff09;是机器学习领域中用于评估分类模型性能的一种工具。它通过矩阵的…相关文章
地理时空动态模拟工具介绍上 地理时空动态模拟工具介绍下地理时空动态模拟工具的使用方法
前言
混淆矩阵Confusion Matrix是机器学习领域中用于评估分类模型性能的一种工具。它通过矩阵的形式将模型的预测结果与实际分类进行比较从而可以直观地展示分类模型的性能及精度。通常混淆矩阵用于二分类问题例如是否患有某种疾病但是在GIS的分类模型中多分类问题更为常见例如多种土地利用类型。
01 混淆矩阵的类别介绍 二分类混淆矩阵
对于二分类问题混淆矩阵包含四个主要部分
1. True Positive (TP)模型正确预测为正类的实例数量。真阳性
2. False Positive (FP)模型错误预测为正类实际上是负类的实例数量。假阳性
3. False Negative (FN)模型错误预测为负类实际上是正类的实例数量。假阴性
4. True Negative (TN)模型正确预测为负类的实例数量。真阴性
二分类混淆矩阵的结构如下 实际正类 实际负类 预测正类 TP FP 预测负类 FN TN 多分类混淆矩阵
多分类混淆矩阵的每行代表预测类别每列代表实际类别对角线上的值表示正确分类的数量非对角线上的值表示错误分类的数量。
例如对于一个有3个类别A、B、C的多分类问题混淆矩阵的结构如下 实际为A 实际为B 实际为C 预测为A a11 a12 a13 预测为B a21 a22 a23 预测为C a31 a32 a33
其中a11、a22、a33为正确的分类。类别还可以更多。同样多分类矩阵将非对角线上的值进行合并也可得到二分类中的TP、FP、TN、FN等相关值。
02 混淆矩阵的扩展 通过混淆矩阵我们可以计算出多种评估指标例如
• 准确率Accuracy(TP TN) / (TP TN FP FN)
• 精确率PrecisionTP / (TP FP)
• 召回率RecallTP / (TP FN)
• F1分数F1-Score2 * (Precision * Recall) / (Precision Recall)
这些指标可以帮助我们更加全面评估模型的性能更常用于深度学习等方法中。
03 如何读懂GeoScene Pro中的混淆矩阵 Pro中的混淆矩阵除有分类之外还会包含U_Accuracy、P_Accuracy以及kappa系数等信息。以下表为例。 实际 预测 C_1 C_2 C_3 总计 U_Accuracy kappa C_1 49 4 4 57 0.8594 0 C_2 2 40 2 44 0.9091 0 C_3 3 3 59 65 0.9077 0 总计 54 47 65 166 0 0 P_Accuracy 0.9074 0.8511 0.9077 0 0.8916 0 kappa 0 0 0 0 0 0.8357
矩阵中共有3类样本。对角线上预测全部正确的共有494059个样本总数量为166其交并比IoU为148/1660.8916。
U_Accuracy字段叫做用户精度也叫错分误差表示预测中其他类被错分为成指定类。以第一行为例 49个1类判断正确4个实际为2类以及4个实际为3类的样本被错误判断为1类1类的U_Accuracy为49/57。
P_Accuracy字段叫做制作者精度也叫漏分误差表示预测中指定类错报成其他类。以第一列为例其中49个1类判断正确2个实际为1类的样本错报成2类3个实际为1类的样本错报成3类1类的P_Accuracy为54/57。
表中的0.8916为整体精度。
kappa系数为0.8357它是混淆矩阵的核心用于整体评估分类的精度。
其公式如下 是每一类正确分类的样本数量之和除以总样本数,即上文中提及的交并比0.8916。 的计算公式如下 各类实际样本数量为 ,预测样本数量为 总样本数量为n,类别总数为C。
的实际计算方法为 在带入Kappa公式 在分类模型精度评估中Kappa指数如果大于0.75就可以认为该模型整体精度比较高预测结果可信。
04 如何在GeoScene Pro软件中计算混淆矩阵 上一节中我们已经了解到混淆矩阵主要用在分类问题中用于对比预测和实际类型从而计算分类结果的精度。在Pro中共计三步来完成混淆矩阵的计算。
第一步使用创建精度评估点工具构建随机点。
创建精度评估点工具可以创建随机采样点用于分类后精度评估同时还可以将预测数据或实际数据的分类结果提取至采样点中。 创建精度评估点工具
该工具中的“输入栅格数据或要素类数据”可以是预测或实际类型数据本需要注意必须与“目标字段”参数对应。
第二步使用更新精度评估点工具补充随机点属性。
更新精度评估点工具可以选择实际或预测类型数据也必须与“目标字段”参数对应。 更新精度评估点工具 上述两步运行完成后打开精度评估点的属性表包含Classfied字段预测分类属性GrndTruth字段实际分类属性。 精度评估表的属性表
第三步使用计算混淆矩阵工具计算结果。 计算混淆矩阵工具
即可得到混淆矩阵。 混淆矩阵表
为简化上述步骤还可以将上述工具制作成模型构建器。 混淆矩阵模型构建器
进一步还可以将模型构建器进行封装制作成地理处理工具。 混淆矩阵综合工具
