网站注册页面,公共服务平台网站建设方案,wordpress图片主题下载,网站广告条效果关于文本检测OCR模型的评价指标
前言#xff1a;网上关于评价标准乱七八糟的#xff0c;有关于单词的#xff0c;有关于段落的#xff0c;似乎没见过谁解释一下常见论文中常用的评价指标具体是怎么计算的#xff0c;比如DBNet#xff0c;比如RCNN#xff0c;这似乎好像…关于文本检测OCR模型的评价指标
前言网上关于评价标准乱七八糟的有关于单词的有关于段落的似乎没见过谁解释一下常见论文中常用的评价指标具体是怎么计算的比如DBNet比如RCNN这似乎好像默认大家都知道咋算了。
好吧我不知道我刚搞懂做个笔记。 目录 关于文本检测OCR模型的评价指标识别网络检测网络举个非常好的例子计算如下检测算法指标计算整体OCR系统指标计算 识别网络
识别网络是最简单的只有一个指标就是准确率
检测正确的图像占总图像的比例 a c c u r a c y 检测正确的小图数量 数据集中所有的小图数量 accuracy \frac{检测正确的小图数量}{数据集中所有的小图数量} accuracy数据集中所有的小图数量检测正确的小图数量
这里的图像指的是“小图”如下所示 识别结果就是文本如果识别结果与标注一致即为正样本。
检测网络
检测网络就是采用的二分类的最简单的混淆矩阵 有框没框框的位置对不对都需要设定阈值进行限定 Precision T P T P F P \text { Precision }\frac{T P}{T PF P} Precision TPFPTP Recall T P T P F N \text { Recall }\frac{T P}{T PF N} Recall TPFNTP F Score ( 1 β 2 ) Precision ⋅ Recall β 2 ⋅ Precision Recall β 系数一般取 1 F_{\text {Score }}\left(1\beta^2\right) \frac{\text { Precision } \cdot \text { Recall }}{\beta^2 \cdot \text { Precision } \text { Recall }} \beta系数一般取1 FScore (1β2)β2⋅ Precision Recall Precision ⋅ Recall β系数一般取1
两者和在一起组成OCR系统以paddleOCR为例
官方指标评估代码与方法
PaddleOCR计算三个OCR检测相关的指标分别是Precision、Recall、HmeanF-Score。
PS这里Hmean与F-Score在PaddleOCR-V1中是分开的Hmean特指检测位置部分的指标F-Score特指OCR系统的指标V2V3就没区分了全部都是OCR系统的指标。
区别在于TP的计算OCR系统的指标需要真实有框的位置预测为有框且识别结果正确。
依据论文
举个非常好的例子 如上图所示
真实有框的数量为10个真实有框和预测有框对上的数量有7个TP7绿蓝但其中只有5个识别正确所以TP5红绿蓝真实没框和预测有框的数量为2个FP2纯蓝真实有框但没有预测出来的有3个FN3纯绿
计算如下
检测算法指标计算 Precision T P T P F P 7 7 2 0.7778 \text { Precision }\frac{T P}{T PF P}\frac{7}{72}0.7778 Precision TPFPTP7270.7778 Recall T P T P F N 7 7 3 0.7 \text { Recall }\frac{T P}{T PF N}\frac{7}{73}0.7 Recall TPFNTP7370.7 F Score ( 1 β 2 ) Precision ⋅ Recall β 2 ⋅ Precision Recall ( 2 ) 0.7778 ⋅ 0.7 1 ⋅ 0.7778 0.7 0.73685 F_{\text {Score }}\left(1\beta^2\right) \frac{\text { Precision } \cdot \text { Recall }}{\beta^2 \cdot \text { Precision } \text { Recall }}\left(2\right) \frac{\text { 0.7778 } \cdot \text { 0.7 }}{1 \cdot \text { 0.7778 } \text {0.7 }}0.73685 FScore (1β2)β2⋅ Precision Recall Precision ⋅ Recall (2)1⋅ 0.7778 0.7 0.7778 ⋅ 0.7 0.73685
整体OCR系统指标计算 Precision T P T P F P 5 5 2 0.714 \text { Precision }\frac{T P}{T PF P}\frac{5}{52}0.714 Precision TPFPTP5250.714 Recall T P T P F N 5 5 3 0.625 \text { Recall }\frac{T P}{T PF N}\frac{5}{53}0.625 Recall TPFNTP5350.625 F Score ( 1 β 2 ) Precision ⋅ Recall β 2 ⋅ Precision Recall ( 2 ) 0.714 ⋅ 0.625 1 ⋅ 0.714 0.625 0.66654 F_{\text {Score }}\left(1\beta^2\right) \frac{\text { Precision } \cdot \text { Recall }}{\beta^2 \cdot \text { Precision } \text { Recall }}\left(2\right) \frac{\text { 0.714 } \cdot \text { 0.625 }}{1 \cdot \text { 0.714 } \text { 0.625 }}0.66654 FScore (1β2)β2⋅ Precision Recall Precision ⋅ Recall (2)1⋅ 0.714 0.625 0.714 ⋅ 0.625 0.66654
