网站已备案下一步怎么做,化妆品网站设计思路,免费自己建网页,网络销售促进的方式一、OCR技术流程
在介绍OCR数据集开始#xff0c;我将带领大家和回顾下OCR技术流程#xff0c;典型的OCR技术pipline如下图所示#xff0c;其中#xff0c;文本检测和识别是OCR技术的两个重要核心技术。 1.1 图像预处理#xff1a;
图像预处理是OCR流程的第一步#xf…一、OCR技术流程
在介绍OCR数据集开始我将带领大家和回顾下OCR技术流程典型的OCR技术pipline如下图所示其中文本检测和识别是OCR技术的两个重要核心技术。 1.1 图像预处理
图像预处理是OCR流程的第一步用于提高字符识别的准确性。常见的预处理操作包括灰度化、二值化和去噪。此外针对不规则文本识别在预处理阶段可以先进行校正操作再进行识别。
1.2 文字检测
文本检测的任务是定位出输入图像中的文字区域。 1.3 文字识别
文本识别的任务是识别出图像中的文字内容。 文本识别一般输入来自于文本检测得到的文本框截取出的图像文字区域。文本识别一般可以根据待识别文本形状分为规则文本识别和不规则文本识别两大类。不规则文本场景具有很大的挑战性也是目前文本识别领域的主要研究方向。 规则文本主要指印刷字体、扫描文本等文本大致处在水平线位置如下图左半部分 不规则文本往往不在水平位置存在弯曲、遮挡、模糊等问题如下图右半部分。 二、OCR数据集统计与分类
2.1 数据集汇总统计 在之前的识别章节中本人将识别技术分为规则(水平)文本识别与不规则多方向文本识别下面本人总结了常见OCR数据集情况: 参考github.com/HCIILAB/Sce…
2.2 数据集介绍 在上述数据集简单总结后本人将重点对数据集展开详细介绍覆盖规则、不规则、合成、手写数据集等多个场景最后将总结各个识别算法在不同数据集上的识别效果进行综合横向对比。 2.1.1 规则数据集
IIIT5K-Words (IIIT) 2000 for Train; 3000 for TestStreet View Text (SVT) 257 for Train; 647 for TestICDAR 2003(IC03) 、ICDAR2013 (IC13)
以ICDAR2013为例
该数据集由500张左右英文标注的自然场景图片构成坐标格式为左上角和右下角标注形式为两点水平标注 2.1.2 不规则数据集
ICDAR2015 (IC15) 4468 for Train; 2077 for Test;SVT Perspective (SP) 645 for TestCUTE80 (CT) 288 for Test
以ICDAR2015为例
该数据集由1500张训练1000张测试500张英文标注的自然场景图片构成坐标格式依次为为左上角右上角右下角和左下角标注形式为四点标注。如下图所示 2.1.3 合成数据集
Synthetic Training Datasets
DatasetDescriptionExamplesBaiduNetdisk linkSynthText(ST)9 million synthetic text instance images from a set of 90k common English words. Words are rendered onto nartural images with random transformationsScene text datasets(提取码:emco)MJSynthMJ6 million synthetic text instances. Its a generation of SynthText.Scene text datasets(提取码:emco) 文本检测数据集使用最为广泛的是SynthText (ST)可以说是OCR领域的 ImageNet。该数据集由牛津大学上发布。数据集采用合成的方式生成在80万张图片中人工加入了800万个文本而且这种合成并不是很生硬的叠加而是作了一些处理使文字在图片中看起来比较自然。 SynthText规模较大其他的数据集大多不足以训练一个模型。因此通常是根据中、英文、街景等不同场景识别先用SynthText训练然后再用小规模数据集调优。 github:github.com/ankush-me/S… SynthText(ST) 样例图如下 2.1.4 中文场景数据集
Chinese Text in the Wild (CTW) CTW数据集是一个针对中文场景文本的数据集用于文本检测和识别任务。CTW数据集包含了超过40,000张高分辨率的中文场景图像这些图像从不同来源和环境中获取具有广泛的多样性。
2.1.5 手写数据集
数据集网站CASIA Online and Offline Chinese Handwriting Databases
上述网站提供用于评估手写汉字识别的标准数据集包括使用现有特征提取算法生成的特征数据和原始字符样本数据。具体规格如下 2.3.数据集详细介绍
IC03、IC13和IC15是ICDARInternational Conference on Document Analysis and Recognition2003/2013/2015 Robust Reading Challenge 比赛用数据集数据集的每一张图片都来自真实的场景并且做好了标注。但是样本比较少合起来只有几千张。
1.ICDAR-2013
数据简介该数据集由462训练集229张测试集233张张英文标注的自然场景图片构成标注形式为两点水平标注坐标格式为左上角和右下角 2.ICDAR-2015
数据简介该数据集由1500张训练集1000张测试集500张英文标注的自然场景图片构成标注形式为四点标注坐标格式依次为为左上角右上角右下角和左下角如下图所示 3.ICDAR2017-MLT
数据简介该数据集由9000张训练集7200张测试集1800张多种混合语言标注的自然场景图片构成标注形式为四点标注坐标格式依次为为左上角右上角右下角和左下角如下图所示 4.ICDAR2017-RCTW
数据简介ICDAR 2017-RCTW(Reading Chinest Text in the Wild)由Baoguang Shi等学者提出。RCTW主要是中文共12263张图像其中包括了8034张训练集和4229张测试集标注形式为四点标注数据集大多是相机拍的自然场景一些是屏幕截图其包含了大多数场景如室外街道、室内场景、手机截图等等。
5.天池比赛2018
数据简介该数据集全部来源于网络图像主要由合成图像产品描述和网络广告构成。每一张图像或者包含复杂排版或者包含密集的小文本或多语言文本或者包含水印和典型的图片等如图1所示 6.ICDAR2019-MLT
数据简介该数据集由20000张训练集10000张和测试集10000张多种混合语言标注的自然场景图片构成标注形式为四点标注坐标格式依次为为左上角右上角右下角和左下角。 10,000个图像在训练集中排序使得每个连续的1000个图像包含一种主要语言的文本当然它可以包含来自1种或2种其他语言的附加文本全部来自10种语言的集合 00001 - 01000 Arabic 01001 - 02000English 02001 - 03000French 03001 - 04000Chinese 04001 - 05000German 05001 - 06000Korean 06001 - 07000Japanese 07001 - 08000Italian 08001 - 09000Bangla 09001 - 10000Hindi 如下图所示 7.ICDAR2019-LSVT
数据简介该数据集由45w中文街景图像组成包含5w2万测试集3万训练集全标注数据文本坐标文本内容构成40w弱标注数据仅文本内容标注形式为四点标注如下图所示 说明其中test数据集的label目前没有开源如需评估结果可去官网提交rrc.cvc.uab.es/?ch16
8.ICDAR2019-ReCTS
数据简介ReCTS数据集包括25,000张带标签的图像训练集包含20,000张图像测试集包含5,000张图像。这些图像是在不受控条件下通过电话摄像机野外采集的。它主要侧重于餐厅招牌上的中文文本。数据集中的每个图像都用文本行位置字符位置以及文本行和字符的成绩单进行注释。用具有四个顶点的多边形来标注位置这些顶点从左上顶点开始按顺时针顺序排列。如下图所示: 9.ICDAR2019-ArT
数据简介该数据集包含10,166张图像其中训练集5603张测试集4563张。由Total-Text、SCUT-CTW1500、Baidu Curved Scene Text (ICDAR2019-LSVT部分弯曲数据) 三部分组成包含水平、多方向和弯曲等多种形状的文本。 如下图所示 10.Synth800k
数据简介SynthText 数据集是由牛津大学工程科学系视觉几何组于2016年在IEEE计算机视觉和模式识别会议(CVPR)上发布。数据集由包含单词的自然场景图像组成其主要运用于自然场景中的文本检测该数据集由 80 万个图像组成大约有 800 万个合成单词实例。 每个文本实例均使用文本字符串、字级和字符级边界框进行注释。
11.360万中文数据集
数据简介该数据集利用中文语料库新闻 文言文通过字体、大小、灰度、模糊、透视和拉伸等变化随机生成共约364万张图片按照99:1划分成训练集和验证集。 包含汉字、英文字母、数字和标点共5990个字符字符集合github.com/YCG09/chine… 每个样本固定10个字符字符随机截取于语料库中的句子图片分辨率统一为280x32。如下图所示 12.中文街景数据集CTW
数据简介该数据集包含32285张图像1018402个中文字符(来自于腾讯街景), 包含平面文本凸起文本城市文本农村文本低亮度文本远处文本和部分遮挡文本。 图像大小为2048x2048数据集大小为31GB。以(8:1:1)的比例将数据集分为训练集(25887张图像812872个汉字)测试集(3269张图像103519个汉字)和验证集(3129张图像103519个汉字)。
13.百度中文场景文字识别
数据简介ICDAR2019-LSVT行识别任务共包括29万张图片其中21万张图片作为训练集带标注8万张作为测试集无标注。 数据集采自中国街景并由街景图片中的文字行区域例如店铺标牌、地标等等截取出来而形成。所有图像都经过一些预处理将文字区域利用仿射变化等比映射为一张高为48像素的图片如图所示 14.MSRA-TD500
数据简介该数据集总共包括500张自然场景图片(Training:300 Test:200)。 数据集特点多方向文本检测、大部分文本都在引导牌上、分辨率在1296x864到1920x1280之间、包含中英文、标注以行为单位而不是单词、每张图片都完全标注,难以识别的有difficult标注。
15.total-text
数据简介总共包含500张自然场景图片(Training:1255 Test:300)。 数据集特点Total-Text是最大弯曲文本数据集之一-ArT任意形状文本数据集训练集中的一部分。
2.4 数据集下载
常见数据集下载一
项目github地址github.com/zcswdt/OCR_…
代码仓库提供常用的OCR检测和识别中的通用公开数据集的下载链接。并且提供了json标签转成.txt标签的代码和转换好的.txt标签。
数据集数据介绍标注格式下载地址ICDAR_2013语言: 英文 train:229 test:233x1 y1 x2 y2 text下载链接1 .ICDAR_2015语言: 英文 train:1000 test:500x1,y1,x2,y2,x3,y3,x4,y4,text下载链接2 .ICDAR2017-MLT语言: 混合 train:7200 test:1800x1,y1,x2,y2,x3,y3,x4,y4,text下载链接3 . 提取码: z9eyICDAR2017-RCTW语言: 混合 train:8034 test:4229x1,y1,x2,y2,x3,y3,x4,y4,识别难易程度,text下载链接4天池比赛2018语言: 混合 train:10000 test:10000x1,y1,x2,y2,x3,y3,x4,y4,text检测5 。 识别6ICDAR2019-MLT语言: 混合 train:10000 test:10000x1,y1,x2,y2,x3,y3,x4,y4,语言类别,text下载链接7 . 提取码: xofoICDAR2019-LSVT语言: 混合 train:30000 test:20000json格式标签下载链接8ICDAR2019-ReCTS语言: 混合 train:20000 test:5000json格式标签下载链接9ICDAR2019-ArT语言: 混合 train:5603 test:4563json格式标签下载链接10Synth800k语言: 英文 80k基于字符标注下载链接11360万中文数据集语言: 中文 360k每张图片由10个字符构成下载链接12 . 提取码:lu7m中文街景数据集CTW语言中文 32285基于字符标注的中文街景图片下载链接13百度中文场景文字识别语言: 混合 29万下载链接14
常见数据集下载二
DatasetDescriptionExamplesBaiduNetdisk linkIIIT5k-Words(IIIT5K)3000 test images instances. Take from street scenes and from originally-digital imagesScene text datasets(提取码:emco)Street View Text(SVT)647 test images instances. Some images are severely corrupted by noise, blur, and low resolutionScene text datasets(提取码:emco)StreetViewText-Perspective(SVT-P)639 test images instances. It is specifically designed to evaluate perspective distorted textrecognition. It is built based on the original SVT dataset by selecting the images at the sameaddress on Google Street View but with different view angles. Therefore, most text instancesare heavily distorted by the non-frontal view angle.Scene text datasets(提取码:emco)ICDAR 2003(IC03)867 test image instancesScene text datasets(提取码:mfir)ICDAR 2013(IC13)1015 test images instancesScene text datasets(提取码:emco)ICDAR 2015(IC15)2077 test images instances. As text images were taken by Google Glasses without ensuringthe image quality, most of the text is very small, blurred, and multi-orientedScene text datasets(提取码:emco)CUTE80(CUTE)288 It focuses on curved text recognition. Most images in CUTE have acomplex background, perspective distortion, and poor resolutionScene text datasets(提取码:emco)
参考zhuanlan.zhihu.com/p/356842725
三、数据生成
在深度学习系统目标检测完成后往往还需用分类器对检测区域进行识别。针对实际业务场景需要根据具体的业务分析所需的背景、字体、颜色、形变以及语料等信息。
目前主流的识别数据生成方法可大致分为三类基于特征变换的图像增强、基于深度学习的图像增强和GAN生成法。
3.1 基于特征变换的图像增强
这类方法是对现有的数据进行图像增广进而扩充数据量。在文字识别的训练中由于文字的特殊性能够选择的增强方法有限主要有以下4种类型
1模糊。
2对比度变化。
3拉伸。
4旋转。
3.2 深度学习OCR数据生成
此方法也是对现有的数据进行图像增广而扩充数据规模具体的文本生成过程分为六步
1字体渲染。
2描边、加阴影、着色。
3基础着色。
4仿射投影扭曲。模拟3D环境。
5自然数据混合。
6加噪声。
参考资源
1物体检测的增强。Imgauggithub.com/aleju/imgau…
2Augmentorgithub.com/mdbloice/Au…
3.3 对抗网络GAN数据生成
在实际应用中由于身份证数据、银行卡数据等涉及个人信息的数据往往很难获取且容易违反法律规定。借助GANGenerative Adversarial Network生成对抗网络可以在一定程度上缓解上述问题。目前GAN的应用场景基本上覆盖了AI的所有领域例如图像和音频的生成、图像风格迁移、图像修复去噪和去马赛克、NLP中的文本生成等。
**生成对抗网络是在生成模型的基础上引入对抗博弈的思想。**假设我们有一个图像生成模型Generator它的目标是生成一张比较真实的图像与此同时我们还有一个图像判别模型Discriminator它的目标是正确的判别一张图像是生成的还是真实的。具体流程如下
1生成模型Generator生成一批图像。
2判别模型Discriminator学习区分生成图像和真实图像。
3生成模型根据判别模型反馈结果来改进生成模型迭代生成新图像。
4判别模型继续学习区分生成图像和真实图像。
直到二者收敛此时生成模型和判别模型都能达到比较好的效果。上述的博弈类似《射雕英雄传》中周伯通的左右互搏术能循环提升生成模型和判别模型的能力。在生成模型中采用神经网络作为主干/backbone则称之为生成对抗网络。GAN模型结构如下图所示。 3.4 文本图片数据合成工具
3.4.1 图像合成相关论文 衡量一个OCR系统性能好坏的主要指标有拒识率、误识率、识别速度、用户界面的友好性产品的稳定性易用性及可行性等。 3.4.2 文本图片数据合成工具
开源工具代码
✨text_rendererSynthTextSynthText_Chinese_versionTextRecognitionDataGeneratorSynthText3DUnrealTextsynthtiger✨PaddleOCR/StyleTextSRNet
其他数据生成项目
Github BADBADBADBOY genete_ocr_data
其余待补充
四、OCR评价指标
4.1 OCR常用的评估指标
对于两阶段可以分开来看分别是检测和识别阶段。
1检测阶段先按照检测框和标注框的IOU评估IOU大于某个阈值判断为检测准确。这里检测框和标注框不同于一般的通用目标检测框是采用多边形进行表示。
检测准确率 正确的检测框个数在全部检测框的占比主要是判断检测指标。
检测召回率 正确的检测框个数在全部标注框的占比主要是判断漏检的指标。
2识别阶段 字符识别准确率即正确识别的文本行占标注的文本行数量的比例只有整行文本识别对才算正确识别。
3端到端统计
端对端召回率 准确检测并正确识别文本行在全部标注文本行的占比
端到端准确率 准确检测并正确识别文本行在 检测到的文本行数量 的占比
准确检测的标准是检测框与标注框的IOU大于某个阈值正确识别的的检测框中的文本与标注的文本相同。
另外从单词角度分OCR评价指标包括字段粒度和字符粒度的识别效果评价指标。
以字段为单位的统计和分析适用于卡证类、 票据类等结构化程度较高的OCR 应用评测。以字符 文字和标点符号 为单位的统计和分析适用于通用印刷体、手写体类非结构化数据的OCR应用评测。
此外从服务角度来说识出率、平均耗时等也是衡量OCR系统好坏的指标之一。
4.2 编辑距离 编辑距离是针对二个字符串例如英文字的差异程度的量化量测量测方式是看至少需要多少次的处理才能将一个字符串变成另一个字符串。在莱文斯坦距离中可以删除、加入、替换字符串中的任何一个字元也是较常用的编辑距离定义常常提到编辑距离时指的就是莱文斯坦距离。 公式如下 平均识别率[ 1 - (编辑距离 / max(1, groundtruth字符数, predict字符数) ) ] * 100.0% 的平均值平均编辑距离编辑距离用来评估整体的检测和识别模型平均替换错误编辑距离计算时的替换操作用于评估识别模型对相似字符的区分能力平均多字错误编辑距离计算时的删除操作用来评估检测模型的误检和识别模型的多字错误平均漏字错误编辑距离计算时的插入操作用来评估检测模型的漏检和识别模型的少字错误
代码实现 ini
复制代码 #代码 import Levenshtein def evaluate_measure(str_algorithm, str_ground_truth): # 编辑距离 insert delete replace edit_dist Levenshtein.distance(str_algorithm, str_ground_truth) sum_len_two_str len(str_algorithm) len(str_ground_truth) ratio Levenshtein.ratio(str_algorithm, str_ground_truth) ldist sum_len_two_str - (float(ratio) * float(sum_len_two_str)) # 替换操作 replace_dist ldist - edit_dist if len(str_algorithm) len(str_ground_truth): more_word_error len(str_algorithm) - len(str_ground_truth) less_word_error 0 else: more_word_error 0 less_word_error len(str_ground_truth) - len(str_algorithm) # - 平均识别率[1 - (编辑距离 / max(1, groundtruth字符数, predict字符数))] * 100.0 % 的平均值 recg_rate {:.2%}.format(1 - (edit_dist / max(1, len(str_algorithm), len(str_ground_truth)))) print(识别率, 编辑距离, 替换错误, 漏字错误, 多字错误) print(recg_rate, edit_dist, replace_dist, less_word_error, more_word_error) return recg_rate, edit_dist, replace_dist, less_word_error, more_word_error
4.3 归一化编辑距离 五、常见OCR识别模型评估对比
注评价指标为准确率。
Regular DatasetIrregular datasetModelYearIIITSVTIC13(857)IC13(1015)IC15(1811)IC15(2077)SVTPCUTECRNN201578.280.8-86.7----ASTER(L2R)201592.6791.16-90.7476.1-78.7676.39CombBest201987.987.593.692.377.671.879.274ESIR201993.390.2-91.3-76.979.683.3SE-ASTER202093.889.6-92.88081.483.6DAN202094.389.2-93.9-74.58084.4RobustScanner202095.388.1-94.8-77.179.590.3AutoSTR202094.790.9-94.281.8-81.7-Yang et al.202094.788.9-93.279.577.180.985.4SATRN202092.891.3-94.1-7986.587.8SRN202094.891.595.5-82.7-85.187.8GA-SPIN202195.290.9-94.882.879.583.287.5PREN2D202195.69496.4-83-87.691.7Bhunia et al.202195.292.2-95.5-8485.789.7Luo et al.202195.690.6-96.083.981.485.191.3VisionLAN202195.891.795.7-83.7-8688.5ABINet202196.293.597.4-86.0-89.389.2MATRN202196.794.997.995.886.682.990.594.1
六、OCR资料整理分享
本篇文章最后免费分享博主本人参考开源资料整理的OCR相关论文汇总将其按年份、数据集、所属方法及论文关键词等信息进行全面分类总结最近几年论文正在整理中欢迎大家持续关注和学习交流另外文中如有错误欢迎指正 总结本篇《第六章OCR数据集与评价指标主要介绍OCR的数据集分类、应用场景及检测、识别等评价指标等进行介绍方便学习者快速了解OCR方向知识。
