如何自己弄个免费网站,建设网站上海市,济南百度公司做网站吗,网页游戏制作平台然而#xff0c;我们需要按照什么流程来对数据质量进行有效的管控#xff0c;从而提升数据质量#xff0c;释放数据价值#xff1f;一般来讲#xff0c;数据质量控制流程分为4个阶段#xff1a;启动、执行、检查、处理。在管控过程中这4个阶段需不断循环#xff0c;螺旋… 然而我们需要按照什么流程来对数据质量进行有效的管控从而提升数据质量释放数据价值一般来讲数据质量控制流程分为4个阶段启动、执行、检查、处理。在管控过程中这4个阶段需不断循环螺旋上升。
第一阶段启动 在这个阶段我们需要根据所在机构的现行组织架构和工作规范基础上建立一套质量管控流程和规范如建立质量管控委员会、制定质量管控办法等。质量管控委员会不必是全职可由现有组织中如信息中心相关人员兼任。 而关于数据质量管控办法则应明确质量管控的角色、职责建立可执行的工作流程、可量化的工作评估方法同时也应具备绩效考核、冲突解决与管控方式等。 有了流程和规范后相应的责任人就应明确本轮质量管控的目标。如数据质量提升范围或是满足一些业务的预期。目标制定完成后我们就可以进入下一个执行阶段。
第二阶段执行 进入执行阶段我们就要开始具体的质量管控工作整个工作应该围绕启动阶段制定的目标进行。适当引入一些质量管控工具可帮助我们更高效的完成工作。
第一步、数据剖析 首先应该进行已知数据问题的评估这里评估的范围也应控制本轮管控的目标范围内。其次通过对数据进行剖析发现数据问题具体规则又可通过标准或业务调研进行提取。1根据标准提出标准规则比如我们可以根据标准提炼出如下图所示的编码规则并进行检验。 2调研业务提取业务规则接着我们可以从业务调研中提取规则如金融业的大中小微企业贷款当年累放额计算口径大中小微企业贷款当年累计发放额大型企业贷款当年累计发放额中型企业贷款当年累计发放额小型企业贷款当年累计发放额微型企业贷款当年累计发放额个人经营性贷款当年累计发放额这样的指标计算规则并进行检查管控。 当然业务规则也可以是围绕我们既定的业务预期展开。目标不同业务剖析的方向也应随之调整。
第二步、设计数据质量控制操作程序 获得已知数据问题后就应设计数据质量控制操作程序。主要包括以下3个方面 1制定检查和监控的频率及方式2制定质量问题评估方式和整改方式3制定质量报告内容及对象
第三步、定义数据质量需求 根据剖析的质检规则和控制操作程序对数据质量需求进行定义这里又可拆分成以下三步。1梳理数据模型梳理数据模型的主要工作是确定检查对象实体之间的关系如关键字、主外键关系梳理、字段类型、长度等。 2建立质量规则这一步是将我们剖析的数据检验业务规则转化成可执行、有结果的技术规则。 3建立质检方案将可以同时评价且主责部门划分一致的规则集合起来建立质检方案。也可根据业务或者评价规范再对规则进行细分并建立方案。
第四步、确定数据质量水平 数据质量需求定义完毕之后我们就需要确定在此需求下目前数据质量的水平处于什么位置。明确反应质量水平的并最直观的就是错误数据的详情情况如下图所示。 根据汇报的对象不同一般也需要出具质检情况的统计报告。
第五步、管理数据质量问题 问题找到下一步我们就应该进行问题的管理了。根据不同的质量问题进行不同的质量整改方案。一般方式有以下4种1源头修改即问题数据生产系统中进行修改。2补录即在数据中心建立一个新的仓库针对数据问题进行补充录入一般情况为源系统升级或其他原因导致无法从源系统进行修改而采取的变通方案。3技术修复即通过如ETL工具等技术手段对问题数据进行清洗、转换。 4遗留问题管控即对一些无法修复处理的数据进行特殊处理一般情况下进行标记或者例外处理。
第三阶段检查 检查阶段主要是对执行阶段的成果进行检查并分析原因包括以下3个方面。
1确定改质量对处理后的数据进行再次质检出具数据质量的报告。2对比整改效果对比处理前后效果总结改进措施。 3检查数据质量是否合格分析不合格原因在这轮管控中检查数据质量是否合格并找到不合格的原因在下一轮管控中进行技术上或者操作程序上的改进。
第四阶段处理 1监控数据质量控制管理程序和绩效根据既定的操作程序对质量管控过程中各个环节参与者进行绩效评估。还可以根据不同时期的重点制定不同的评分标准有针对性的进行评价和管控如整改初期数据缺失严重则可对完整性规则权重调大以期更快看到成效或者达到更好的效果。2建立质量控制意识与文化在这一步中沟通与推广是重点要让所有参与者了解数据质量问题和其实质影响宣贯系统化的数据质量管控方法同时挖掘各个环节参与者的价值尤其是业务方传达一种“数据质量问题不能只靠技术手段解决”的意识。最终形成一种数据质量管理的文化。
