厦门建设银行网站首页,适合博客的wordpress主题,相册制作模板,广东省网站备案查询来源 #xff1a;数据学堂
编辑#xff1a;CDO之家
这是CDO之家的第 209 篇分享
全文共 2987 个字#xff0c;建议阅读 8 分钟 在数字化转型的浪潮下#xff0c;数据架构备受关注。作为企业架构中的关键纽带#xff0c;数据架构解决了业务与数据的映射#xff0c;规范了应… 来源 数据学堂
编辑CDO之家
这是CDO之家的第 209 篇分享
全文共 2987 个字建议阅读 8 分钟 在数字化转型的浪潮下数据架构备受关注。作为企业架构中的关键纽带数据架构解决了业务与数据的映射规范了应用架构的数据集成关系指导了技术架构的技术选型。伴随DataOps等场景的出现数据架构会逐步走向数据消费端为企业带来更多的变化和新发现。详见DataOps 标准体系能力框架及实践 一、什么是数据架构 自数据库技术兴起以来人们慢慢发现需要一种东西去描述数据的状态、定义数据需求、指导数据集成、管理数据资产以更好地实现数据策略——数据架构应运而生。 数据架构是识别企业数据需求并以这些数据需求为出发点设计和维护的主蓝图以使用这些主蓝图来指导数据集成、控制数据资产并使数据投资与业务战略保持一致DAMA-DMBOK2。 越是专业的定义越让人难以理解举个例子 小明打算在有生之年买一套北京二环内的房子相关机构需要分析小明是否有买房资格这是业务需求那么为了分析小明的买房资格最起码需要小明的身份数据、婚姻数据、在京纳税数据、在京缴纳社保数据、在京房产数据这些是数据需求为了有效获取并集成这些数据以实现相关机构分析小明买房资格的业务需求我们需要下图所示的数据架构注此处只是简单例子企业真实数据架构含有很多组件会复杂很多。 二、数据架构解决什么问题 作为连接企业架构中其他三个架构业务架构、应用架构、技术架构的关键纽带数据架构解决了业务与数据间的映射规范了应用架构中的数据集成关系指导了技术架构的技术选型。 具体来说数据架构在企业中的作用可总结为以下四点 1、从不同层次描述数据为数据管理奠定基础 作为企业数据层面的主蓝图数据架构管理了整个企业的复杂数据和信息交付数字化时代企业拥有的数据量远超出员工的理解范围数据架构使企业能在不同的抽象层次上表达数据为数据管理奠定了坚实的基础。 2、定义数据状态表达战略数据需求 数据架构是对企业当前数据状态的整体性描述通过数据架构企业数据状态一目了然通过分析数据架构中的不足与业界的差距可以帮助企业定义未来的状态目标帮助企业快速制定战略数据需求。 3、促进企业数据标准化指导企业数据集成 数据架构为整个企业提供了一致的数据语言包括标准业务词汇表、标准技术元数据等将业务架构中的业务需求转化成为了数据、系统、技术需求使不同部门和不同身份的技术和业务人员在数据层面达成一致为数据标准化和数据集成提供了良好的支撑。 4、规范企业数据流转拉通数据生命周期 数据生命周期中包括了数据的创建、获取、移动、转换、存储、维护、共享、使用、处理等诸多流程在整个生命周期中数据可以被清理、转换、合并、更新和汇总涉及到太多的数据流转过程规范数据在诸多生命周期阶段的流转细节可能会非常复杂要求不同阶段之间相互理解并随时达成一致此时数据架构必不可少。 详见数据治理与数据中台架构 三、数据架构包含哪些内容 作为企业层面的“主蓝图”数据架构中包含诸多组件企业需求的不同可能导致其数据架构包含的组件也不相同以下是数据架构中的一些常见组件 1、数据模型——数据架构的核心 概念数据模型概念数据模型是能表示现实世界的概念化结构通过概念实体及关系从业务的角度对信息进行的高层级描述。如在文章最开始的例子中小明买房的整体建模就可以理解为是一种简单的概念模型概念模型是为了让业务能明白数据有什么帮助数据与业务沟通。 逻辑数据模型逻辑数据模型在概念数据模型的基础上定义了各个实体的属性是对概念模型的进一步细化包括所有的实体、实体的属性、实体之间的关系以及每个实体的主键、实体的外键等。逻辑模型帮助数据与应用沟通比如应用需要小明的身份信息逻辑模型里就需要有个身份信息的数据实体并且需要明确身份信息中的各个属性如身份证号、姓名、年龄等。 物理数据模型物理数据模型是在逻辑数据模型的基础上综合考虑各种存储条件的限制将逻辑数据模型中的实体、属性以及关系转换成的物理元素表、字段、索引等。物理数据模型是帮助数据与技术沟通明确了数据到底怎么建存储的位置等。比如小明的身份信息具体存在那个物理表中就是在物理模型中明确的。注物理模型虽然属于数据架构的组件但不是数据架构的产物 2、数据流——数据与数据间的关系 数据流中主要需要设计数据如何流动如小明需要买房小明的社保信息需要从社保中心获取小明的纳税信息需要从税务局获取这些数据需要从社保中心、税务局流动到买房资格那里供分析使用这就是数据流。数据流是数据架构很关键的部分表示了数据从哪个源头来到哪里去使用的过程。如身份信息就需要从公安获取而不能从社保中心获取。数据流的设计也是数据架构设计的必备设计。 3、价值流——数据与业务间的关系 价值流更容易理解所有的业务都有业务流程而业务流程中会产生/使用/销毁数据这里需要设计哪些数据会在关键价值流中使用对业务流程有关键作用比如小明买房资格中的所需关键信息就是价值流需要设计的部分。 4、数据定义和数据标准——数据架构建设的准则 在数据架构中需要规定数据模型的标准规范包括标准的数据模型定义方式、模型属性的标准规范等我们通常这个标准规范为数据标准。从理论上讲所有的数据模型、数据流、数据映射关系的建设都需要参考数据定义和数据标准从而保证数据在各个环节的拉通。详见数据治理数据标准建设方法和流程 四、数据架构的发展趋势 现在数据中台建设已经成为企业数字化转型的必选件数据架构需要从模型为导向走向以服务为导向。传统数据架构更重视内部信息的建模和梳理为信息化打下了很好的基础。 未来数据建模依然是企业数据架构的基础这点毋庸置疑但是为了使数据架构真正落地为数据消费端服务未来在数据建模的同时需要考虑数据服务需求提前确定服务水平协议SLAService Level Agreement这将会成为未来企业数据架构规划的重点。 1、从关注底层模型向关注数据服务转变 数据建模与数据集成依然是数据架构的重要任务但数据集成方式应该参考服务化架构不应该再单纯关注底层模型以梳理现状为主而应该从数据与业务的关联入手在模型层之上规划需要提供给业务的数据服务在数据模型设计时就要让业务明白数据服务与底层数据的关系。 2、从单纯规划内部数据向规划内外部数据集成与交互转变 客户数据、采购数据、互联网数据、IOT数据等对数字化企业越来越重要数据架构需要重点规划外部的数据模型以实现企业内部数据与外部数据在模型层面的连接。自GDPR通用数据保护条例发布以来由于数据安全的收紧外部数据的整体数据流也需要详细规划。 五、总结 作为企业架构中的关键纽带数据架构解决了业务与数据间的映射规范了应用架构中的数据集成关系指导了技术架构的技术选型在企业中发挥着不可或缺的作用。 数据架构的演进远远没有结束伴随未来DataOps等场景的出现数据架构会越来越走向最终的数据消费端这部分内容会有更多的变化和新发现。 本文来源DG数据治理作者龚菲 END 推荐文章 1、DataOps 不仅仅是数据的 DevOps 2、数据仓库的构建分步指南 3、数据湖 VS 数据编织泰坦之战 4、怎么理解数据网格Data Mesh 5、数据编织概念、功能和价值 6、DataOps 标准体系能力框架及实践 7、数据治理 VS 数据管理 8、轻松搞跨数据治理我就靠这7招 9、BI和数据分析不是一回事 10、“咨询平台实施” 三位一体的数据中台建设方案 11、企业数据资产盘点与数据标准梳理的方法 12、自助数据准备让数据分析变得简单 13、数据管理、数据治理、数据资产管理到底有何不同 14、数据治理项目失败90%都是被这样搞垮的 15、数据仓库指标体系搭建实战 关注CDO之家洞见数字化未来
