手机访问网站自动跳转,网站个性化制作,做跨境电商看国外的哪些网站,网站建设公司的介绍想了想#xff0c;我们的数仓的建设是基于大数据平台进行的#xff0c;中间也经历了比较曲折的过程。
每个行业都有自身的业务区别#xff0c;不过很多还是比较相通的。 本文将全面讲解数仓建设规范#xff0c;从数据模型规范#xff0c;到数仓公共规范#xff0c;数仓各…想了想我们的数仓的建设是基于大数据平台进行的中间也经历了比较曲折的过程。
每个行业都有自身的业务区别不过很多还是比较相通的。 本文将全面讲解数仓建设规范从数据模型规范到数仓公共规范数仓各层规范最后到数仓命名规范包括表命名指标字段命名规范等 目录 一、数据模型架构原则
数仓分层原则主题域划分原则数据模型设计原则
二、数仓公共开发规范
层次调用规范数据类型规范数据冗余规范NULL字段处理规范指标口径规范数据表处理规范表的生命周期管理
三、数仓各层开发规范
ODS层设计规范公共维度层设计规范DWD明细层设计规范DWS公共汇总层设计规范
四、数仓命名规范
词根设计规范表命名规范指标命名规范
一、数据模型架构原则 1. 数仓分层原则 优秀可靠的数仓体系往往需要清晰的数据分层结构即要保证数据层的稳定又要屏蔽对下游的影响并且要避免链路过长。那么问题来了一直在讲数仓要分层那数仓分几层最好 目前市场上主流的分层方式眼花缭乱不过看事情不能只看表面还要看到内在的规律不能为了分层而分层没有最好的只有适合的。 分层是以解决当前业务快速的数据支撑为目的为未来抽象出共性的框架并能够赋能给其他业务线同时为业务发展提供稳定、准确的数据支撑并能够按照已有的模型为新业务发展提供方向也就是数据驱动和赋能。 一个好的分层架构要有以下好处 清晰数据结构数据血缘追踪减少重复开发数据关系条理化屏蔽原始数据的影响。 数仓分层要结合公司业务进行并且需要清晰明确各层职责一般采用如下分层结构 数据分层架构 数仓建模在哪层建设呢我们以维度建模为例建模是在数据源层的下一层进行建设在上图中就是在DW层进行数仓建模所以DW层是数仓建设的核心层。 下面详细阐述下每层建设规范和上图的分层稍微有些区别 1. 数据源层ODSOperational Data Store ODS 层是最接近数据源中数据的一层为了考虑后续可能需要追溯数据问题因此对于这一层就不建议做过多的数据清洗工作原封不动地接入原始数据即可至于数据的去噪、去重、异常值处理等过程可以放在后面的 DWD 层来做。 2. 数据仓库层DWData Warehouse 数据仓库层是我们在做数据仓库时要核心设计的一层在这里从 ODS 层中获得的数据按照主题建立各种数据模型。 DW 层又细分为 DWDData Warehouse Detail层、DWMData WareHouse Middle层和 DWSData WareHouse Servce 层。 1) 数据明细层DWDData Warehouse Detail
该层一般保持和 ODS 层一样的数据粒度并且提供一定的数据质量保证。DWD 层要做的就是将数据清理、整合、规范化、脏数据、垃圾数据、规范不一致的、状态定义不一致的、命名不规范的数据都会被处理。 同时为了提高数据明细层的易用性该层会采用一些维度退化手法将维度退化至事实表中减少事实表和维表的关联。 另外在该层也会做一部分的数据聚合将相同主题的数据汇集到一张表中提高数据的可用性 。 2) 数据中间层DWMData WareHouse Middle 该层会在 DWD 层的数据基础上数据做轻度的聚合操作生成一系列的中间表提升公共指标的复用性减少重复加工。 直观来讲就是对通用的核心维度进行聚合操作算出相应的统计指标。 在实际计算中如果直接从 DWD 或者 ODS 计算出宽表的统计指标会存在计算量太大并且维度太少的问题因此一般的做法是在 DWM 层先计算出多个小的中间表然后再拼接成一张 DWS 的宽表。由于宽和窄的界限不易界定也可以去掉 DWM 这一层只留 DWS 层将所有的数据再放在 DWS 亦可。 3) 数据服务层DWSData WareHouse Servce DWS 层为公共汇总层会进行轻度汇总粒度比明细数据稍粗基于 DWD 层上的基础数据整合汇总成分析某一个主题域的服务数据一般是宽表。DWS 层应覆盖 80% 的应用场景。又称数据集市或宽表。 按照业务划分如主题域流量、订单、用户等生成字段比较多的宽表用于提供后续的业务查询OLAP 分析数据分发等。 一般来讲该层的数据表会相对比较少一张表会涵盖比较多的业务内容由于其字段较多因此一般也会称该层的表为宽表。 3. 数据应用层APPApplication 在这里主要是提供给数据产品和数据分析使用的数据一般会存放在 ES、 PostgreSql、Redis 等系统中供线上系统使用也可能会存在 Hive 或者 Druid 中供数据分析和数据挖掘使用。比如我们经常说的报表数据一般就放在这里。 4. 维表层Dimension 如果维表过多也可针对维表设计单独一层维表层主要包含两部分数据 高基数维度数据一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级别。 低基数维度数据一般是配置表比如枚举值对应的中文含义或者日期维表。 数据量可能是个位数或者几千几万。 2. 主题域划分原则 1) 按照业务或业务过程划分 业务容易理解就是指的功能模块/业务线。 业务过程指企业的业务活动事件如下单、支付、退款都是业务过程。不过需要注意的是一个业务过程是一个不可拆分的行为事件通俗的讲业务过程就是企业活动中的事件。 2) 按照数据域划分 数据域是指面向业务分析将业务过程或者维度进行抽象的集合。其中业务过程可以概括为一个个不可拆分的行为事件在业务过程下可以定义指标维度是指度量的环境如买家下单事件买家是维度。为保障整个体系的生命力数据域是需要抽象提炼并且长期维护和更新的但不轻易变动。在划分数据域时既能涵盖当前所有的业务需求又能在新业务进入时无影响地被包含进已有的数据域中和扩展新的数据域。 3. 数据模型设计原则 1) 高内聚、低耦合 即主题内部高内聚、 不同主题间低耦合。明细层按照业务过程划分主题汇总层按照“实体 活动”划分不同分析主题应用层根据应用需求划分不同应用主题。 2) 核心模型和扩展模型要分离 建立核心模型与扩展模型体系核心模型包括的字段支持常用的核心业务扩展模型包括的字段支持个性化或少量应用的需要不能让扩展模型的字段过度侵入核心模型以免破坏核心模型的架构简洁性与可维护性。 3) 公共处理逻辑下沉及单一 越是底层公用的处理逻辑越应该在数据调度依赖的底层进行封装与实现不要让公用的处理逻辑暴露给应用实现不要让公共逻辑多处同时存在。 4) 成本与性能平衡 适当的数据冗余可换取查询和刷新性能不宜过度冗余与数据复制。 5) 数据可回滚 处理逻辑不变在不同时间多次运行数据结果确定不变。 二、数仓公共开发规范 1. 层次调用规范 稳定业务按照标准的数据流向进行开发即 ODS – DWD – DWS – APP。非稳定业务或探索性需求可以遵循 ODS - DWD - APP 或者 ODS - DWD - DWM -APP 两个模型数据流。 在保障了数据链路的合理性之后也必须保证模型分层引用原则 正常流向ODS - DWD - DWM - DWS - APP当出现 ODS - DWD - DWS - APP 这种关系时说明主题域未覆盖全。应将 DWD 数据落到 DWM 中对于使用频度非常低的表允许 DWD - DWS。尽量避免出现 DWS 宽表中使用 DWD 又使用该 DWD 所归属主题域DWM 的表。同一主题域内对于 DWM 生成 DWM 的表原则上要尽量避免否则会影响 ETL 的效率。DWM、DWS 和 APP 中禁止直接使用 ODS 的表 ODS 的表只能被 DWD 引用。禁止出现反向依赖例如 DWM 的表依赖 DWS 的表。 举例 2. 数据类型规范 需统一规定不同的数据的数据类型严格按照规定的数据类型执行 金额double 或使用 decimal(31,4) 控制精度等明确单位是分还是元。字符串string。id类bigint。时间string。状态string 3. 数据冗余规范 宽表的冗余字段要确保 冗余字段要使用高频下游3个或以上使用。冗余字段引入不应造成本身数据产生过多的延后。冗余字段和已有字段的重复率不应过大原则上不应超过60%如需要可以选择join或原表拓展。 4. NULL字段处理规范 对于维度字段需设置为-1对于指标字段需设置为 0 5. 指标口径规范 保证主题域内指标口径一致无歧义。 通过数据分层提供统一的数据出口统一对外输出的数据口径避免同一指标不同口径的情况发生。
