旅游政务网站建设方案,免费可商用图片素材网站,流量网站制作,设计公司一般多少人1.数据仓库DW
1.1简介
Data warehouse#xff08;可简写为DW或者DWH#xff09;数据仓库#xff0c;是在数据库已经大量存在的情况下#xff0c;为了进一步挖掘数据资源、为了决策需要而产生的#xff0c;它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库…1.数据仓库DW
1.1简介
Data warehouse可简写为DW或者DWH数据仓库是在数据库已经大量存在的情况下为了进一步挖掘数据资源、为了决策需要而产生的它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的是为前端查询和分析作为基础主要应用于OLAPon-line Analytical Processing支持复杂的分析操作侧重决策支持听且提供直观易懂的查询结果。比较流行的有AWS RedshiftGreenplumHive等。
1.2主要特点
面向主题 操作型数据库组织面向事务处理任务而数据仓库中的数据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面一个主题通过与多个操作型信息系统相关。集成 需要对源数据进行加工与融合统一与综合在加工的过程中必须消除源数据的不一致性以保证数据仓库内的信息时关于整个企业的一致的全局信息。关联关系不可修改 DW中的数据并不是最新的而是来源于其他数据源数据仓库主要是为决策分析提供数据涉及的操作主要是数据的查询与时间相关 处于决策的需要数据仓库中的数据都需要标明时间属性
1.3与数据库的对比
DW专门为数据分析设计的涉及读取大量数据以了解数据之间的关系和趋势数据库用于捕获和存储数据
特性数据仓库事务数据库适合的工作负载分析、报告、大数据事务处理数据源从多个来源收集和标准化的数据从单个来源例如事务系统捕获的数据数据捕获批量写入操作通过按照预定的批处理计划执行针对连续写入操作进行了优化因为新数据能够最大程度地提高事务吞吐量数据标准化非标准化schema例如星型Schema或雪花型schema高度标准化的静态schema数据存储使用列式存储进行了优化可实现轻松访问和高速查询性能针对在单行型物理块中执行高吞吐量写入操作进行了优化数据访问为最小化I/O并最大化数据吞吐量进行了优化大量小型读取操作
2.数据分层
数据分层每个企业根据自己的业务需求可以分成不同的层次但是最基础的分层思想理论上数据分为三个层数据运营层、数据仓库层、数据服务层。基于这个基础分层之上再提交信息的层次来满足不同的业务需求。
2.1数据运营层ODS
ODSOperation Data Store 数据准备区也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份这称为ODS层是后续数据仓库加工数据的来源。ODS层数据的来源方式 业务库 经常会使用sqoop来抽取例如每天定时抽取一次。实时方面可以考虑用canal监听mysql的binlog实时接入即可。埋点日志 日志一般以文件的形式保存可以选择用flume定时同步可以用spark streaming或者Flink来实时接入kafka也OK消息队列即来自ActiveMQ、Kafka的数据等。
2.2数据仓库层DW
DW数据分层由下到上为DWDDWBDWS。
DWDdata warehouse details 细节数据层是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。 数据清洗去除空值、脏数据、超过极限范围的DWBdata warehouse base 数据基础层存储的是客观数据一般用作中间层可以认为是大量指标的数据层。DWSdata warehouse service 数据服务层基于DWB上的基础数据整合汇总成分析某一个主题域的服务数据层一般是宽表。用于提供后续的业务查询OLAP分析数据分发等。 用户行为轻度聚合主要对ODS/DWD层数据做一些轻度的汇总。
2.3数据服务层/应用层ADS
ADSapplicationData Service应用数据服务该层主要是提供数据产品和数据分析使用的数据一般会存储在ES、mysql等系统中供线上系统使用。 我们通过说的报表数据或者说那种大宽表一般就放在这里
3.附录
ETL
ETL Extract-Transform-Load用于描述将数据从来源端经过抽取、转换、加载到目的端的过程。
宽表
含义指字段比较多的数据库表。通常是指业务主体相关的指标、纬度、属性关联在一起的一张数据库表。特点 宽表由于把不同的内容都放在同一张表宽表已经不符合三范式的模型设计规范 坏处数据有大量冗余好处查询性能的提高和便捷宽表的设计广泛应用于数据挖掘模型训练前的数据准备通过把相关字段放在同一张表中可以大大提供数据挖掘模型训练过程中迭代计算的消息问题。
数据库设计三范式
为了建立冗余较小、结构合理的数据库设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。范式时符合某一种设计要求的总结。
第一范式确保每列保持原子性即要求数据库表中的所有字段值都是不可分解的原子值。第二范式确保表中的每列都和主键相关。也就是说在一个数据库表中一个表中只能保存一种数据不可以把多种数据保存在同一张数据库表中。 作用减少了数据库的冗余第三范式确保每列都和主键列直接相关而不是间接相关。
作者AmyZYX 出处AmyZYX - 博客园 本文版权归作者和博客园共有欢迎转载但未经作者同意必须保留此段声明且在文章页面明显位置给出原文连接否则保留追究法律责任的权利。
