佛山有哪些建设网站的公司,阿里云网站建设方案书模板,大理中小企业网站建设,丝路云网站建设当前的数据架构已经从数据库、数据仓库#xff0c;发展到了数据湖、湖仓一体架构#xff0c;本篇文章从头梳理了一下数据行业发展的脉络。
上世纪#xff0c;最早出现了关系型数据库#xff0c;也就是DBMS#xff0c;有商业的Oracle、 IBM的DB2、Sybase、Informix、 微软…当前的数据架构已经从数据库、数据仓库发展到了数据湖、湖仓一体架构本篇文章从头梳理了一下数据行业发展的脉络。
上世纪最早出现了关系型数据库也就是DBMS有商业的Oracle、 IBM的DB2、Sybase、Informix、 微软的SQL Server等等这些都是OLTP类型transactional processing 特点是保障ACID事务低延时CRUD操作作用于少量数据非大量/全量数据。
随着关系型数据库里的数据增长数据分析的需求越来越多数据仓库 data warehouse随即诞生DW是面向集成的数据通过ETL、ELT加载不同数据源的数据入仓面向分析OLAP 针对大量或者全量数据做分析存储历史数据支持time travel时间旅行可回溯到数据的早前版本代表的有teradatasnowflake greenplum clickhouse数据仓库多为MPP架构share nothing云时代的数据仓库如 AWS Redshift、GCP Bigquery 、 Snowflake几乎都支持存算分离。
数据仓库中的数据通常需要经过数仓建模形成 ODS DWD DWS ADS DM等不同数据层每层都需要进行相应的清洗加工整合等数据开发数据工程师大量工作就聚焦在数据仓库中的数据开发方向。
随着数据量的增长商业的数据库数据仓库也无法应对海量数据的存储和计算Google发表了三篇论文业内称之为三驾马车 GFS BigTable Map/Reduce 基于理论慢慢形成了Hadoop ecosystem hdfshbasehive sparkflink...越来越多的组件构成了Hadoop生态。
Apache Hadoop开源 但安装运维成本高各组件间版本兼容复杂商业发行版Cloudera/Hortonworks 有CDH, HDP 发行版曾经有免费的社区版目前两家公司合并社区版停止更新和支持如想使用整合好的Hadoop版本则需要付费按年订购。
再后来随着数据的增长非结构化数据的比重越来越大数据湖概念被提出。
AWS对数据湖的定义数据湖是一个集中式存储库允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据无需先对数据进行结构化处理并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习以指导做出更好的决策。
WIKIPEDIA数据湖是一类存储数据自然/原始格式的系统或存储通常是对象块或者文件。数据湖通常是企业中全量数据的单一存储。全量数据包括原始系统所产生的原始数据拷贝以及为了各类任务而产生的转换数据各类任务包括报表、可视化、高级分析和机器学习。数据湖中包括来自于关系型数据库中的结构化数据行和列、半结构化数据如CSV、日志、XML、JSON、非结构化数据如email、文档、PDF等和二进制数据如图像、音频、视频。
数据仓库和数据湖各有擅长的点也互相有借鉴和融合目前数仓产品大多对数据湖里的数据可以实现联邦查询数据湖的分析引擎通过连接器也可以查询数据仓库里的数据。 数据湖治理起来比较难需要有完善的管理工具、管理流程和制度保障一旦缺乏治理容易形成数据沼泽数据沼泽是一种退化的、缺乏管理的数据湖数据沼泽对于用户来说要么是不可访问的要么就是无法提供足够的价值。
主流的开源数据湖平台有Delta Lake、Iceberg和Hudi主要提供对数据湖中数据的Table定义实现upsert/delete 、ACID 、管理 Schema Evolution等等。
数据湖有两种处理并发的两种机制。
COWcopy on write 写时复制读性能好写性能差针对多读少写场景
MORmerge on read 读时合并 写性能好读性能略差针对高频更新场景
Databricks的白皮书「Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics」中最早提出了湖仓一体这个概念。Lakehouse 是一种全新的开放式架构结合了数据湖和数据仓库的最佳元素。Lakehouses 由一个新的系统设计实现在开放格式的低成本云存储之上直接实现与数据仓库中类似的数据结构和数据管理功能。从下图可以看到实际目前的发展阶段如中间的架构图所示湖仓并存各自负责一部分自己优势的工作负载。但是从第三个架构图可以看出Databricks的雄心它希望用低廉的存储和上面的治理层统一实现数据湖和数据仓库的所有功能需求简而言之不再需要Teradata、Redshift、Snowflake这些云上云下数仓产品任重道远。 下面我们看看经常提到的术语数据平台和数据中台。
数据平台提供的是数据加工处理的能力从计算和存储等技术角度看
数据中台是一套可持续“让企业的数据用起来”的机制一种战略选择和组织形式是依据企业特有的业务模式和组织架构通过有形的产品和实施方法论支撑构建一套持续不断把数据变成资产并服务于业务的机制。
数据中台从技术角度当然包括数据平台的构建但数据中台的外延还包括企业内部组织和流程上的支撑目的是数据资产化资产服务化数据的生产和应用形成闭环数据价值得到变现。
接下来我们来看看AWS对现代数据架构的定义智能湖仓架构不是简单地将数据湖和数据仓库糅合在一起而是将数据湖、数据仓库和专用数据存储集成从而支持统一的监管和轻松的数据移动。借助 AWS 上的现代数据架构客户可以快速构建可扩展的数据湖使用丰富且专业的专用数据服务通过统一的数据访问、安全性和治理确保合规在不降低性能的前提下以低成本扩展系统并轻松跨越组织边界共享数据从而快速、敏捷、大规模地作出决策。 随着这些数据湖和专用存储中的数据量持续增长由于数据具有重力移动所有这些数据将变得越来越困难。而确保可以方便地将数据移动到需要的任何位置具备恰当的控制以支持分析和获取洞察也同样重要。这种数据的移动方向可能是“由内向外”、“由外向内”、“沿周界”或者“跨界共享”。 除了AWS对现代数据架构的定义通用的现代数据架构是这样定义的。
现代数据架构是一种基于云计算、大数据和人工智能技术的数据管理和分析架构旨在帮助企业更好地处理和分析大数据并从中获得更多商业价值。现代数据架构通常由以下组件组成
数据采集层数据采集层用于从各种数据源中收集数据并将其传输到数据存储层。数据采集层可以使用多种数据采集工具和技术包括ETL、ELT、流数据处理等。
数据存储层数据存储层用于存储和管理各种类型和格式的数据包括结构化、半结构化和非结构化数据。数据存储层可以使用多种存储服务和技术包括数据湖、数据仓库、NoSQL数据库等。
数据处理层数据处理层用于处理和分析存储在数据存储层中的数据以提取有价值的信息和洞察力。数据处理层可以使用多种处理和分析工具和技术包括ApacheSpark、Hadoop、SQL Server等。
数据可视化和报表层数据可视化和报告层用于呈现处理和分析后的数据以便用户可以更好地理解和使用数据。数据可视化和报告层可以使用多种可视化工具和技术包括Tableau、Power BI、Excel等。
机器学习和人工智能层机器学习和人工智能层用于应用机器学习和人工智能技术以提高数据处理和分析的效率和准确性。机器学习和人工智能层可以使用多种机器学习框架和技术包括TensorFlow、PyTorch、Scikit-learn等。
现代数据架构可以帮助企业更好地管理和分析大数据并从中获得更多商业价值。企业可以根据自身业务需求和数据特点选择适当的组件和技术构建适合自己的现代数据架构。
