下载源代码的网站,培训机构查询网,网站模式下做淘宝客,开发公司会议提纲本文属于【Azure 架构师学习笔记】系列。 本文属于【Azure Databricks】系列。 接上文 【Azure 架构师学习笔记】- Azure Databricks (14) – 搭建Medallion Architecture part 2 前言
ADB 除了UC 这个概念之外#xff0c;前面【Azure 架构师学习笔记】- Azure Databricks (1… 本文属于【Azure 架构师学习笔记】系列。 本文属于【Azure Databricks】系列。 接上文 【Azure 架构师学习笔记】- Azure Databricks (14) – 搭建Medallion Architecture part 2 前言
ADB 除了UC 这个概念之外前面【Azure 架构师学习笔记】- Azure Databricks (12) – Medallion Architecture简介中也提到了lakehouse 那么现在再深入一下了解ADB 的lakehouse。同时看看Data Lake和Delta Lake之间的区别与联系。 Data Lake是一个中央存储库存储和处理原始数据。 Delta Lake则是一个开源的针对数据存储的“表结构”。对比起Data Lake 它通过支持ACID,架构演变数据版本控制等多个特性来提升数据存储中的各种能力。 Data Lake 是一个通用术语描述了数据存储方法。 Delta Lake 是一种特定的开源技术。数据使用delta lake技术存储在delta 表中。使数据更加安全和高性能。这种技术通常就跟lakehouse架构相关联。 在Delta lake中如果你的data lake包含了非表格数据 那么还要把它们存进表中。
Data lake
数据湖是把数据环境类比成一个湖中央存储有多条河流数据流流入到湖中。这些数据流最终都流到同一个地方无需严格的预定义结构。它的出现主要是应对数据仓库这种需要预定义架构的存储模式。数据仓库对特定的查询进行了性能优化意味着以牺牲灵活性为代价提高速度。另外由于不同的供应商有专用数据存储格式意味着你可能会被供应商“绑架”。
相比数据仓库 数据湖针对灵活性进行优化对数据存储没有格式要求同时也支持不需要复杂昂贵的预处理的数据分析。 数据沼泽
数据湖提供了灵活度和相对低廉的存储价格各方异构数据都可以简单直接地存储到单一位置。但是当数据不停增长这样的灵活就可能带来问题比如文件的版本跟踪数据架构数据恢复等。 这种情况将会使得数据湖退化成数据沼泽。导致下游应用的“数据源”变得不准确或者需要花费大量成本进行清洗才能使用。
Delta Lake
Delta lake 可以运行在已有的data lake 基础架构之上。它把数据以parquet文件格式存储在后台。 从磁盘上看Delta Lake的文件存储将会试一下结构有文件夹包含了事务日志数据的变更记录delta 表的分区。
your_delta_table/ -- this is the top-level table directory
_delta_log -- this is the transaction log which tracks00.json all the changes to your data01.json…n.json
file1.parquet -- these are your Delta table partitions,
file2.parquet ordered for maximum query performance
…
fileN.parquetDelta Lake 相对于 Data Lake的优势
ACID 跟数据库的ACID 类似 想象一下当你使用集群向Data Lake写入数据如果此时集群中途崩溃了数据文件会以损坏或者只有部分存储到datalake上。你需要手动识别并清理这些残缺文件然后重跑。但是对于Delta lake 则会把整个写操作回退而不写入到存储上。性能Parquet格式文件在很多大数据应用上都远比其他类型的格式快得多因为其具有一些如压缩列存储等特点。同时Delta Lake对其进行了一些改进使其更加适合lakehouse。文件搜索在data lake中读取数据需要先列出所有的文件非常耗时特别是云环境这种使用Key-value 存储的文件系统。KV 存储在范围扫描过程中速度远不如其他系统它更适合精确查找。Delta Lake 则通过预先把路径存储到Parquet的事务日志中减少全量扫描的开销从而加快文件搜索。元数据在Data Lake的parquet 文件存储每个文件关于列的元数据 这些元数据包含每个行组内列的最大最小值每一次查询范围数据都不得不遍历所有文件。在Delta Lake中对parquet进行了改进把这些元数据独立存储在单个事务日志文件中减少扫描的范围和数量。架构演变由于输入的数据总是在变你不能总是知道最后数据集的架构或某种原因你需要增减列。在Delta lake中通过write.option(“mergeSchema”,“true”)的方式来实现即可。 除此之外还有包括版本控制等优点就不一一列举。
小结
下一文将介绍一下DataBricks在Delta方面的知识。
