专业制作网站哪家专业,2017网站开发语言排名,沈阳做网站的公司排名,怎么做淘宝一样的网站三、Apache Hudi核心概念
3.1 基本概念
Hudi 提供了Hudi 表的概念#xff0c; 这些表支持CRUD操作#xff0c; 可以利用现有的大数据集群比如HDFS做数据文件存储#xff0c; 然后使用SparkSQL或Hive等分析引擎进行数据分析查询。
Hudi表的三个主要组件#xff1a; 有序的…三、Apache Hudi核心概念
3.1 基本概念
Hudi 提供了Hudi 表的概念 这些表支持CRUD操作 可以利用现有的大数据集群比如HDFS做数据文件存储 然后使用SparkSQL或Hive等分析引擎进行数据分析查询。
Hudi表的三个主要组件 有序的时间轴元数据 类似于数据库事务日志。 分层布局的数据文件 实际写入表中的数据 索引 多种实现方式 映射包含指定记录的数据集。
3.1.1 时间轴Timeline
hudi在所有的表中维护了一个包含在不同的即时 Instant 时间对数据集操作 比如新增、 修改或删除的时间轴 Timeline 。
在每一次对Hudi表的数据集操作时都会在该表的Timeline上生成一个Instant 从而可以实现在仅查询某个时间点之后成功提交的数据 或是仅查询某个时间点之前的数据 有效避免了扫描更大时间范围的数据。
同时 可以高效地只查询更改前的文件 如在某个Instant提交了更改操作后 仅query某个时间点之前的数据 则仍可以query修改前的数据 。
Timeline 是 Hudi 用来管理提交 commit 的抽象 每个 commit 都绑定一个固定时间戳 分散到时间线上。在 Timeline 上 每个 commit 被抽象为一个 HoodieInstant 一个 instant 记录了一次提交 (commit) 的行为、 时间戳、 和状态。 instant由以下三个部分组成1Instant action在表上执行的操作类型
COMMITS一次commit表示将一批数据原子性地写入一个表。
CLEANS清除表中不再需要的旧版本文件的后台活动。
DELTA_COMMIT增量提交指的是将一批数据原子性地写入一个MergeOnRead类型的表其中部分或所有数据可以写入增量日志。
COMPACTION合并Hudi内部差异数据结构的后台活动例如:将更新操作从基于行的log日志文件合并到列式存储的数据文件。在内部体现为timeline上的特殊提交。
ROLLBACK表示当commit/delta_commit不成功时进行回滚其会删除在写入过程中产生的部分文件。
SAVEPOINT将某些文件组标记为已保存以便其不会被删除。在发生灾难需要恢复数据的情况下它有助于将数据集还原到时间轴上的某个点。2Instant time
通常是一个时间戳例如20190117010349它按照动作开始时间的顺序单调增加。3State
REQUESTED表示某个action已经调度但尚未执行。
INFLIGHT表示action当前正在执行。
COMPLETED表示timeline上的action已经完成。4时间概念
Arrival time: 数据到达 Hudi 的时间commit time。
Event time: record 中记录的时间。下图中采用时间 小时 作为分区字段 从 10:00 开始陆续产生各种 commits 10:20 来了一条 9:00 的数据该数据仍然可以落到 9:00 对应的分区 通过 timeline 直接消费 10:00 之后的增量更新 只消费有新 commits的 group 那么这条延迟的数据仍然可以被消费到。
3.1.2 文件管理
Hudi将DFS上的数据集组织到基本路径 HoodieWriteConfig.BASEPATHPROP 下的目录结构中。
数据集分为多个分区 DataSourceOptions.PARTITIONPATHFIELDOPT_KEY 这些分区与Hive表非常相似 是包含该分区的数据文件的文件夹。
如下图在每个分区内文件被组织为文件组 由文件id充当唯一标识。 每个文件组包含多个文件切片其中每个切片包含在某个即时时间的提交/压缩生成的基本列文件 .parquet 以及一组日志文件 .log 该文件包含自生成基本文件以来对基本文件的插入/更新。
Hudi 的 base file (parquet 文件) 在 footer 的 meta 去记录了 record key 组成的 BloomFilter 用于在file based index 的实现中实现高效率的 key contains 检测。 Hudi 的 log avro 文件 是自己编码的 通过积攒数据 buffer 以 LogBlock 为单位写出 每个 LogBlock 包含 magic number、 size、 content、 footer 等信息 用于数据读、 校验和过滤。 3.1.3 Index索引
3.1.3.1 索引原理 Hudi通过索引机制提供高效的Upsert操作 该机制会将一个RecordKeyPartitionPath组合的方式作为唯一标识映射到一个文件ID 而且这个唯一标识和文件组/文件ID之间的映射自记录被写入文件组开始就不会再改变。所以一个 FileGroup 包含了一批 record 的所有版本记录。Index 用于区分消息是 INSERT 还是 UPDATE。 Hudi 为了消除不必要的读写引入了索引的实现。在有了索引之后更新的数据可以快速被定位到对应的 File Group。下图为例白色是基本文件黄色是更新数据有了索引机制可以做到避免读取不需要的文件、避免更新不必要的文件、无需将更新数据与历史数据做分布式关联只需要在 File Group 内做合并。 3.1.3.2 索引类型
类型原理优点缺点Bloom Index默认配置使用布隆过滤器来判断记录存在与否也可选使用record key的范围裁剪需要的文件效率高不依赖外部系统数据和索引保持一致性因假阳性问题还需回溯原文件再查找一遍Simple Index把update/delete操作的新数据和老数据进行join实现最简单无需额外的资源性能比较差HBase Index把index存放在HBase里面。在插入 File Group定位阶段所有task向HBase发送 Batch Get 请求获取 Record Key 的 Mapping 信息对于小批次的keys查询效率高需要外部的系统增加了运维压力Flink State-based IndexHUDI 在 0.8.0 版本中实现的 Flink witer采用了 Flink 的 state 作为底层的 index 存储每个 records 在写入之前都会先计算目标 bucket ID。不同于 BloomFilter Index避免了每次重复的文件 index 查找
注意Flink只有一种state based index和bucket_index其他index是Spark可选配置。
3.1.3.3 全局索引与非全局索引 全局索引 在全表的所有分区范围下强制要求键保持唯一 即确保对给定的键有且只有一个对应的记录。 非全局索引 仅在表的某一个分区内强制要求键保持唯一 它依靠写入器为同一个记录的更删提供一致的分区路径。
从index的维护成本和写入性能的角度考虑维护一个global index的难度更大对写入性能的影响也更大所以需要non-global index。
HBase索引本质上是一个全局索引bloom和simple index都有全局选项
Ø hoodie.index.typeGLOBAL_BLOOM
Ø hoodie.index.typeGLOBAL_SIMPLE
3.1.3.4 索引的选择策略
1对事实表的延迟更新
大部分更新会发生在最新的几个分区上而小部分会在旧的分区。对于这样的作业模式布隆索引就能表现地很好。因为查询索引可以靠设置得当的布隆过滤器来裁剪很多数据文件。另外如果生成的键可以以某种顺序排列参与比较的文件数会进一步通过范围裁剪而减少。Hudi用所有文件的键域来构造区间树这样能来高效地依据输入的更删记录的键域来排除不匹配的文件。
Hudi支持动态布隆过滤器设置hoodie.bloom.index.filter.typeDYNAMIC_V0。它可以根据文件里存放的记录数量来调整大小从而达到设定的假阳性率。
2对事件表的去重
从Kafka或其他类似的消息总线发出的事件数通常是事实表大小的10-100倍。由于这些大部分都是仅追加的数据插入和更新只存在于最新的几个分区中。由于重复事件可能发生在整个数据管道的任一节点在存放到数据湖前去重是一个常见的需求。
总的来说低消耗去重是一个非常有挑战的工作。虽然可以用一个键值存储来实现去重即HBase索引但索引存储的消耗会随着事件数增长而线性增长以至于变得不可行。事实上有范围裁剪功能的布隆索引是最佳的解决方案。
3对维度表的随机更删
这种表数据即使采用了范围比较也还是检查了所有文件。使用简单索引对此场景更合适因为它不采用提前的裁剪操作而是直接和所有文件的所需字段连接。如果额外的运维成本可以接受的话也可以采用HBase索引其对这些表能提供更加优越的查询效率。
3.1.4 Hudi表的类型
3.1.4.1 Copy On Write(写时复制COW) 在COW表中只有数据文件/基本文件.parquet,没有增量日志文件.log.*。 对每一个新批次写入都将创建相应数据文件的新版本新的FileSlice新版本文件包括旧版本文件的记录 来自传入批次的记录全量最新。 由于在写入期间进行合并COW 会产生一些写入延迟。但是COW 的优势在于它的简单性不需要其他表服务如压缩也相对容易调试。 如上图我们进行一批新的写入在索引后我们发现这些记录与File group 1 和File group 2 匹配然后有新的插入我们将为其创建一个新的文件组File group 4。因此data_file1 和 data_file2 都将创建更新的版本data_file1 V2 是data_file1 V1 的内容与data_file1 中传入批次匹配记录的记录合并。
3.1.4.2 Merge On Read(读时合并MOR) MOR表中包含列存的基本文件.parquet和行存的增量日志文件基于行的avro格式.log.*。 顾名思义MOR表的合并成本在读取端。因此在写入期间我们不会合并或创建较新的数据文件版本。标记/索引完成后对于具有要更新记录的现有数据文件Hudi 创建增量日志文件并适当命名它们以便它们都属于一个文件组。 读取端将实时合并基本文件及其各自的增量日志文件。每次的读取延迟都比较高因为查询时进行合并所以 Hudi 使用压缩机制来将数据文件和日志文件合并在一起并创建更新版本的数据文件。
可以选择内联或异步模式运行压缩。Hudi也提供了不同的压缩策略供用户选择最常用的一种是基于提交的数量。例如可以将压缩的最大增量日志配置为 4。这意味着在进行 4 次增量写入后将对数据文件进行压缩并创建更新版本的数据文件。压缩完成后读取端只需要读取最新的数据文件而不必关心旧版本文件。
MOR表的写入行为依据 index 的不同会有细微的差别对于 BloomFilter 这种无法对 log file 生成 index 的索引方案对于 INSERT 消息仍然会写 base file parquet format只有 UPDATE 消息会 append log 文件因为 base file 已经记录了该 UPDATE 消息的 FileGroup ID。对于可以对 log file 生成 index 的索引方案例如 Flink writer 中基于 state 的索引每次写入都是 log format并且会不断追加和 roll over。COWMOR数据延迟高低查询延迟低高Update(I/O) 更新成本高重写整个Parquet文件低追加到增量日志Parquet文件大小低更新成本I/O高较大低更新成本写放大大低取决于压缩策略
3.1.5 Hudi表的查询类型
3.1.5.1 Snapshot Queries(快照查询) 快照查询可以查询指定commit/delta commit即时操作后表的最新快照。 在读时合并MOR表的情况下它通过即时合并最新文件片的基本文件和增量文件来提供近实时表几分钟。 对于写时复制COW查询最新版本的Parquet数据文件。 3.1.5.2 Incremental Queries(增量查询)
增量查询可以查询给定commit/delta commit即时操作以来新写入的数据。有效的提供变更流来启用增量数据管道。
3.1.5.3 Read Optimized Queries(读时优化,仅MOR可用)
读优化查询可查看给定的commit/compact即时操作的表的最新快照。仅将最新文件片的基本/列文件暴露给查询并保证与非Hudi表相同的列查询性能。
3.2 数据读、写、合并
3.2.1 数据读
3.2.1.1 Snapshot读
读取所有 partiiton 下每个 FileGroup 最新的 FileSlice 中的文件Copy On Write 表读 parquet 文件Merge On Read 表读 parquet log 文件
3.2.1.2 Incremantal读
当前的 Spark data source 可以指定消费的起始和结束 commit 时间读取 commit 增量的数据集。
3.2.1.3 Streaming读
0.8.0 版本的 HUDI Flink writer 支持实时的增量订阅可用于同步 CDC 数据日常的数据同步 ETL pipeline。Flink 的 streaming 读做到了真正的流式读取source 定期监控新增的改动文件将读取任务下派给读 task。
3.2.2 数据写
3.2.2.1 写操作
1UPSERT默认行为数据先通过 index 打标(INSERT/UPDATE)有一些启发式算法决定消息的组织以优化文件的大小 CDC 导入
2INSERT跳过 index写入效率更高 Log Deduplication
3BULK_INSERT写排序对大数据量的 Hudi 表初始化友好对文件大小的限制 best effort写 HFile
3.2.2.2 写流程UPSERT
1COW
1先对 records 按照 record key 去重
2首先对这批数据创建索引 (HoodieKey HoodieRecordLocation)通过索引区分哪些 records 是 update哪些 records 是 insertkey 第一次写入
3对于 update 消息会直接找到对应 key 所在的最新 FileSlice 的 base 文件并做 merge 后写新的 base file (新的 FileSlice)
4对于 insert 消息会扫描当前 partition 的所有 SmallFile小于一定大小的 base file然后 merge 写新的 FileSlice如果没有 SmallFile直接写新的 FileGroup FileSlice
2MOR
1先对 records 按照 record key 去重可选
2首先对这批数据创建索引 (HoodieKey HoodieRecordLocation)通过索引区分哪些 records 是 update哪些 records 是 insertkey 第一次写入
3如果是 insert 消息如果 log file 不可建索引默认会尝试 merge 分区内最小的 base file 不包含 log file 的 FileSlice生成新的 FileSlice如果没有 base file 就新写一个 FileGroup FileSlice base file如果 log file 可建索引尝试 append 小的 log file如果没有就新写一个 FileGroup FileSlice base file
4如果是 update 消息写对应的 file group file slice直接 append 最新的 log file如果碰巧是当前最小的小文件会 merge base file生成新的 file slice
5log file 大小达到阈值会 roll over 一个新的
3.2.2.3 写流程INSERT
1COW
1先对 records 按照 record key 去重可选
2不会创建 Index
3如果有小的 base file 文件merge base file生成新的 FileSlice base file否则直接写新的 FileSlice base file
2MOR
1先对 records 按照 record key 去重可选
2不会创建 Index
3如果 log file 可索引并且有小的 FileSlice尝试追加或写最新的 log file如果 log file 不可索引写一个新的 FileSlice base file
3.2.2.4 写流程INSERT OVERWRITE
在同一分区中创建新的文件组集。现有的文件组被标记为 “删除”。根据新记录的数量创建新的文件组
1COW
在插入分区之前插入相同数量的记录覆盖插入覆盖更多的记录插入重写1条记录分区包含file1-t0.parquetfile2-t0.parquet。分区将添加file3-t1.parquetfile4-t1.parquet。file1, file2在t1后的元数据中被标记为无效。分区将添加file3-t1.parquetfile4-t1.parquetfile5-t1.parquet…fileN-t1.parquet。file1, file2在t1后的元数据中被标记为无效分区将添加file3-t1.parquet。file1, file2在t1后的元数据中被标记为无效。
2MOR
在插入分区之前插入相同数量的记录覆盖插入覆盖更多的记录插入重写1条记录分区包含file1-t0.parquetfile2-t0.parquet。.file1-t00.logfile3-t1.parquetfile4-t1.parquet。file1, file2在t1后的元数据中被标记为无效。file3-t1.parquet, file4-t1.parquet…fileN-t1.parquetfile1, file2在t1后的元数据中被标记为无效分区将添加file3-t1.parquet。file1, file2在t1后的元数据中被标记为无效。
3优点
1COW和MOR在执行方面非常相似。不干扰MOR的compaction。
2减少parquet文件大小。
3不需要更新关键路径中的外部索引。索引实现可以检查文件组是否无效类似于在HBaseIndex中检查commit是否无效的方式。
4可以扩展清理策略在一定的时间窗口后删除旧文件组。
4缺点
1需要转发以前提交的元数据。
Ø 在t1比如file1被标记为无效我们在t1.commit中存储 “invalidFilesfile1”(或者在MOR中存储deltacommit)
Ø 在t2比如file2也被标记为无效。我们转发之前的文件并在t2.commit中标记 “invalidFilesfile1, file2”或MOR的deltacommit
2忽略磁盘中存在的parquet文件也是Hudi的一个新行为, 可能容易出错,我们必须认识到新的行为并更新文件系统的所有视图来忽略它们。这一点可能会在实现其他功能时造成问题。
3.2.2.5 Key 生成策略
用来生成 HoodieKeyrecord key partition path目前支持以下策略
Ø 支持多个字段组合 record keys
Ø 支持多个字段组合的 parition path 可定制时间格式Hive style path name
Ø 非分区表
3.2.2.6 删除策略
1逻辑删 将 value 字段全部标记为 null
2物理删
1通过 OPERATION_OPT_KEY 删除所有的输入记录
2配置 PAYLOAD_CLASS_OPT_KEY org.apache.hudi.EmptyHoodieRecordPayload 删除所有的输入记录
3在输入记录添加字段_hoodie_is_deleted
3.2.2.7 总结
Apache Hudi 相对于其他数据湖方案的核心优势
1写入过程充分优化了文件存储的小文件问题Copy On Write 写会一直将一个 bucket FileGroup的 base 文件写到设定的阈值大小才会划分新的 bucketMerge On Read 写在同一个 bucket 中log file 也是一直 append 直到大小超过设定的阈值 roll over。
2对 UPDATE 和 DELETE 的支持非常高效一条 record 的整个生命周期操作都发生在同一个 bucket不仅减少小文件数量也提升了数据读取的效率不必要的 join 和 merge。
3.2.3 数据合并
1没有 base file(即parquet文件)走 copy on write insert 流程直接 merge 所有的 log file 并写 base file
2有 base file走 copy on write upsert 流程先读 log file 建 index再读 base file最后读 log file 写新的 base file
Flink 和 Spark streaming 的 writer 都可以 apply 异步的 compaction 策略按照间隔 commits 数或者时间来触发 compaction 任务在独立的 pipeline 中执行。
